Can Open-Source LLM Agents Replace Static Application Security Testing Tools? An Empirical Assessment
Diese empirische Studie kommt zu dem Schluss, dass aktuelle Open-Source-, universell einsetzbare LLM-Agenten, die durch Ollama-Modelle betrieben werden, noch nicht geeignet sind, etablierte Static Application Security Testing (SAST)-Tools wie Bandit in realistischen Cybersicherheitsszenarien zu ersetzen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben eine riesige Bibliothek von Büchern (Code) und müssen jeden einzelnen Tippfehler, jede Logiklücke oder jedes gefährliche Geheimnis finden, das darin verborgen ist. Sie haben zwei Helfer, um diese Aufgabe zu erledigen:
- Der erfahrene Bibliothekar (Bandit): Dies ist ein traditionelles Werkzeug. Es „denkt“ oder „phantasiert“ nicht. Es hat eine strikte, vorgefertigte Checkliste bekannter Fehler (wie „Lass die Hintertür nicht offen“ oder „Benutze kein rostiges Schloss“). Es scannt die Bücher schnell und methodisch und sagt Ihnen genau, wo die Probleme liegen. Es ist langweilig, aber es ist zuverlässig.
- Das kreative Praktikanten-Modell (Der KI-Agent): Dies ist ein neues, schickes Large Language Model (LLM). Es ist wie ein brillanter Student, der das gesamte Internet gelesen hat. Anstatt einer Checkliste geben Sie ihm eine Stellenbeschreibung: „Finde alles, was gefährlich aussieht.“ Es nutzt seine Fantasie, um zu erraten, was falsch sein könnte.
Das Experiment
Die Forscher in dieser Arbeit haben beschlossen, diese beiden Helfer gegeneinander antreten zu lassen. Sie gaben ihnen drei verschiedene „Bibliotheken“ (Open-Source-Softwareprojekte) zum Scannen:
- Einen ausrangierten, aber robusten Paketmanager (Yum).
- Eine persönliche Gewohnheits-Tracking-App (Beaverhabits).
- Ein Sicherheitstool, das schlechte Login-Versuche blockiert (Fail2ban).
Sie baten den erfahrenen Bibliothekar, diese zuerst zu scannen, um eine „Goldstandard“-Liste echter Probleme zu erstellen. Dann baten sie den kreativen Praktikanten (betrieben durch drei verschiedene KI-Modelle: Gemma, Llama und Qwen), dieselbe Aufgabe zu erledigen.
Was ist passiert? (Die Ergebnisse)
Die Ergebnisse waren für den kreativen Praktikanten etwas katastrophal. Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:
- Das „Halluzinations“-Problem: Der Praktikant erfand immer wieder Probleme, die gar nicht existierten. Er sah sich eine völlig normale Codezeile an und sagte: „Aha! Das ist ein Leck für ein geheimes Passwort!“, obwohl es eigentlich nur eine Standardeinstellung war. In der Arbeit wird dies als False Positive bezeichnet. Der Praktikant war so darauf programmiert, Ärger zu finden, dass er harmlose Dinge als gefährlich markierte.
- Analogie: Es ist wie ein Sicherheitsmann, der glaubt, eine Person, die einen roten Apfel hält, halte eine Bombe, weil „rote Dinge gefährlich sind“.
- Das „Verlorene Ort“-Problem: Wenn der Praktikant tatsächlich ein echtes Problem fand, konnte er oft nicht sagen, wo es sich befand. Er sagte: „Es gibt einen Bug im Code“, aber wenn man ihn fragte: „Welche Datei? Welche Zeile?“, erfand er einen Dateinamen, der nicht existierte, oder verwies auf eine Zeilennummer, die leer war.
- Analogie: Es ist wie ein Detektiv, der sagt: „Der Dieb ist im Haus“, aber wenn man ihn fragt: „In welchem Zimmer?“, rät er „Dachboden“, obwohl der Dieb eigentlich im Keller ist.
- Das „Verpasste Chancen“-Problem: Der Praktant übersah einen riesigen Teil der tatsächlichen Probleme, die der erfahrene Bibliothekar fand. Er erfasste nur etwa 25 % der echten Probleme.
- Analogie: Der Bibliothekar fand 100 Tippfehler. Der Praktikant fand nur 25 davon, und 50 der Dinge, die er fand, waren überhaupt keine Tippfehler.
- Das „Geschwindigkeits“-Problem: Der erfahrene Bibliothekar erledigte den Job in weniger als einer Minute. Der kreative Praktikant brauchte Stunden (manchmal 1 bis 4 Stunden pro Bibliothek), um dieselbe Arbeit zu leisten.
- Analogie: Der Bibliothekar ist ein Hochgeschwindigkeitszug. Der Praktikant ist eine Schnecke, die auf der gesamten Strecke an jeder Blume schnuppert.
Das Urteil
Die Arbeit kommt zu dem Schluss, dass der kreative Praktikant derzeit nicht bereit ist, den erfahrenen Bibliothekar zu ersetzen.
Während der Praktant großartig darin ist, Geschichten zu schreiben oder E-Mails zusammenzufassen, ist er derzeit zu unzuverlässig für die spezifische, hochsensible Aufgabe des Sicherheits-Scannings. Er erzeugt zu viel „Rauschen“ (Fehlalarme), übersieht zu viele echte Gefahren und braucht viel zu lange für die Arbeit.
Die Forscher schlagen vor, dass der Praktant vielleicht als Helfer für den Bibliothekar eingesetzt werden könnte – etwa um Dinge zu entdecken, die der Bibliothekar übersehen hat – aber nur, wenn Menschen jeden seiner Vermutungen zuerst überprüfen. Aber als eigenständiges Werkzeug, um die alten, zuverlässigen Methoden zu ersetzen? Die Arbeit sagt nein. Die „Halluzinationen“ (das Erfinden von Dingen) und der Mangel an Präzision machen es zu riskant, ihm die Sicherheit momentan anzuvertrauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.