Snyk VulnBench JS 1.0: Can LLMs Find the Same Bugs Twice?
Diese Arbeit zeigt, dass agentische LLMs zwar eine hohe Stabilität bei der Reproduktion bekannter Schwachstellen aufweisen, ihre Fähigkeit zur Entdeckung neuer Probleme jedoch höchst inkonsistent ist, was darauf hindeutet, dass LLM-basierte Sicherheitsüberprüfungen die deterministische statische Anwendungssicherheitsprüfung (SAST) ergänzen, anstatt sie zu ersetzen sollten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie engagieren einen sehr strengen, regelbefolgenden Sicherheitswachmann (nennen wir ihn SAST) und eine brillante, kreative, aber manchmal ablenkbare Detektivin (nennen wir sie LLM). Beide wurden angeheuert, um dasselbe kleine JavaScript-Gebäude auf versteckte Fallen (Schwachstellen) zu untersuchen.
Das Papier „Snyk VulnBench JS 1.0“ stellt eine einfache, aber entscheidende Frage: Wenn Sie beide fünfmal hintereinander zur Untersuchung desselben Gebäudes schicken, werden sie Ihnen jedes Mal exakt denselben Bericht liefern?
Hier ist das, was sie herausgefunden haben, unterteilt in alltägliche Konzepte:
1. Der strenge Wachmann vs. die kreative Detektivin
- Der strenge Wachmann (SAST): Dieses Tool ist wie ein Roboter mit einer Checkliste. Wenn sich der Code nicht geändert hat, liefert der Roboter jedes Mal exakt denselben Bericht. Er wird nie müde, wird nie abgelenkt und übersieht dasselbe Problem nie zweimal. In dieser Studie war er zu 100 % konsistent.
- Die kreative Detektivin (LLM): Dies ist eine KI, die „denken“ und schlussfolgern kann. Sie ist großartig darin, tückische, seltsame Fallen zu entdecken, die ein Roboter vielleicht übersehen würde. Sie ist jedoch wie ein Mensch: Manchmal ist sie hellwach, manchmal ist sie müde und manchmal sieht sie Dinge, die gar nicht da sind.
2. Der „Fünfmalige“ Test
Die Forscher schickten die KI-Detektivin fünfmal hintereinander zur Untersuchung des Codes. So lief es ab:
- Wenn die KI eine „bekannte“ Falle fand: Wenn die KI eine Falle entdeckte, die der strenge Wachmann bereits identifiziert hatte, war sie sehr zuverlässig. Sie fand diese gleiche Falle in fast jedem Durchgang (85 % der Zeit). Sie war konsistent, wenn sie den Regeln zustimmte.
- Wenn die KI eine „neue“ Falle fand: Hier wurde es unordentlich. Die KI begann, neue, einzigartige Fallen zu melden, die der strenge Wachmann nicht sah.
- Das Problem: Fast die Hälfte dieser „neuen“ Meldungen waren Eintagsfliegen. Sie tauchten nur in einem der fünf Durchgänge auf und verschwanden dann wieder.
- Die Analogie: Stellen Sie sich vor, die Detektivin sagt am Montag: „Ich habe ein Gespenst im Flur gesehen!“ Am Dienstag sagt sie: „Nein, kein Gespenst.“ Am Mittwoch sagt sie: „Eigentlich war es nur ein Kleiderständer.“ Am Donnerstag sagt sie wieder: „Gespenst!“ Wenn Sie der Gebäudeeigentümer sind, wissen Sie nicht, ob Sie Angst haben müssen oder ob sie sich nur etwas einbildet.
3. Der „Rauschen“-Faktor
Die Studie fand heraus, dass die „zusätzlichen“ Berichte der KI sehr verrauscht waren.
- Die „Einmaligen“ Berichte: Etwa 50 % der von der KI gemeldeten einzigartigen Dinge traten nur einmal auf. Wenn Sie den Scan fünfmal ausführen würden, erhielten Sie je nach Durchlauf eine völlig andere Liste an „zusätzlichen“ Warnungen.
- Die stabilen Berichte: Die Dinge, bei denen sich die KI und der strenge Wachmann einig waren, waren stabil. Sie änderten sich nicht.
4. Größer bedeutet nicht besser
Die Forscher testeten verschiedene Versionen der KI, einschließlich einer „superteuren“ und „superintelligenten“ Version.
- Das Ergebnis: Die teuerste, leistungsstärkere KI war nicht die beste. Tatsächlich war sie teurer, verbrauchte mehr Rechenleistung und war weniger konsistent als eine günstigere, kleinere Version.
- Die Lektion: Nur weil Sie den „klügsten“ Detektiv bezahlen, heißt das nicht, dass er Ihnen einen zuverlässigeren Bericht liefert. Manchmal ist der einfachere, fokussiertere Detektiv konsistenter.
5. Unterschiedliche Stärken, unterschiedliche Schwachstellen
Das Papier kommt zu dem Schluss, dass Sie sich nicht für den einen oder den anderen entscheiden sollten; Sie brauchen beide.
- Der strenge Wachmann ist großartig darin, systematisch jedes einzelne Rohr und jeden Draht auf Lecks zu prüfen (wie das Überprüfen von wiederholten Datenflüssen). Er übersieht dasselbe Leck nie zweimal.
- Die kreative Detektivin ist gut darin, komplexe, seltsame Muster zu erkennen, die wie eine Falle aussehen, aber vielleicht nicht auf einer Checkliste stehen (wie das Entdecken einer verdächtig aussehenden SQL-Injection, die der Wachmann übersehen hat).
- Der Haken: Die Detektivin übersieht manchmal die offensichtlichen, wiederkehrenden Lecks, die der Wachmann erfasst, und manchmal verwirrt sie sich durch falsche Fallen.
Das Fazit
Wenn Sie sich nur auf die KI-Detektivin verlassen, erhalten Sie bei jeder Überprüfung vielleicht einen anderen Sicherheitsbericht und müssen viel Zeit damit verbringen, herauszufinden, welche ihrer „Gespenster“ echt sind und welche nur Kleiderständer.
Wenn Sie sich nur auf den strengen Wachmann verlassen, könnten Sie die tückischen, kreativen Fallen übersehen.
Die beste Strategie: Nutzen Sie den strengen Wachmann, um die offensichtlichen, wiederkehrenden Lecks zu finden (da er seine Meinung nie ändert), und nutzen Sie die kreative Detektivin, um die tückischen, ungewöhnlichen Dinge zu finden – aber seien Sie bereit, ihre „zusätzlichen“ Funde zu überprüfen, da es sich dabei um Zufallsfunde handeln könnte. Sie arbeiten am besten, wenn sie sich gegenseitig helfen, anstatt zu versuchen, den anderen zu ersetzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.