Are Frontier LLMs Ready for Cybersecurity? Evidence for Vertical Foundation Models from Dual-Mode Vulnerability Benchmarks
Dieser Artikel zeigt, dass zwar Frontier-LLMs bei Cybersicherheitsaufgaben mit hohen False-Positive-Raten und einer geringen Abdeckung von Schwachstellen zu kämpfen haben, domänenspezifische Modelle, die strukturierte Testmethoden einsetzen, eine überlegene Präzision erreichen, was darauf hindeutet, dass vertikale Foundation-Modelle, die auf spezialisierten Daten und strukturierten Angriffsketten aufbauen, für effektive Sicherheitsanwendungen unerlässlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben ein Team brillanter, allgemein einsetzbarer Detektive (die „Frontier-LLMs") eingestellt, um versteckte Fallen in einer Reihe komplexer, realer Gebäude (Webanwendungen) aufzuspüren. Sie möchten wissen, ob sie für den Job bereit sind. Das von Ihnen bereitgestellte Papier ist der Zeugnisbericht einer rigorosen Prüfung, und die Nachrichten sind gemischt: Die Detektive sind intelligent, aber derzeit zu ungeschickt und übermäßig vorsichtig, um ihnen die Aufgabe allein zu vertrauen.
Hier ist die Aufschlüsselung ihrer Leistung, erklärt durch einfache Analogien.
1. Die zwei Arten, wie sie die Detektive getestet haben
Die Forscher haben die Detektive nicht einfach nur gebeten, sich „umzusehen". Sie haben sie auf zwei spezifische Arten getestet:
- Der „White-Box"-Test (Betrachtung der Baupläne): Die Detektive erhielten den tatsächlichen Quellcode (die Baupläne) der Software und wurden gebeten, genau zu zeigen, wo die Fallen lagen.
- Der „Black-Box"-Test (Einbruch und Eindringen): Die Detektive erhielten nur die Haustür des Gebäudes. Sie mussten wie Einbrecher agieren, versuchen, sich hineinzuschleichen, die Schlösser zu testen und Schwachstellen zu finden, ohne die Baupläne zu sehen.
2. Das Problem mit den „allgemein einsetzbaren" Detektiven
Die Forscher testeten sechs der fortschrittlichsten, allgemein einsetzbaren KI-Modelle, die verfügbar sind (wie GPT-5.4, Claude und Gemini). Hier ist, was schiefging:
- Die „Wolf kommt"-Krise (Fehlalarme):
Im Bauplan-Test waren die allgemeinen Detektive unglaublich paranoid. Sie markierten fast alles als Falle.- Die Analogie: Stellen Sie sich einen Metalldetektor am Flughafen vor, der nicht nur bei Waffen, sondern auch bei Schlüsseln, Münzen und Gürtelschnallen piept. Das Papier fand heraus, dass diese Modelle 10 % bis 50 % des sicheren Codes als gefährlich markierten. Wenn Sie sie in einem echten Job einsetzen würden, müsste Ihr Sicherheitsteam jeden einzelnen „Alarm" manuell überprüfen und würde Stunden mit Dingen verschwenden, die eigentlich nicht defekt sind.
- Das „Verweigerungs"-Problem:
Einige der fortschrittlichsten Detektive (insbesondere GPT-5.4) verweigerten die Arbeit komplett.- Die Analogie: Sie bitten einen Detektiv, ein Schloss zu testen, um zu sehen, ob es schwach ist, und er sagt: „Das kann ich nicht! Das könnte jemanden ermutigen, einzubrechen!" Sie waren so darauf trainiert, „sicher" zu sein, dass sie keine legitimen Sicherheitstests durchführten.
- Das „Im Labyrinth verloren"-Problem:
Im „Black-Box"-Test (Versuch einzubrechen) waren die allgemeinen Detektive schrecklich. Sie fanden nur 4 % bis 8 % der tatsächlichen Fallen. Selbst wenn Sie ihnen spezielle Werkzeuge gaben (wie einen Hauptschlüssel oder ein Schlosspick-Set), verbesserten sie sich nur geringfügig auf 10–19 %.- Die Analogie: Sie haben die Werkzeuge, aber sie wissen nicht, wie man sie systematisch einsetzt. Sie wandern ziellos umher, versuchen zufällige Dinge und geben auf, wobei sie die offensichtlichen Fallen verpassen, die ein Profi finden würde.
3. Die Lösung: Spezialisierte „vertikale" Detektive
Das Papier argumentiert, dass wir statt eines allgemeinen Detektivs, der ein wenig von allem weiß, spezialisierte Sicherheitsexperten benötigen (Vertikale Basis-Modelle).
- Der „Spezialisierte Angriff"-Agent:
Die Forscher bauten eine spezialisierte KI, die speziell für offensive Sicherheit trainiert wurde. Im Gegensatz zu den allgemeinen Modellen verweigerte diese den Job nicht. Sie kannte die professionellen Methoden des Penetrationstestens.- Das Ergebnis: Als dieser spezialisierte Agent eine strikte, schrittweise Checkliste (Methodik) befolgte, fand er über 50 % der Fallen. Es bewies, dass ein guter Plan wichtiger ist als nur ein großes Gehirn.
- Der „Spezialisierte Verteidigungs"-Agent:
Sie bauten auch eine spezialisierte KI zum Finden von Fehlern im Code (Verteidigung).- Das Ergebnis: Dieses Modell war der Star der Show. Es hatte die höchste Genauigkeit und die wenigsten „Fehlalarme" (nur 9,7 % Fehlalarme). Es war auch viel schneller und günstiger im Betrieb als die riesigen allgemeinen Modelle.
4. Das Geheimnis: Der „Agentic Reasoning Graph" (ARG)
Das beeindruckendste Ergebnis kam von einem neuen System namens Agentic Reasoning Graph (ARG).
- Die Analogie: Stellen Sie sich ein Team vor, bei dem der „Kreative Detektiv" (das LLM) Ideen entwickelt, wie man einbricht, aber ein „Strenger Richter" (ein Computerprogramm, keine KI) die Beweise überprüft.
- Die KI schlägt einen Weg vor, die Tür zu hacken. Der „Richter" führt dann einen strikten, unveränderlichen Test durch, um zu sehen, ob es tatsächlich funktioniert. Wenn der Test fehlschlägt, wird die Vermutung der KI verworfen.
- Warum es funktioniert: Dies verhindert, dass die KI „halluziniert" (eine Falle imaginiert, die nicht existiert). Das Papier fand heraus, dass dieses System Fehlalarme erheblich reduzierte und gleichzeitig die echten Fallen fand.
5. Warum sie scheitern? (Die fehlenden Daten)
Das Papier kommt zu dem Schluss, dass der Grund für das Versagen allgemeiner Modelle ein Mangel an spezifischen Trainingsdaten ist.
- Die Analogie: Stellen Sie sich vor, Sie unterrichten einen Schüler im Autofahren, indem Sie ihm nur Bilder von Autos zeigen. Er weiß, wie ein Auto aussieht, aber er weiß nicht, wie man lenkt, bremst oder mit einem Platten umgeht.
- Die aktuellen KI-Modelle wurden auf allgemeinen Internettexten trainiert. Ihnen fehlen „Fahrstunden" in Cybersicherheit: Sie haben nicht genug Beispiele für schrittweise Angriffsreihen, gescheiterte Versuche und reale Beweise gesehen, dass eine Schwachstelle tatsächlich ausnutzbar ist.
Das Fazit
Das Urteil des Papiers ist klar: Allgemein einsetzbare KI-Modelle sind nicht bereit, Ihr Cybersicherheitsteam zu sein. Sie neigen zu stark zu Fehlalarmen, sind zu leicht verwirrt und manchmal zu ängstlich, um den Job zu erledigen.
Um dies zu beheben, benötigen wir spezialisierte KI-Modelle, die speziell auf Sicherheitsdaten trainiert sind, mit strengen, schrittweisen Methodiken arbeiten und computergestützte Prüfungen verwenden, um ihre Ergebnisse zu verifizieren. Es geht nicht darum, die KI im allgemeinen Sinne „intelligenter" zu machen; es geht darum, sie zu einem besseren, disziplinierteren Spezialisten zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.