Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents
Dieses Paper führt ein kostenbewusstes Evaluierungs-Framework für Sicherheitsagenten ein, das unterschiedliche Skalierungsverhalten zwischen offensiven und defensiven Aufgaben aufzeigt und demonstriert, dass die offensive Leistung mit zunehmender Rechenkapazität steigt, während der defensive Erfolg stärker von disziplinierter Werkzeugnutzung und operativer Effizienz als von einem reinen Reasoning-Budget abhängt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der künstliche Intelligenz nicht nur ein Chatbot ist, der Gedichte schreibt, sondern ein digitaler Detektiv und ein digitaler Einbrecher zugleich. Dies ist die Grenze der Cybersicherheit, ein Bereich, in dem Computer darauf trainiert werden, entweder in Systeme einzubrechen, um Schwachstellen zu finden (die „offensive“ Seite), oder digitale Tatorte zu untersuchen, um Angriffe zu stoppen (die „defensive“ Seite). Lange Zeit haben Wissenschaftler, die diese KI-Agenten testen, eine einfache Frage gestellt: „Wie gut ist diese KI darin, die schwierigsten Rätsel zu lösen, wenn wir ihr unbegrenzte Zeit und unbegrenztes Geld geben?“ Es ist, als würde man ein Rennauto testen, indem man es fahren lässt, bis der Tank leer ist, und dabei die Kosten für das Benzin ignoriert. Aber in der realen Welt kostet jeder Schritt, den eine KI macht – jede Frage, die sie stellt, jede Datenbank, die sie prüft – tatsächliches Geld. Wenn eine KI zu teuer im Betrieb ist, ist sie für ein echtes Sicherheitsteam nutzlos, egal wie intelligent sie ist. Diese Arbeit stellt eine praktischere Frage: „Was kann diese KI tatsächlich für ein bestimmtes Budget leisten?“
Die Forscher Paul Kassianik, Blaine Nelson und Yaron Singer beschlossen, nicht mehr nur zu zählen, wie viele Rätsel eine KI löst, sondern mit dem Preisschild zu beginnen. Sie schickten ihre KI-Agenten durch zwei sehr unterschiedliche Arten von Herausforderungen. Zuer Sie schickten sie auf „Capture the Flag“ (CTF)-Missionen, die wie digitale Schnitzeljagden sind, bei denen die KI in einen isolierten Computer einbrechen muss, um einen geheimen Code zu finden. Zweitens schickten sie sie auf „Security Operations Center“ (SOC)-Missionen, die wie Detektivarbeit sind, bei denen die KI riesige Mengen an Sicherheitsprotokollen durchforsten muss, um herauszufinden, wer in ein Unternehmen eingebrochen ist und wie.
Hier ist die Wendung, die sie entdeckten: Angriff und Verteidigung skalieren auf völlig unterschiedliche Weise. Wenn die KI die Rolle des Hackers spielte (die offensive Rolle), half es meistens, ihr mehr Geld zu geben, um nachzudenken und es erneut zu versuchen. Es war, als würde man einem Detektiv mehr Zeit geben, einen Hinweis noch einmal zu lesen; je mehr Ressourcen sie hatten, desto wahrscheinlicher war es, dass sie den Fall knackten. Einige Open-Source-Modelle konnten, wenn man ihnen ein ordentliches Budget gab, sogar mit den teuersten, erstklassigen proprietären Modellen mithalten.
Als die KI jedoch die Rolle des Detektivs spielte (die defensive Rolle), machte es die Sache nicht unbedingt klüger, das Problem mit mehr Geld zu lösen. Tatsächlich waren die besten Performer diejenigen, die diszipliniert waren. Sie wussten genau, wann sie aufhören mussten, wann sie um Hilfe bitten mussten und wann sie ihr Budget sparen mussten. Die Arbeit fand, dass es bei diesen Untersuchungen nicht darum ging, wie viele Werkzeuge die KI benutzte oder wie lange sie nachdachte, sondern darum, die richtigen Werkzeuge zur richtigen Zeit einzusetzen. Eine KI, die wahllos jede Datenbank der Welt aufrief, nur weil sie über ein großes Budget verfügte, war oft schlechter als eine, die sorgfältig einige wenige Schlüsseldokumente auswählte.
Die Autoren warnten auch davor, dass einige der „perfekten“ Ergebnisse bei diesen Tests irreführend sein könnten. Da die Rätsel öffentlich und alt sind, könnten einige KIs die Antworten während ihres Trainings einfach auswendig gelernt haben, wie ein Schüler, der die Lösungsschlüssel auswendig lernt, anstatt die Mathematik dahinter zu verstehen. Als die Forscher die KIs testeten, ohne ihnen zu erlauben, Werkzeuge zu benutzen oder die Hinweise anzusehen, sanken die Ergebnisse für einige Modelle signifikant, was bewies, dass „die Antwort zu kennen“ nicht dasselbe ist wie „das Problem zu lösen“.
Letztendlich argumentiert die Arbeit, dass wir aufhören müssen, Sicherheits-KIs nur nach ihrer Spitzenleistung im Vakuum zu beurteilen. Stattdessen müssen wir auf ihre „ökonomische Effizienz“ schauen. Ein Modell, das 90 % der Probleme für 5 $ löst, ist ein besseres Werkzeug für ein echtes Sicherheitsteam als ein Modell, das 95 % der Probleme für 500 $ löst. Die Studie legt nahe, dass bei Hacking-Aufgaben mehr Rechenleistung hilft, aber bei der Verteidigung von Systemen die kluge, disziplinierte Werkzeugnutzung die wahre Superkraft ist. Sie haben sogar eine Website erstellt, um diese Kosten-gegen-Erfolg-Kurven zu zeigen, was beweist, dass in der Welt der KI-Sicherheit, billig und klug zu sein, oft besser ist als reich und rücksichtslos zu sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.