AgentCyberRange: Benchmarking Frontier AI Systems in Realistic Cyber Ranges
Das Papier stellt AgentCyberRange vor, eine offene Multi-Host-Infrastruktur, die darauf ausgelegt ist, die autonomen offensiven Fähigkeiten von Frontier-KI-Systemen in realistischen Web-Exploitation- und Post-Exploitation-Szenarien zu benchmarken, wobei aufgezeigt wird, dass aktuelle Modelle zwar nur begrenzten Erfolg zeigen, aber dennoch in der Lage sind, unter realistischen Bedingungen unbekannte Schwachstellen zu entdecken und Verteidigungsmechanismen zu umgehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: KI in einem „Digitalen Dojo“ testen
Stellen Sie sich vor, Sie möchten wissen, ob ein neuer, superintelligenter Roboter gefährlich ist. Sie können ihn nicht einfach fragen: „Bist du gefährlich?“, denn er könnte lügen. Sie können ihm auch nicht einfach einen Mathetest geben, denn gut in Mathe zu sein, bedeutet nicht zwangsläufig, dass er in ein Haus einbrechen kann.
Um wirklich zu wissen, ob dieser Roboter Unwesen treiben kann, müssen Sie ihn in einer simulierten Nachbarschaft (einem „Cyber Range“) platzieren, in der er versuchen muss einzubrechen, genau wie ein echter Einbrecher.
Dieses Paper stellt AGENTCYBERRANGE vor, was genau das ist: ein riesiges, Open-Source „Digitales Dojo“, das darauf ausgelegt ist, zu testen, wie gut die klügsten KI-Systeme der Welt realistische Cyberangriffe durchführen können.
Das Problem: „Videospiel“ vs. „Echte Welt“
Vor diesem Paper war das Testen der KI-Sicherheit wie das Spielen eines Videospiels, bei dem man nur ein Rätsel nach dem anderen lösen muss.
- Alte Tests: „Hier ist eine verschlossene Tür. Knacke das Schloss auf.“ (Dies nennt man Vulnerability Reproduction).
- Die Realität: Ein echter Hacker knackt nicht nur ein einzelnes Schloss. Er muss zuerst um die Nachbarschaft herumgehen, um die Hintertür zu finden, hineinschleichen, den Generalschlüssel im Flur finden und dann jedes Zimmer im Haus entriegeln.
Die Autoren argumentieren, dass bisherige Tests zu einfach waren. Sie testeten nicht die Fähigkeit der KI, die Verbindung zwischen „die Tür finden“ und „das ganze Haus übernehmen“ herzustellen.
Die Lösung: Ein zweistufiger Raubüberfall
Das AGENTCYBERRANGE-Benchmark setzt den KI zwei Hauptherausforderungen entgegen, die einen echten Raubüberfall imitieren:
- Web-Exploitation (Die Vordertür): Die KI muss eine echte Website betrachten (wie eine Bank oder einen Blog) und eine versteckte Hintertür oder ein schwaches Fenster finden. Sie muss herausfinden, wo sie suchen muss, ohne dass es ihr gesagt wird.
- Post-Exploitation (Der Insider-Job): Sobald die KI durch diese eine Tür eingedrungen ist, muss sie dort bleiben. Sie muss die Leiter hochklettern, um „Root“ (den Chef-Schlüssel) zu erhalten, an Sicherheitswachen (Antivirenprogrammen) vorbeischleichen und von einem Computer zum nächsten ziehen, bis sie das gesamte Netzwerk kontrolliert.
Um dies fair und wiederholbar zu machen, bauten sie ein Werkzeug namens CAGE. Betrachten Sie CAGE als den Schiedsrichter und Regisseur. Es bereitet die gefälschten Häuser vor, lässt die KI-Roboter laufen, beobachtet ihr Handeln und prüft automatisch, ob sie tatsächlich Erfolg hatten oder ob sie nur Glück hatten.
Das Experiment: Wer ist der beste Einbrecher?
Die Forscher testeten sechs der weltweit fortschrittlichsten KI-Systeme (darunter Versionen von GPT, Claude und anderen) in diesem digitalen Dojo. Sie gaben ihnen ein „Budget“ an Schritten (ähnlich wie ein Zeitlimit), um einzubrechen.
Die Ergebnisse:
- Der Gewinner: Das KI-System GPT-5.5 (gepaart mit dem Coding-Tool Codex) war am besten.
- Die Punktzahl: Selbst die beste KI war nur in etwa 16 % der „Vordertür“-Herausforderungen und in 32 % der „Insider-Job“-Herausforderungen erfolgreich.
- Das Fazit: Diese KIs werden erschreckend gut. Sie lösen nicht nur Rätsel; sie brechen tatsächlich in echte Software ein und bewegen sich durch Netzwerke. Aber sie sind noch weit davon entfernt, perfekte, zuverlässige Hacker zu sein. Sie verirren sich oft, übersehen versteckte Türen oder werden von Sicherheitsalarmen erwischt.
Die „Überraschungs“-Funde
Das Paper fand zwei interessante Dinge heraus, die nicht Teil des ursprünglichen Testplans waren:
- Sie fanden neue Geheimnisse: Während sie versuchten, in die Test-Websites einzubrechen, entdeckten die KIs versehentlich ganz neue, unbekannte Schwachstellen (Zero-Days) in populärer Software, von denen selbst die menschlichen Entwickler noch nichts wussten.
- Sie sind anpassungsfähig: Wenn die Testumgebung versuchte, sie zu stoppen (wie ein Antivirenprogramm), änderten die KIs manchmal ihre „Werkzeuge“ oder „Methoden“, um die Verteidigung zu umgehen, was zeigt, dass sie spontan reagieren können.
Das Fazit: Wir brauchen einen neuen Spiegel
Die Autoren kommen zu dem Schluss, dass wir KIs nicht mehr nur an einfachen Rätseln testen können. Da diese Systeme damit zu beginnen, komplexe Angriffe zu verketten (eine Tür finden, einbrechen und übernehmen), benötigen wir realistische End-to-End-Testumgebungen wie AGENTCYBERRANGE.
Wir müssen genau sehen, wie sie scheitern und wie sie Erfolg haben, in einem sicheren, kontrollierten „Dojo“, damit wir die Risiken verstehen, bevor sie in der realen Welt eingesetzt werden. Das Paper betont, dass diese KIs zwar mächtig sind, aber noch keine „zuverlässigen“ Angreifer darstellen – ihr Potenzial wächst jedoch so schnell, dass wir sie genau beobachten müssen.
Kurz gesagt: Das Paper hat eine realistische Simulation gebaut, um zu testen, ob Super-KIs wie Menschen hacken können. Es stellte fest, dass die klügsten KIs bereits in der Lage sind, in reale Systeme einzubrechen und neue Lücken zu finden, aber sie machen immer noch viele Fehler. Wir brauchen diese Tests, um unsere digitale Welt sicher zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.