Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing
Dieses Paper argumentiert, dass zukünftige Evaluierungen autonomer Penetration-Testing-Agenten kontrollierte, modellangepasste Plain-Agent-Baselines etablieren müssen, um Leistungssteigerungen präzise zwischen jenen zu unterscheiden, die aus architektonischen Innovationen resultieren, und jenen, die auf Verbesserungen der zugrunde liegenden Modelle zurückzuführen sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, sich ständig verändernde Stadt aus digitalen Gebäuden vor. Einige dieser Gebäude haben versteckte Fallen und kaputte Schlösser – Sicherheitslücken, die böswillige Akteure nutzen könnten, um einzuschleichen. Jahrzehntelang gehörte die Aufgabe, diese Lücken zu finden, menschlichen Experten, wie etwa digitalen Schlosserm, die durch jedes Zimmer gehen und jede Tür und jedes Fenster testen. Aber die Stadt wächst zu schnell; neue Gebäude entstehen jede Sekunde, und die Schlosserm kommen nicht mehr hinterher. Also begannen Wissenschaftler, „Roboter-Schlosser“ mithilfe von Künstlicher Intelligenz zu bauen. Diese Roboter werden von Large Language Models (LLMs) angetrieben, die wie superintelligente Gehirne sind, die fast alles im Internet gelesen haben und Code schreiben, Probleme durchdenken und Anweisungen befolgen können.
Die große Frage in diesem Bereich ist nicht nur: „Kann der Roboter das Schloss finden?“, sondern: „Wie viel des Erfolgs des Roboters kommt von seinem Gehirn und wie viel von den schicken Werkzeugen, die wir ihm gegeben haben?“ Stellen Sie sich vor, Sie haben einen genialen Schüler. Wenn Sie ihm ein einfaches Notizbuch und einen Stift geben, wird er vielleicht ein mathematisches Problem lösen. Wenn Sie ihm jedoch einen Hightech-Taschenrechner, ein Team von Tutoren und eine spezielle Karte geben, wird er das Problem schneller lösen. Aber hat der Taschenrechner ihn intelligenter gemacht oder hat er ihm nur geholfen? In der Welt der KI-Sicherheit haben Forscher komplexe „Harnische“ gebaut – Teams von KI-Agenten, spezielle Speichersysteme und Suchwerkzeuge –, um den KIs zu helfen, Websites zu hacken. Da sie aber gleichzeitig das KI-Gehirn und die Werkzeuge ändern, wusste niemand, ob die schicken Werkzeuge tatsächlich die Hauptarbeit leisteten oder ob die KI einfach von selbst besser wurde.
Dieses Papier mit dem Titel „Baselines Before Architecture“ tritt an, um die Sache mit einem sehr sorgfältigen Experiment zu klären. Die Forscher richteten einen kontrollierten Test mit einem Standardset von 104 digitalen Herausforderungen auf, dem XBOW-Benchmark. Anstatt einen neuen, schicken Roboter zu bauen, nahmen sie drei bestehende, „einfache“ Coding-Assistenten namens Codex, OpenCode und Pi und baten sie, die Herausforderungen mit einem einzigen, leistungsstarken KI-Gehirn (GPT-5) und ohne spezielle Sicherheitswerkzeuge zu lösen. Sie wollten sehen, wie gut eine „nackte“ KI abschneiden würde, bevor man ihr irgendwelche zusätzlichen Gadgets hinzufügt.
Die Ergebnisse waren eine Mischung aus Überraschungen und praktischen Wahrheiten. Erstens waren die einfachen Coding-Agenten überraschend stark. Der „Codex“-Agent, der auf dem GPT-5-Modell läuft, löste etwa 67 % der Herausforderungen beim ersten Versuch. Als die Forscher es ihm erlaubten, es erneut zu versuchen (indem sie denselben Test zweimal durchführten und die Ergebnisse kombinierten), löste er 7-7,9 % der Herausforderungen. Das ist eine große Sache, denn es bedeutet, dass ein einfacher, allgemeiner Coding-Roboter bereits einen riesigen Teil der Arbeit bewältigen kann, ohne ein komplexes Sicherheitsteam zu benötigen.
Die Studie testete auch zwei spezifische Ideen, von denen viele Menschen glaubten, sie seien essenziell. Das eine war das „Security Prompting“, bei dem man der KI ein spezielles Anweisungsblatt gibt, das ihr sagt, sie solle wie ein Hacker denken. Das andere war die Idee, dass komplexe Multi-Agenten-Architekturen (bei denen verschiedene KI-Rollen miteinander kommunizieren) für Spitzenleistungen notwendig sind. Das Papier fand heraus, dass die speziellen „Hacker-Anweisungen“ die KI tatsächlich schlechter performen ließen, wodurch sie weniger Herausforderungen löste und mehr Geld kostete. Was die komplexen Architekturen betrifft, so verglich das Papier den einfachen Codex-Ergebnissen mit zwei berühmten, hochtechnologischen Systemen namens MAPTA und PentestGPT V2.
Hier liegt die Nuance: Die schicken Systeme hatten immer noch einen leichten Vorsprung. Wenn sie mit demselben KI-Gehirn kombiniert wurden, löste das spezialisierte MAPTA-System etwa 9,6 Prozentpunkte mehr Herausforderungen als der einfache Codex. Das Papier zeigte jedoch, dass dieser Abstand nicht so groß war, wie er schien. Als die Forscher den einfachen Codex-Agenten auf ein neueres, intelligenteres Gehirn (GPT-5.5) aktualisierten, löste er 92,3 % der Herausforderungen beim ersten Versuch und 95,2 %, wenn man zwei Durchläufe kombinierte. Dieser neue einfache Agent schlug sogar die Schlagzeilen-Scores der älteren, komplexen Systeme, selbst ohne all ihre schicken Werkzeuge.
Die wichtigste Erkenntnis ist eine Warnung an die wissenschaftliche Gemeinschaft: Gehen Sie nicht davon aus, dass eine komplexe neue Architektur der Held ist, nur weil sie eine hohe Punktzahl erzielt. Oft kommt die Punktzahl daher, dass das KI-Modell intelligenter wird, nicht weil die Werkzeuge ausgeklügelter werden. Das Papier legt nahe, dass Forscher, bevor sie behaupten, ein neuer „Sicherheits-Harnisch“ sei ein Durchbruch, zuerst zeigen müssen, wie viel besser er im Vergleich zu einem einfachen, grundlegenden Coding-Agenten mit exakt demselben KI-Gehirn ist. Während spezialisierte Werkzeuge immer noch helfen können, Geld und Zeit zu sparen, erledigt die „einfache“ KI bereits den Großteil der schweren Arbeit, und einfach auf die nächste Generation von KI-Modellen zu warten, könnte genauso effektiv sein, wie einen komplizierteren Roboter zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.