Do Agents Dream of Root Shells? Partial-Credit Evaluation of LLM Agents in Capture The Flag Challenges
Die Studie stellt DeepRed, einen Open-Source-Benchmark für die Bewertung von LLM-Agenten in realistischen CTF-Herausforderungen, vor und zeigt, dass selbst die besten aktuellen Modelle mit einer durchschnittlichen Punktzahl von nur 35 % bei der Erreichung von Teilzielen erhebliche Grenzen aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Grundidee: Ein digitaler Hackathon für KI
Stell dir vor, du hast einen sehr schlauen, aber noch etwas unerfahrenen Roboter-Hacker. Dieser Roboter kann fließend Deutsch, Englisch und Programmiersprache sprechen. Er kennt sich mit Computern aus. Aber die Frage ist: Kann er wirklich allein einen Computer knacken, wenn er nicht genau weiß, was er tun soll?
Die Forscher von der TU Delft haben genau das getestet. Sie haben eine Art „Prüfungsraum" namens DeepRed gebaut.
Das Szenario: Ein isoliertes Spielzimmer
Stell dir DeepRed wie ein riesiges, sicheres Spielzimmer vor:
- Der Angreifer: Ein Computer (eine „Kali-Maschine"), auf dem der KI-Agent sitzt. Er hat alle Werkzeuge dabei, die ein echter Hacker braucht.
- Das Ziel: Ein anderer Computer im selben Raum, der voller „Fahnen" (die sogenannten Flags) versteckt ist.
- Die Aufgabe: Der Agent muss durch den Raum laufen, Türen aufbrechen, Schlösser knacken und am Ende die Fahne finden.
Das Besondere: Der Agent ist komplett isoliert. Er kann nichts außerhalb dieses Spielzimmers anfassen. Es ist sicher und kontrolliert.
Das Problem: „Alles oder Nichts" ist zu dumm
Früher hat man bei solchen Tests nur gefragt: „Hat der Roboter die Fahne gefunden? Ja oder Nein?"
Das ist aber wie bei einem Schüler, der eine Matheprüfung schreibt. Wenn er die letzte Aufgabe nicht löst, bekommt er eine 6. Aber vielleicht hat er die ersten drei Aufgaben perfekt gelöst und nur bei der vierten den Fehler gemacht. Eine 6 sagt nichts darüber aus, wie gut er eigentlich ist.
Die Forscher wollten wissen: Wie weit ist der Roboter gekommen?
Deshalb haben sie eine neue Methode erfunden: Teilpunkte.
Stell dir vor, die Aufgabe ist wie eine Schatzsuche mit 10 Stationen:
- Das Schloss finden.
- Den Schlüssel finden.
- Die Tür öffnen.
- Den ersten Raum betreten.
... - Den Schatz holen.
Wenn der Roboter nur bis Station 3 kommt, bekommt er 30 % Punkte. Das ist viel aussagekräftiger als ein einfaches „Gescheitert".
Wie haben sie das gemessen? (Der automatische Schiedsrichter)
Um zu sehen, wie weit die Roboter gekommen sind, haben die Forscher einen cleveren Trick benutzt. Sie haben alle Aktionen des Roboters (die Befehle, die er tippte, die Fehler, die er machte) aufgeschrieben.
Dann haben sie einen zweiten, sehr schlauen KI-Richter (einen „Schiedsrichter") gebeten, diese Aufzeichnungen zu lesen.
- Zusammenfassen: Der Richter fasst die lange, chaotische Geschichte des Roboters in eine kurze, klare Zusammenfassung.
- Bewerten: Der Richter vergleicht die Zusammenfassung mit einer „Lösungsanleitung" (einem öffentlichen Bericht, wie ein Mensch das Problem gelöst hat).
- Punkte geben: Der Richter sagt: „Aha, der Roboter hat den Schlüssel gefunden? Gut, das sind 10 Punkte!"
Das ist wie ein Lehrer, der die Hausaufgaben eines Schülers korrigiert, aber viel schneller und ohne müde zu werden.
Was haben sie herausgefunden?
Die Ergebnisse waren ehrlich, aber nicht überraschend: Die Roboter sind noch nicht bereit für den großen Job.
- Die Besten schaffen nur 35 %: Selbst der klügste KI-Modell (GPT-5.1 Codex Max) schaffte im Durchschnitt nur etwa ein Drittel der Aufgaben. Das bedeutet, er kam oft bis zur Tür, konnte sie aber nicht öffnen oder vergaß, was er vorher getan hatte.
- Sie geben schnell auf: Die Roboter sind oft sehr gut darin, die ersten Schritte zu machen (z. B. das Haus zu finden). Aber wenn es kompliziert wird und sie einen Plan ändern müssen, verlieren sie den Faden. Sie machen immer wieder die gleichen Fehler oder geben auf.
- Gewöhnliche Aufgaben vs. Kreative: Bei Standard-Problemen (wie ein bekanntes Schloss knacken) waren sie okay. Aber wenn sie etwas Neues erfinden mussten (z. B. einen versteckten Code in einem Bild finden), kamen sie schnell an ihre Grenzen.
- Viel Gerede, wenig Taten: Manche Roboter haben sehr viele Wörter (Token) verbraucht, um sich zu überlegen, was sie tun sollen, aber am Ende haben sie gar nichts geschafft. Es kommt also nicht auf die Menge des „Gedankens" an, sondern auf die Qualität.
Warum ist das wichtig?
Diese Studie ist wie ein wichtiger Gesundheitscheck für die KI.
- Sicherheit: Wir müssen wissen, ob KI-Agenten gefährlich werden können, wenn sie allein gelassen werden. Bisher sind sie noch zu dumm, um ganze Netzwerke zu zerstören, aber sie können schon kleine Schäden anrichten.
- Verbesserung: Jetzt wissen die Entwickler genau, wo die Schwächen liegen (z. B. schlechtes Langzeitgedächtnis). Sie können ihre Roboter also gezielt trainieren, um besser zu planen und nicht so schnell aufzugeben.
Fazit
Die KI-Agenten sind wie sehr talentierte Auszubildende. Sie können die Werkzeuge bedienen und einfache Aufgaben lösen, aber sie brauchen noch viel Aufsicht, um komplexe, mehrstufige Hackerangriffe durchzuführen. Sie „träumen" noch nicht davon, die Kontrolle über das System zu übernehmen, aber sie lernen schnell.
Die Studie zeigt uns: Wir müssen aufhören, nur zu fragen „Hat er es geschafft?", und anfangen zu fragen: „Wie weit ist er gekommen und wo genau ist er steckengeblieben?" Nur so können wir die KI wirklich verbessern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.