🤖 AI

AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation

Dieser Beitrag stellt AgentLens vor, ein Rahmenwerk, das die Häufigkeit von „Lucky Pass"-Phänomenen bei SWE-agent-Evaluierungen aufdeckt, indem es zeigt, dass sich alleinige Abhängigkeit von binären Testergebnissen wesentliche Unterschiede in der Lösungsqualität verschleiert, und schlägt eine Prozessbewertungsmethode mit Hilfe von Prefix Tree Acceptor-Referenzen auf Task-Ebene vor, um die Modellleistung genauer zu rangieren.

Ursprüngliche Autoren: Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen Mechaniker ein, um Ihr Auto zu reparieren. Die derzeitige Methode, um KI-Softwareingenieure (sogenannte „SWE-Agenten") zu testen, ist sehr einfach: Sie geben ihnen ein defektes Auto, sie kommen mit einem reparierten zurück, und Sie prüfen, ob es startet. Wenn es startet, erhalten sie einen goldenen Stern. Wenn nicht, bekommen sie ein rotes X.

Dies ist das „Bestanden/Nicht bestanden"-System. Das Problem, so die Autoren dieser Studie, besteht darin, dass dieses System zwei völlig unterschiedliche Mechaniker exakt gleich behandelt:

Der Meistermechaniker: Diagnostiziert das Problem schnell, bestellt das richtige Teil, repariert es effizient und überprüft die Arbeit doppelt.
Der Glücksspieler: Probiert 50 zufällige Teile aus, tauscht sie blindlings aus, beschädigt unterwegs ein paar andere Dinge, wird frustriert und landet schließlich – durch reines Glück – mit dem richtigen Teil. Das Auto startet.

Nach dem alten System erhalten beide einen goldenen Stern. Doch die Studie argumentiert, dass dies ein Fehler ist. Der „Glücksspieler" ist tatsächlich eine schlechte Anstellung, da sein Prozess chaotisch, verschwenderisch und unvorhersehbar ist.

Das Problem: Der „Glückliche Bestanden"-Fall

Die Forscher untersuchten über 2.600 Versuche von KI-Agenten, echte Softwarefehler zu beheben. Sie stellten fest, dass 10,7 % der „erfolgreichen" Reparaturen tatsächlich „Glückliche Bestanden-Fälle" waren.

Diese Agenten lösten das Problem nicht logisch. Stattdessen:

Versuchten sie blindlings erneut: Wie ein Kind, das auf einem Klavier herumklopft, bis ein Lied richtig klingt.
Vergaßen sie zu prüfen: Sie korrigierten den Code, führten aber nie die Tests durch, um zu sehen, ob er tatsächlich funktionierte.
Verschwenden sie Zeit: Sie durchsuchten die falschen Dateien oder liefen im Kreis, bevor sie zufällig auf die Antwort stießen.

Die Lösung: AGENTLENS (die „Prozesskamera")

Um dies zu beheben, entwickelte das Team ein neues Werkzeug namens AGENTLENS. Stellen Sie es sich wie eine hochauflösende Kamera vor, die nicht nur das fertige Auto betrachtet, sondern den gesamten Reparaturprozess in Zeitlupe aufzeichnet.

AGENTLENS tut im Wesentlichen zwei Dinge:

1. Die „Karte guter Lösungen" (PTA)
Anstatt die Arbeit einer KI nur mit einem einzigen „perfekten" Beispiel zu vergleichen, erstellt AGENTLENS einen Prefix Tree Acceptor (PTA).

Analogie: Stellen Sie sich einen Baum vor, dessen Stamm der Beginn der Aufgabe ist. Die Äste repräsentieren verschiedene gültige Wege, das Auto zu reparieren. Manche Äste führen durch den Motorraum, andere durch den Kofferraum.
Wenn eine KI einen Pfad einschlägt, der auf dem Baum existiert, handelt sie intelligent. Wenn sie vom Baum in den Wald abirrt, verschwendet sie Zeit.

2. Der „Absichtstranslator"
Das Werkzeug beobachtet, was die KI tut, und kennzeichnet jeden Schritt mit einem „Gedanken":

Exploration: „Ich suche nach dem Problem."
Implementierung: „Ich repariere das Teil."
Verifikation: „Ich prüfe, ob es funktioniert."
Orchestrierung: „Ich organisiere meine Gedanken."

Führt eine KI einen Test bevor sie den Code schreibt, markiert das Werkzeug sie als verwirrt. Korrigiert sie den Code, führt aber nie einen Test durch, stuft es dies als riskant ein.

Was sie herausfanden

Als sie diese neue „Prozesskamera" auf die Daten anwendeten, waren die Ergebnisse überraschend:

Nicht alle Gewinner sind gleich: Sie unterteilten die erfolgreichen Reparaturen in drei Gruppen:
- Ideal (20 %): Sauber, logisch und effizient.
- Solide (69 %): Gut, aber vielleicht etwas unordentlich.
- Glücksspieler (10,7 %): Die „Glücksspieler"-Gruppe. Sie kamen zum richtigen Ergebnis, aber durch Chaos.
Die Rangliste änderte sich: Als sie die KI-Modelle danach bewerteten, wie sie Probleme lösten (nicht nur ob sie sie lösten), kippte die Rangliste.
- Ein Modell (GPT-4o) sprang vom 8. auf den 3. Platz, weil es, wenn es erfolgreich war, dies sehr sauber tat.
- Ein anderes Modell (Opus 4.6) fiel vom 1. auf den 6. Platz. Es hatte eine hohe Erfolgsquote, aber viele dieser Siege waren „Glückliche Bestanden-Fälle", die mit verschwendeter Arbeit gefüllt waren.
Die Kosten des Glücks: Die „Glücklichen" Agenten waren unglaublich teuer. Manche verschwendeten bis zu 40-mal mehr Rechenleistung (Tokens) als die effizienten Agenten, nur um dasselbe Ergebnis zu erzielen. Es ist, als würde man einen Vorschlaghammer verwenden, um eine Nuss zu knacken, weil man nicht weiß, wie man einen Nussknacker benutzt.

Die fünf Arten von „Glück"

Die Studie kategorisierte auch genau, wie diese Agenten Glück hatten:

Der Übermütige: Hatte es repariert, prüfte aber nicht, ob es funktionierte.
Der Brute-Forcer: Probte immer wieder zufällige Dinge aus, bis eines funktionierte.
Der Halbherzige: Reparier te nur einen Teil des Problems, aber die Tests waren nicht streng genug, um den Rest zu erkennen.
Der Wanderer: Verirrte sich beim Erkunden und konzentrierte sich nie wirklich.
Der kreative Genie: Findet einen völlig anderen, gültigen Weg, es zu reparieren, den die „Karte" nicht erwartet hatte (dies ist die einzige „gute" Art von Glück).

Das Fazit

Die Studie kommt zu dem Schluss, dass wir KI nicht nur fragen können: „Hast du es repariert?" Wir müssen fragen: „Hast du es auf die richtige Weise repariert?"

Durch den Einsatz von AGENTLENS können wir aufhören, KI-Modelle dafür zu belohnen, dass sie Glück haben oder verschwenderisch sind. Stattdessen können wir sie trainieren, wie der Meistermechaniker zu sein: effizient, logisch und zuverlässig. Die Forscher haben ihre Werkzeuge und Daten veröffentlicht, damit andere diese „Prozesskamera" nutzen können, um KI-Ingenieure besser zu bewerten.

Technische Zusammenfassung: AGENTLENS: Aufdeckung des „Lucky Pass"-Problems bei der Evaluation von SWE-Agenten

1. Problemstellung

Die aktuelle Evaluation von Software-Engineering-(SWE-)Agenten wird von einem binären Signal dominiert: Ob der finale Patch den Testlauf besteht (z. B. SWE-bench). Diese rein ergebnisorientierte Sichtweise behandelt eine prinzipiengeleitete, effiziente Lösung und einen chaotischen, trial-and-error-Prozess als gleichwertig. Die Autoren argumentieren, dass diese Gleichsetzung empirisch falsch ist und für die Bewertung des Agentenverhaltens unzureichend.

Insbesondere identifiziert das Papier das „Lucky Pass"-Problem: Eine Teilmenge erfolgreicher Trajektorien, die durch schwache, brüchige oder ineffiziente Prozesse zu einem korrekten Patch gelangen. Dazu gehören:

Regressionsschleifen: Wiederholtes Scheitern und erneutes Ausprobieren ähnlicher Änderungen.
Blindes Wiederholen: Wiederholung von Aktionen ohne neue Informationen.
Fehlende Verifikation: Anwenden von Fixes ohne Ausführung von Tests.
Zeitlich desorganisierte Exploration: Durchführen von Verifikationsschritten vor der Implementierung oder Erkunden irrelevanter Dateien nach Verifizierung eines Fixes.

Das Papier geht davon aus, dass die Behandlung aller erfolgreichen Trajektorien als gleichwertige Supervisionsdaten (wie in Datensätzen wie SWE-Gym) ein grober Proxy für die Demonstrationsqualität ist. Darüber hinaus wird, da Modelle auf Benchmarks mit hohen Bestehensquoten konvergieren, die Prozessqualität zu einer notwendigen Dimension für den Modellvergleich und die Risikobewertung, da Agenten, die durch Trial-and-Error erfolgreich sind, in komplexen, realen Einsatzszenarien unvorhersehbar agieren können.

2. Methodik: Das AGENTLENS-Framework

Die Autoren stellen AGENTLENS vor, ein Framework zur prozessbezogenen Bewertung von SWE-Agent-Trajektorien. Es arbeitet in vier Stufen:

A. Von Roh-Logs zu gelabelten Zuständen

Roh-Logs der Agenten werden in strukturierte Zustandssequenzen parsen. Jeder Zustand erhält ein Intent-Stage-Label aus vier kognitiven Phasen:

Exploration (E): Lesen von Dateien, Suchen, Auflisten von Verzeichnissen.
Implementation (I): Bearbeiten oder Erstellen von Quelldateien.
Verification (V): Ausführen von Tests, Prüfen von Fehlern, erneutes Lesen bearbeiteter Dateien.
Orchestration (O): Buchhaltung und Denkschritte.

Kritisch nutzt AGENTLENS einen kontextsensitiven Intent-Stage-Labeler. Im Gegensatz zu naiven Ansätzen, die Aktionen allein basierend auf der Tool-Identität labeln (z. B. Annahme, dass grep immer Exploration ist), verwendet dieser Labeler die Trajektorienhistorie. So wird grep vor dem Schreiben eines Patches als Exploration gelabelt, aber als Verifikation, wenn es nach einem Implementierungsschritt durchgeführt wird, um eine spezifische Änderung zu prüfen. Dies löst Mehrdeutigkeiten bei Terminalbefehlen, was mit einem Fleiss' $\kappa = 0,933$ über sieben Annotatoren hinweg validiert wurde.

B. Aufbau einer PTA-Referenz

Anstatt eine Kandidaten-Trajektorie mit einem einzelnen Referenzpfad zu vergleichen, konstruiert AGENTLENS einen Prefix Tree Acceptor (PTA) aus $k \ge 2$ erfolgreichen Trajektorien für dieselbe Aufgabe.

Merging: Gemeinsame Präfixe werden zu gemeinsamen Knoten zusammengeführt.
Branching: Divergierende, aber erfolgreiche Strategien bilden Äste.
Ergebnis: Der PTA ist ein gerichteter azyklischer Graph (DAG), der einen Raum „bekannter guter" Lösungsstrategien kodiert, anstatt eines einzelnen Exempels. Dies ermöglicht dem System, gültige alternative Pfade zu erkennen, während Abweichungen von bekannten erfolgreichen Prozessen markiert werden.

C. Bewertung von Kandidaten-Trajektorien

Eine Kandidaten-Trajektorie wird anhand der aufgabenbezogenen PTA mit vier komplementären Signalen bewertet, die zu einer Qualitätsbewertung von 0–100 kombiniert werden:

Strukturelle Ausrichtung ( $\Phi_{struct}$ ): Misst, ob die Kandidatin die PTA-Zustände in der grob richtigen Reihenfolge besucht (geordnete Recall + ungeordnete Precision).
Set-Abdeckung ( $\Phi_{cov}$ ): Misst den Anteil der PTA-Zustände, die von der Kandidatin erreicht werden, unabhängig von der Reihenfolge.
Trajektorien-Kohärenz ( $\Phi_{coh}$ ): Fasst die Intent-Stage-Sequenz zusammen, belohnt Vorwärtsfortschritt (z. B. $E \to I \to V$ ) und bestraft Rückwärtsbewegungen und blindes Wiederholen.
Ähnlichkeit des zeitlichen Profils ( $\Phi_{temp}$ ): Vergleicht die Verteilung der Phasen über frühe, mittlere und späte Trajektorienabschnitte mit der PTA unter Verwendung der Jensen-Shannon-Divergenz.

Die endgültige Bewertung ist eine gewichtete Summe:
$f(\tau_c, G) = 0,20 \cdot \Phi_{struct} + 0,15 \cdot \Phi_{cov} + 0,30 \cdot (100 \cdot \Phi_{coh}) + 0,35 \cdot (100 \cdot \Phi_{temp})$
Verhaltenssignale (Kohärenz und Zeitprofil) tragen 65 % des Gewichts bei, was widerspiegelt, dass strukturelle Abdeckung und Prozessqualität oft bei unterschiedlichen Trajektorien versagen.

D. Berichte und Einteilung in Stufen

Trajektorien werden basierend auf ihrer kombinierten Bewertung in Stufen eingeteilt:

Ideal ( $\ge 70$ ): Prinzipiengeleitet, wenig Verschwendung, gut geordnet.
Solide ( $47 \le score < 70$ ): Unvollkommen, aber kohärent.
Lucky ( $< 47$ ): Schwache Prozesse, die zufällig bestehen (z. B. Regressionsschleifen, blindes Wiederholen).
Teilversagen / Vom Kurs abgekommen: Für gescheiterte Trajektorien.

Das System generiert zudem strukturierte Ineffizienzberichte, die „Verschwendung" (Regressionsschleifen, blindes Wiederholen, redundante Schritte, unnötige Exploration, zyklische Muster) auf spezifische Trajektorien-Schritte lokalisieren.

3. Hauptbeiträge

AGENTLENS-Bench: Der erste prozess-annotierte Datensatz für SWE-Agent-Trajektorien. Er enthält 1.815 Trajektorien aus 47 SWE-bench Verified-Aufgaben mit Qualitätsbewertungen, Verschwendungsannotierungen, Divergenz-Metadaten und Ground-Truth-PTAs.
Die Lucky-Pass-Erkenntnis: Die Autoren zeigen, dass 10,7 % der erfolgreichen Trajektorien „Lucky Passes" sind. Diese werden in fünf wiederkehrende Mechanismen zerlegt:
- Minimal & Unverifiziert (15,6 %): Kurz, keine Verifikation.
- Brute-Force-Konvergenz (34,4 %): Hohe Verschwendung, niedrige Kohärenz.
- Unvollständige Implementierung (33,6 %): Teilweise Fixes, die aufgrund von Testlücken bestehen.
- Übermäßige Exploration (4,1 %): Lang, ungerichtet.
- Divergent, aber gültig (12,3 %): Alternative gültige Ansätze.
Kontextsensitive Intent-Beschriftung: Ein validierter Labeler, der Mehrdeutigkeiten zwischen Exploration und Verifikation bei Terminalbefehlen auflöst und eine rohe Übereinstimmung von 96,0 % erreicht.
PTA-basierte Prozessreferenzen: Eine Methode zum Zusammenführen mehrerer erfolgreicher Lösungen in einen Referenzraum bekannter guter Strategien, der die Bewertung neuer Trajektorien gegen eine diverse Menge korrekten Verhaltens ermöglicht.
Open-Source-Tools: Veröffentlichung des AGENTLENS SDK und einer Web-Oberfläche, die ATIF- und OpenHands-Spuren unterstützt, ohne LLM-Aufrufe für die Bewertung zu erfordern.

4. Ergebnisse

Das Framework wurde an 2.614 Trajektorien von acht Modell-Backends (einschließlich GPT-4.1, GPT-4o, Claude Opus und Gemini 2.5 Pro) über 60 SWE-bench Verified-Aufgaben hinweg evaluiert.

Verteilung erfolgreicher Trajektorien: Unter 1.136 erfolgreichen Trajektorien waren 20,2 % Ideal, 69,1 % Solide und 10,7 % Lucky.
Diskrepanz bei der Modell-Rangfolge: Eine prozessbewusste Bewertung verändert die Modell-Rangfolgen im Vergleich zur reinen Bestehensquote erheblich.
- Beispiel: GPT-4o rangiert nach Bestehensquote auf Platz 8, aber nach Qualitätsbewertung auf Platz 3.
- Beispiel: Claude Opus 4.6 rangiert nach Bestehensquote auf Platz 3, aber nach Qualitätsbewertung auf Platz 6, mit einer Lucky-Rate von 18,7 % (die höchste unter Top-Modellen).
- Die Lucky-Raten über Modelle hinweg reichen von 0,5 % (Opus 4.5) bis 23,2 % (GPT-4.1).
Spezifität der Taxonomie: Es besteht ein signifikanter Zusammenhang zwischen Modelltyp und Lucky-Pass-Kategorie ( $\chi^2(28) = 102,47, p < 0,0001$ ). Beispielsweise produziert Opus 4.6 unverhältnismäßig viele „Minimal & Unverifiziert"-Bestehungen, während GPT-4.1 die Kategorien „Brute-Force" und „Übermäßige Exploration" dominiert.
Diskriminierungskraft: Die kombinierte Bewertung trennt erfolgreiche und gescheiterte Trajektorien mit einer AUROC von 0,766 ( $p=0,0017$ ). Kein einzelnes Signal erreichte allein statistische Signifikanz, was die Notwendigkeit der Fusion struktureller und verhaltensbezogener Signale unterstreicht.
Kostenimplikationen: Lucky Passes verursachen signifikant höhere Rechenkosten. „Brute-Force"-Trajektorien kosten etwa das 25-fache an Tokens im Vergleich zu „Minimal"-Trajektorien, und „Übermäßige Exploration" kostet etwa das 40-fache, obwohl sie identische binäre Bestehens-/Scheiterns-Labels erhalten.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass AGENTLENS eine notwendige Evaluierungsebene jenseits binärer Ergebnisse bietet. Seine Bedeutung liegt in drei Bereichen:

Datenkuratierung: Es hinterfragt die Praxis, Trainingsdaten ausschließlich nach der Bestehensquote zu filtern, und zeigt, dass „erfolgreiche" Trajektorien in ihrer Qualität stark variieren. Die Verwendung von minderwertigen „Lucky"-Trajektorien für die Supervision kann brüchiges Verhalten verstärken.
Modellvergleich: Es bietet eine neue Dimension für den Modellvergleich. Da Modelle auf hohe Bestehensquoten konvergieren, wird die Fähigkeit, Aufgaben durch kohärente, verschwendungsarme Prozesse zu lösen, zu einem Unterscheidungsmerkmal. Das Papier zeigt, dass eine Rangfolge nach Qualitätsbewertung die Positionen von Modellen um bis zu fünf Ränge verschieben kann.
Einsatzrisiko: Es hebt hervor, dass Agenten, die durch Trial-and-Error erfolgreich sind, in Umgebungen mit teuren Tests oder irreversiblen Aktionen unvorhersehbar sein können. Durch die Aufdeckung von „Lucky Passes" hilft AGENTLENS Praktikern, Modelle zu identifizieren, die auf brüchiger Exploration statt auf prinzipiengeleiteter Argumentation beruhen.

Die Autoren positionieren AGENTLENS nicht als Ersatz für Funktionalitätskorrektheitsprüfungen, sondern als ergänzendes Diagnosewerkzeug zur Verbesserung der Evaluation, Analyse und des Trainings von Software-Engineering-Agenten. Sie veröffentlichen den Datensatz und die Tools, um prozessbewusste Analyse zu einem Standardbestandteil der Evaluierungspipeline für SWE-Agenten zu machen.