TrajAudit: Automated Failure Diagnosis for Agentic Coding Systems
Das Papier stellt TrajAudit vor, ein neuartiges Framework, das darauf ausgelegt ist, die Fehlerdiagnose in repository-level agentic coding-Systemen zu verbessern, indem es verrauschte, lange Trajektorien filtert und Vorwissen nutzt, was im Vergleich zu bestehenden Baselines auf dem neuen RootSE-Benchmark eine deutlich höhere Lokalisierungsgenauigkeit und Token-Effizienz erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, automatisierten Roboter-Assistenten (einen „KI-Agenten"), dessen Aufgabe es ist, Fehler in einer riesigen, komplexen Softwarebibliothek zu beheben. Manchmal erledigt dieser Roboter die Aufgabe perfekt. Aber manchmal versucht er, ein Problem zu lösen, richtet ein Chaos an, und die Software stürzt trotzdem ab.
Die große Frage lautet: Wo genau hat der Roboter einen Fehler gemacht und warum?
Dies ist das Problem, das der Artikel „TrajAudit" zu lösen versucht. Hier ist eine Aufschlüsselung der Ideen des Artikels mit einfachen Analogien.
Das Problem: Die „Nadel im Heuhaufen"
Wenn der Roboter versucht, einen Fehler zu beheben, hinterlässt er eine lange Spur digitaler Fußspuren, die als Trajektorie bezeichnet wird. Diese Spur enthält jeden Gedanken, den der Roboter hatte, jede Datei, die er öffnete, jeden Befehl, den er tippte, und jede Fehlermeldung, die er sah.
- Der Heuhaufen: Diese Spuren sind unglaublich lang (manchmal 100+ Schritte) und voller „Rauschen". Stellen Sie sich vor, der Roboter liest ein 500-seitiges Handbuch, kopiert ganze Kapitel von Code, die nicht relevant sind, und listet jede einzelne Datei in einem Ordner auf. Dies ist der „Heuhaufen".
- Die Nadel: Irgendwo in diesem riesigen Haufen von Informationen gibt es einen bestimmten Moment, in dem der Roboter eine schlechte Entscheidung traf (die „Nadel").
- Der alte Weg: Bisherige Methoden versuchten, das gesamte 500-seitige Handbuch auf einmal zu lesen, um den Fehler zu finden. Aber genau wie ein Mensch wird die KI von so viel Text überwältigt und beginnt, offensichtliche Hinweise zu übersehen. Es ist wie der Versuch, einen Tippfehler in einem Roman zu finden, indem man das ganze Buch in einem Atemzug liest.
Die Lösung: TrajAudit (Der Detektiv)
Die Autoren haben ein neues System namens TrajAudit entwickelt. Anstatt dass ein Roboter versucht, alles auf einmal zu lesen, haben sie einen Detektiv-Agenten mit zwei speziellen Assistenten gebaut.
Stellen Sie sich den Detektiv-Agenten als einen erfahrenen Ermittler vor, der nicht sofort die gesamte Datei liest. Stattdessen nutzt er zwei intelligente Werkzeuge:
1. Der Assistent für „Vorwissen" (Die Ahnung)
Bevor der Detektiv überhaupt die verworrene Spur betrachtet, betrachtet dieser Assistent die Fehlermeldung (den Absturzbericht) und den Testcode (die Regeln, die der Roboter nicht befolgt hat).
- Analogie: Stellen Sie sich vor, ein Detektiv kommt an einen Tatort. Bevor er das verwüstete Zimmer betrachtet, liest er den Polizeibericht, in dem steht: „Das Opfer wurde vergiftet." Der Detektiv hat nun eine Ahnung: „Okay, ich muss nicht auf die Möbel schauen; ich muss in die Küche und zu den Getränken schauen."
- Im Artikel: Dieses Modul gibt der KI eine „vorläufige Diagnose". Es sagt dem Hauptagenten: „Konzentriere dich auf den Teil, in dem der Roboter die Datenbank betrachtete, nicht auf den Teil, in dem er nur Dateien auflistete." Dies verhindert, dass die KI im Rauschen verloren geht.
2. Der Assistent für „Semantische Saliency-Faltung" (Der Zusammenfasser)
Dieser Assistent betrachtet die lange, verworrene Spur und fragt: „Ist dieses Informationsteil tatsächlich wichtig für den Absturz?"
- Analogie: Stellen Sie sich vor, Sie haben ein 100-seitiges Transkript eines Gesprächs. Der größte Teil davon sind Leute, die „Hallo", „Wie geht's" und „Lassen Sie mich diese Datei prüfen" sagen. Aber auf Seite 42 sagt jemand: „Ich habe die falsche Datei gelöscht!"
- Der alte Weg liest die Seiten 1–100.
- Dieser Assistent faltet (versteckt) die Seiten 1–41 und 43–100, sodass nur der kritische Satz sichtbar bleibt. Er behält die „Fehlerprotokolle" und „Codeänderungen" bei, versteckt aber das langweilige „Dateilisten"-Rauschen.
- Im Artikel: Es verwendet Mustererkennung, um Codeänderungen und Schlüsselwörter wie „Fehler" oder „Ausnahme" zu finden. Alles andere wird zu einem winzigen Platzhalter komprimiert. Dies macht die Spur kurz und sauber.
3. Der Detektiv-Agent (Der Ermittler)
Nun betrachtet der Haupt-Detektiv-Agent diese kurze, saubere Zusammenfassung mit der Ahnung des ersten Assistenten.
- Der Trick „Bei Bedarf": Wenn die Zusammenfassung nicht ausreicht, um zu 100 % sicher zu sein, kann der Detektiv sagen: „Warten Sie, ich muss die vollständigen Details von Schritt 3 sehen." Er fordert dann das System auf, nur diesen spezifischen Teil wieder „aufzufalten".
- Das Ergebnis: Der Agent findet den exakten Schritt, in dem der Roboter einen Fehler machte, erklärt, warum er falsch lag, und tut dies, ohne sich an den 500 Seiten Rauschen zu verwirren.
Der Beweis: RootSE (Die Prüfung)
Um zu beweisen, dass ihr System funktioniert, konnten die Autoren es nicht nur an einfachen Aufgaben testen. Sie brauchten eine wirklich schwierige Prüfung.
- Sie schufen einen neuen Benchmark namens RootSE.
- Die Prüfung: Sie nahmen 93 reale Beispiele, bei denen KI-Agenten versagt hatten, Softwarefehler zu beheben. Dies waren keine einfachen Aufgaben; es waren komplexe, mehrdateilige Jobs, die Tausende von Datenschritten generierten.
- Die Note: Als sie ihr neues „Detektiv"-System gegen alte Methoden testeten:
- Genauigkeit: Das neue System fand den exakten Fehler 24 % häufiger als die beste vorherige Methode.
- Effizienz: Es benötigte 18 % weniger Computerressourcen (Tokens), weil es keine Zeit damit verschwendete, die langweiligen Teile zu lesen.
Zusammenfassung
Der Artikel argumentiert, dass wir, wenn KI-Agenten bei komplexen Codierungsaufgaben versagen, ihnen nicht einfach die gesamte Geschichte ihrer Fehler vorlegen können. Sie werden überwältigt.
TrajAudit ist so, als würde man der KI einen intelligenten Filter und eine gute Ahnung geben, bevor sie mit dem Lesen beginnt. Es versteckt das langweilige Rauschen, hebt die kritischen Hinweise hervor und lässt die KI auf den genauen Moment zoomen, in dem der Fehler passierte. Dies macht es viel schneller und genauer darin, herauszufinden, warum der Roboter versagt hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.