XAI for Coding Agent Failures: Transforming Raw Execution Traces into Actionable Insights

Diese Arbeit stellt einen systematischen XAI-Ansatz vor, der Roh-Ausführungsprotokolle von LLM-Coding-Agenten durch eine domänenspezifische Fehler-Taxonomie, automatische Annotation und hybride Erklärungen in verständliche, visuelle und handlungsorientierte Insights umwandelt, wodurch die Fehleranalyse und -behebung für Entwickler signifikant beschleunigt und präzisiert wird.

Das Wesentliche

🤖 Wenn der KI-Programmierer scheitert: Ein neuer Weg, um ihn zu verstehen

Stell dir vor, du hast einen super-intelligenten, aber manchmal etwas verwirrten Assistenten (eine KI), der für dich Programmcode schreiben soll. Er ist wie ein junger Praktikant, der alles lernen will, aber manchmal:

1. Die Aufgabe missversteht.
2. In einer Endlosschleife feststeckt.
3. Oder einfach den falschen Befehl gibt.

Wenn dieser Assistent scheitert, bekommst du normalerweise einen riesigen, unleserlichen Stapel Papier (die "Rohdaten" oder Protokolle). Das ist wie ein Blackbox-Flugschreiber, der nur Zahlen und Codes ausspuckt. Selbst erfahrene Ingenieure brauchen Stunden, um herauszufinden, was schiefgelaufen ist. Für jemanden ohne technisches Verständnis ist das komplett unverständlich.

Das Problem: Bisher fragte man einfach eine andere KI (wie ChatGPT): "Erklär mir, warum das gescheitert ist." Das Ergebnis war oft unzuverlässig, chaotisch oder zu oberflächlich.

Die Lösung des Papers:
Die Forscher (Arun Joshi und sein Team) haben eine KI-Detektiv-Maschine gebaut. Diese Maschine nimmt den chaotischen Fehlerbericht und verwandelt ihn in einen klaren, visuellen und handlungsorientierten Fallbericht.

---

🛠️ Wie funktioniert diese "KI-Detektiv-Maschine"?

Stell dir das System wie einen hochspezialisierten Arzt vor, der nicht nur sagt "Der Patient hat Fieber", sondern genau weiß, welche Krankheit es ist und wie man sie behandelt. Das System besteht aus drei Teilen:

1. Der Diagnose-Plan (Die Fehler-Taxonomie)

Bevor die KI etwas erklärt, hat sie gelernt, wie KI-Assistenten typischerweise scheitern. Sie haben 32 echte Fehler analysiert und eine Art Krankheitskatalog erstellt.

• Beispiel: Statt nur zu sagen "Es ist kaputt", sagt das System: "Ah, das ist ein 'Planungsfehler'. Der Assistent hat die Aufgabe falsch aufgeteilt."
• Vergleich: Wie ein Mechaniker, der sofort weiß: "Das ist kein Motorproblem, das ist ein Reifenplatt."

2. Der visuelle Fahrplan (Die Visualisierung)

Das System zeichnet einen Flussdiagramm (eine Art Landkarte).

• Du siehst genau, wo der Assistent gedacht hat, wo er einen Befehl gegeben hat und wo er auf die rote Ampel (den Fehler) gestoßen ist.
• Vergleich: Statt dir nur zu erzählen, wie eine Reise abgelaufen ist, zeigt dir das System eine Karte mit einem roten X an der Stelle, wo du vom Weg abgekommen bist. Das ist viel schneller zu verstehen als ein Textbuch.

3. Der Reparatur-Handwerker (Die Empfehlungen)

Das ist das Wichtigste: Das System sagt nicht nur "Hier ist das Problem", sondern "Hier ist die Lösung".

• Es schlägt konkrete Änderungen vor: "Ändere diesen Befehl", "Gib dem Assistenten mehr Zeit" oder "Stelle die Anweisung klarer".
• Vergleich: Ein guter Arzt gibt dir nicht nur die Diagnose "Grippe", sondern auch ein Rezept und sagt: "Trink viel Tee und leg dich hin."

---

📊 Was haben sie herausgefunden? (Der Test)

Die Forscher haben das System mit 20 Leuten getestet (10 Programmierer und 10 Nicht-Techniker, wie Manager oder Designer). Sie mussten Fehler finden und Lösungen vorschlagen.

Die Ergebnisse waren beeindruckend:

• Geschwindigkeit: Mit dem neuen System waren die Leute 2,8-mal schneller als wenn sie nur den rohen Fehlerbericht lasen.
• Genauigkeit: Die Nicht-Techniker konnten die Ursache des Fehlers zu 76 % richtig erkennen (mit dem alten System nur 18 %!).
• Vertrauen: Die Leute fühlten sich viel sicherer. Sie wussten genau, was zu tun war.

Ein Teilnehmer sagte: "Das Diagramm hat mir sofort gezeigt, wo es schiefgelaufen ist. Mit nur Text musste ich mir das alles selbst zusammenpuzzeln."

---

💡 Warum ist das so wichtig?

Früher dachte man: "Frag einfach eine KI, sie erklärt es schon."
Das Paper zeigt aber: Spezialisierte Tools sind besser als allgemeine Tools.

• Allgemeine KI (ChatGPT): Ist wie ein sehr gebildeter Freund, der dir vielleicht hilft, aber manchmal zu viel redet, den Fokus verliert oder keine Bilder malt.
• Dieses neue System: Ist wie ein erfahrener Chef-Ingenieur, der genau weiß, wonach er suchen muss, dir eine Skizze macht und dir sagt, welches Werkzeug du brauchst.

🚀 Fazit für die Zukunft

Wenn wir KI-Agenten in der echten Welt einsetzen wollen (in Firmen, Krankenhäusern, etc.), müssen wir verstehen können, warum sie Fehler machen. Dieses System ist ein wichtiger Schritt, um KI nicht nur "mächtig", sondern auch transparent und vertrauenswürdig zu machen.

Es ist der Unterschied zwischen:

• "Der Computer hat einen Fehler gemacht." (Ratlos)
• "Der Computer hat bei Schritt 3 die falsche Richtung gewählt. Hier ist die Karte, und hier ist der Weg zurück." (Handlungsfähig)

Kurz gesagt: Wir haben einen Weg gefunden, die Gedanken der KI lesbar und reparierbar zu machen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorgestellten Papers auf Deutsch:

Titel: XAI für das Scheitern von Coding-Agenten: Umwandlung roher Ausführungsprotokolle in handlungsrelevante Erkenntnisse

Verfasser: Arun Joshi (Independent Researcher, Islington College)
Datum: März 2026

---

1. Problemstellung

Large Language Model (LLM)-basierte Coding-Agenten (z. B. auf Basis von GitHub Copilot, AutoGPT) versprechen die Automatisierung von Softwareentwicklungsaufgaben. Allerdings scheitern diese Agenten häufig auf subtile und komplexe Weise (z. B. durch falschen Code, Missverständnisse von Anforderungen oder endlose Schleifen).

Das zentrale Problem liegt in der Interpretierbarkeit des Scheiterns:

• Rohdaten-Flut: Bei einem Fehler erhalten Entwickler nur "rohe Ausführungsprotokolle" (Execution Traces), die Hunderte von Zeilen mit verschachtelten Tool-Aufrufen, Chain-of-Thought-Reasoning, Fehlermeldungen und Metadaten enthalten.
• Schwierige Debugging-Prozesse: Selbst für erfahrene Entwickler ist es schwierig, die Ursache aus diesen Protokollen abzuleiten; für nicht-technische Stakeholder ist es unmöglich.
• Grenzen generischer LLMs: Das bloße Anwenden eines allgemeinen LLMs (wie ChatGPT) auf diese Protokolle führt zu inkonsistenten, unstrukturierten Erklärungen ohne visuellen Kontext oder spezifische Handlungsempfehlungen.

---

2. Methodik und Systemarchitektur

Die Autoren schlagen einen systematischen Explainable AI (XAI)-Ansatz vor, der Rohdaten in strukturierte, menschlich interpretierbare Berichte umwandelt. Der Ansatz basiert auf drei Kernkomponenten:

A. Fehler-Taxonomie (Failure Taxonomy)

Basierend auf der Analyse von 32 realen Fehlern in verschiedenen experimentellen Szenarien (unterschiedliche Iterationslimits, Prompt-Qualität, Tool-Verfügbarkeit) wurde eine domänenspezifische Taxonomie entwickelt.

• Hauptkategorien: Planungsfehler, Code-Generierungsfehler, Test-/Validierungsfehler, Verständnisfehler und iterative Verfeinerungsfehler.
• Wichtige Erkenntnis: 56 % aller Fehler traten durch "iterative Verfeinerungsfehler" auf (Agent überschreitet das Iterationslimit ohne Fortschritt), was auf mangelnde Fehlerwiederherstellungsmechanismen hindeutet.

B. Automatische Klassifizierung

Ein System nutzt GPT-4 mit strukturierten Ausgaben (Function Calling), um Fehler automatisch zu annotieren.

• Prozess: Extraktion von Merkmalen (Fehlermeldungen, Iterationszahlen) -> Klassifizierung gemäß Taxonomie -> Ausgabe von Kategorie, Unterkategorie und Begründung.
• Genauigkeit: Erreichte eine Genauigkeit von 82,1 % im Vergleich zu manueller Annotation (Cohen's κ = 0,76).

C. Hybrides Erklärungs-System (Hybrid Explanation System)

Das System generiert drei integrierte Output-Formate:

1. Visualisierung des Ausführungsflusses: Erzeugung von gerichteten Graphen (via Graphviz), die Agenten-Reasoning, Tool-Aufrufe und Entscheidungspunkte darstellen. Fehlerpunkte werden visuell hervorgehoben.
2. Natürlichsprachliche Erklärung: Strukturierte Analyse der Grundursache (Root Cause), des Fehlermechanismus und des Kontexts (z. B. ob der Fehler durch Konfiguration oder Agenten-Limitierung verursacht wurde).
3. Empfehlungsmotor (Recommendation Engine):
   • Counterfactual Analysis: Was wäre nötig gewesen, um Erfolg zu haben?
   • Sofortige Fixes: Konkrete Änderungen an Prompts, Konfiguration oder Tools.
   • Langfristige Verbesserungen: Vorschläge für Fine-Tuning oder Architekturänderungen.

---

3. Evaluierung und Ergebnisse

Eine Mixed-Methods-Studie mit 20 Teilnehmern (10 technisch, 10 nicht-technisch) verglich das vorgestellte XAI-System mit zwei Baselines: (1) rohen Protokollen und (2) ad-hoc Erklärungen durch generische LLMs.

Quantitative Ergebnisse (Durchschnittswerte):

• Zeit bis zum Verständnis: Das XAI-System war 2,8-mal schneller als das Lesen roher Protokolle und 1,7-mal schneller als generische LLM-Erklärungen.
  • Technische Teilnehmer: 3,0 min (XAI) vs. 8,4 min (Rohdaten).
  • Nicht-technische Teilnehmer: 4,2 min (XAI) vs. 12,8 min (Rohdaten).
• Genauigkeit der Ursachenidentifikation:
  • XAI: 89 % (technisch) / 76 % (nicht-technisch).
  • Generische LLMs: 68 % / 52 %.
  • Rohdaten: 42 % / 18 %.
• Qualität der vorgeschlagenen Fixes: Bewertet auf einer Skala von 1–5 erreichte das XAI-System 4,3 (technisch) und 3,8 (nicht-technisch), deutlich höher als die Baselines.
• Vertrauen: Die Teilnehmer gaben dem XAI-System signifikant höhere Vertrauenswerte (6,1/7,0) als den anderen Bedingungen.

Qualitative Erkenntnisse:

• Visueller Kontext ist entscheidend: 18 von 20 Teilnehmerten nannten die Flussdiagramme als "essentiell" für das Verständnis komplexer Fehler.
• Struktur vs. Ad-hoc: Teilnehmer bevorzugten die konsistente Struktur des Systems gegenüber der variablen Qualität und dem Fokus generischer LLMs.
• Handlungsrelevanz: Der Bereich mit konkreten Empfehlungen wurde als wertvollster Aspekt hervorgehoben, da er direkt umsetzbare Lösungen lieferte.

---

4. Hauptbeiträge

1. Erste umfassende Taxonomie für Coding-Agenten-Fehler, abgeleitet aus realen Daten.
2. Automatisiertes Klassifizierungssystem mit hoher Genauigkeit (82 %), das manuelle Annotation reduziert.
3. Integrierte XAI-Pipeline, die Visualisierung, natürliche Sprache und Handlungsempfehlungen kombiniert.
4. Empirischer Nachweis, dass domänenspezifische, strukturierte Erklärungen generischen LLM-Ansätzen überlegen sind, insbesondere in Bezug auf Geschwindigkeit, Genauigkeit und Vertrauen.

---

5. Bedeutung und Implikationen

• Für die Agenten-Entwicklung: Die Studie zeigt, dass Fehlerwiederherstellung (Error Recovery) und angemessene Iterationslimits (mindestens 5–10) kritisch für die Zuverlässigkeit von Agenten sind.
• Observability: Explainability sollte von Anfang an in den Entwicklungsprozess integriert werden, nicht nachträglich.
• Skalierbarkeit: Der Ansatz (Taxonomie -> Klassifizierung -> Strukturierte Erklärung) kann auf andere Agenten-Domänen (z. B. Forschungsagenten, Datenanalyse) übertragen werden, erfordert jedoch domänenspezifische Anpassungen der Taxonomie.
• Zukunft der KI-Debugging: Während generische LLMs nützlich bleiben, sind spezialisierte XAI-Systeme für systematische Debugging-Workflows unverzichtbar, um Vertrauen und Transparenz in automatisierte Softwareentwicklung zu gewährleisten.

Fazit: Das Paper demonstriert, dass die Transformation roher Daten in strukturierte, visuelle und handlungsorientierte Erkenntnisse ein entscheidender Schritt ist, um LLM-basierte Coding-Agenten von experimentellen Werkzeugen zu zuverlässigen, debuggbaren Systemen für die Industrie zu machen.