XAI for Coding Agent Failures: Transforming Raw Execution Traces into Actionable Insights

Deze paper introduceert een gestructureerde XAI-aanpak die ruwe uitvoeringstraces van LLM-coderingsagenten omzet in begrijpelijke, visuele en actiegerichte inzichten, waardoor ontwikkelaars fouten aanzienlijk sneller kunnen diagnosticeren en correcter kunnen oplossen dan met bestaande methoden.

De kern

Stel je voor dat je een zeer slimme, maar soms wat verwarde robot hebt die voor jou code schrijft. Je vraagt hem: "Maak een website voor mijn bakkerij." De robot begint enthousiast te werken, maar na een tijdje stopt hij en zegt: "Ik kan het niet."

Als je kijkt naar wat de robot heeft gedaan, zie je alleen een enorme, chaotische berg papier (de "raw execution trace"). Het staat vol met technische termen, foutmeldingen en gedachtestructuren die lijken op een vreemde taal. Zelfs voor een ervaren programmeur is het een puzzel om te ontdekken waarom de robot vastliep. Voor iemand zonder technische kennis is het compleet onbegrijpelijk.

Dit is precies het probleem dat Arun Joshi in zijn paper probeert op te lossen. Hij heeft een nieuw systeem bedacht dat deze "robotfouten" vertaalt naar iets dat iedereen kan begrijpen.

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve vergelijkingen:

1. Het Probleem: De "Black Box" van de Robot

Wanneer een AI-agent (zoals een programmeer-assistent) faalt, krijg je vaak alleen maar de ruwe logboeken.

• De Analogie: Stel je voor dat je auto kapot gaat en de monteur je alleen een stapel losse schroeven, een stukje rubber en een lijstje met cijfers geeft. Hij zegt: "Kijk maar, hier is het probleem." Jij kijkt er naar en denkt: "Maar wat betekent dit? Moet ik de banden vervangen of de motor?"
• De Realiteit: Zelfs als je een andere AI (zoals een gewone chatbot) vraagt om dit uit te leggen, geeft die vaak willekeurige antwoorden. Soms is het antwoord te kort, soms te lang, en soms mist het de belangrijke details. Het is als een gids die je door een donker bos leidt, maar die elke keer een ander pad kiest.

2. De Oplossing: De "Diplomaat" voor Robotfouten

Joshi heeft een systeem gebouwd dat fungeert als een tussenpersoon of een diplomaat tussen de robot en de mens. Dit systeem doet drie dingen:

A. De "Fouten-Atlas" (Taxonomie)

Het systeem heeft een grote atlas gemaakt van alle mogelijke manieren waarop programmeer-robots kunnen falen.

• De Analogie: Stel je voor dat een dokter een ziektekalender heeft. Als een patiënt hoest, kijkt de dokter niet zomaar naar de hoest, maar vergelijkt hij het met de kalender: "Ah, dit is 'Fout 4: Verkeerde diagnose'."
• In de paper: Het systeem heeft 32 echte fouten geanalyseerd en ingedeeld in categorieën, zoals "De robot begreep de opdracht niet" of "De robot gaf te snel op."

B. De "Visuele Kaart" (Visualisatie)

In plaats van alleen tekst, tekent het systeem een kaart van wat de robot heeft gedaan.

• De Analogie: Als je een wandeling maakt en verdwaalt, is een lijst met "linksaf, rechtsaf, 100 meter lopen" lastig. Maar een GPS-kaart met een rode lijn die precies laat zien waar je de verkeerde afslag nam, is duidelijk.
• In de paper: Het systeem maakt een visueel diagram (een stroomdiagram) dat laat zien waar de robot de verkeerde beslissing nam. Je ziet direct het "knelpunt" in de lijn.

C. De "Reparatiegids" (Aanbevelingen)

Het systeem geeft niet alleen aan wat er mis is, maar ook hoe je het oplost.

• De Analogie: Een gewone gids zegt: "Je auto is stuk." De nieuwe gids zegt: "Je auto is stuk omdat je benzine op was. Hier is de dichtstbijzijnde tankstation en hier is hoe je de benzine erin doet."
• In de paper: Het geeft concrete tips: "Verander de instructie," "Geef de robot meer tijd," of "Voeg een extra controle toe."

3. Wat hebben ze getest? (De "Proefpersoon" Test)

Ze hebben dit systeem getest met 20 mensen: 10 programmeurs en 10 mensen zonder technische achtergrond (zoals projectmanagers of ontwerpers). Ze gaven hen allemaal een fout van een robot en vroegen hen om het op te lossen.

De resultaten waren verrassend goed:

• Snelheid: Mensen vonden de oorzaak van de fout 2,8 keer sneller met Joshi's systeem dan met de ruwe logboeken.
• Nauwkeurigheid: Ze vonden de juiste oplossing 73% vaker dan wanneer ze alleen naar de ruwe data keken.
• Zekerheid: Mensen voelden zich veel zekerder (een 6,1 op 7) dat ze het probleem echt begrepen.

4. Waarom is dit belangrijk?

Vroeger was het debuggen van AI-robots als naalden zoeken in een hooiberg. Je wist niet waar je moest zoeken.
Met dit systeem is het alsof iemand de hooiberg heeft schoongemaakt en de naalden in een mooi doosje heeft gedaan met labels.

• Voor programmeurs betekent dit minder tijd verspillen aan het zoeken naar fouten en meer tijd om te bouwen.
• Voor niet-technische mensen (zoals managers) betekent dit dat ze kunnen begrijpen waarom een AI-tool faalt en of ze erop kunnen vertrouwen, zonder zelf een programmeur te hoeven zijn.

Conclusie

De kernboodschap van dit onderzoek is simpel: AI wordt slimmer, maar we moeten leren hoe we met die slimmigheid omgaan.

Als we AI-agenten willen gebruiken in de echte wereld, kunnen we niet wachten tot ze perfect zijn. We moeten tools hebben die ons vertellen waarom ze fouten maken, net zoals een goede leraar niet alleen het antwoord geeft, maar uitlegt waarom het antwoord verkeerd was en hoe je het de volgende keer goed doet.

Dit onderzoek biedt die "leraar" voor AI-fouten: een systeem dat van een chaotische berg technische data een heldere, visuele en bruikbare handleiding maakt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "XAI for Coding Agent Failures: Transforming Raw Execution Traces into Actionable Insights" in het Nederlands.

Probleemstelling

Hoewel Large Language Model (LLM)-gebaseerde coderingsagenten (zoals GitHub Copilot en AutoGPT) veelbelovend zijn voor het automatiseren van softwareontwikkeling, falen ze vaak op subtiele en complexe manieren. Wanneer een agent faalt, krijgen ontwikkelaars te maken met ruwe uitvoeringstraces (execution traces) die honderden regels logs bevatten, inclusief geneste tool-aanroepen, redeneerstappen, foutberichten en systeemmetadata.

De huidige aanpak, waarbij ontwikkelaars deze ruwe traces proberen te interpreteren of ad-hoc vragen stellen aan algemene LLM's (zoals ChatGPT), heeft ernstige tekortkomingen:

1. Inconsistentie: Uitleggen door algemene LLM's varieert sterk in kwaliteit en focus.
2. Gebrek aan structuur: Algemene modellen missen domeinspecifieke kennis over veelvoorkomende faalpatronen.
3. Ontbrekende visuele context: Tekstuele uitleg kan de uitvoeringsflow en beslispunten niet effectief visualiseren.
4. Gebrek aan actiegericht advies: Generieke uitleg biedt zelden specifieke, geteste aanbevelingen voor het oplossen van fouten.

Dit maakt het debuggen moeilijk, zelfs voor ervaren ontwikkelaars, en bijna onmogelijk voor niet-technische belanghebbenden.

Methodologie

De auteurs presenteren een systematische Explainable AI (XAI) aanpak die ruwe traces omzet in gestructureerde, menselijk interpreteerbare inzichten. De methodologie bestaat uit drie hoofdfasen:

1. Data Collectie en Taxonomie Ontwikkeling:

   • Er werd een coderingsagent gebaseerd op LangChain en GPT-4 geïmplementeerd om problemen uit de HumanEval-benchmark op te lossen.
   • Uit 87 agent-runnen (met variaties in iteratielimieten, promptkwaliteit, tool-beschikbaarheid en taakmoeilijkheid) werden 32 falen en 55 successen geselecteerd.
   • Op basis hiervan werd de eerste omvattende taxonomie van coderingsagent-falen ontwikkeld. De meest voorkomende categorie is "Iterative Refinement Failure" (56% van de falen), waarbij de agent de iteratielimiet bereikt zonder vooruitgang.

2. Automatische Classificatie:

   • Een systeem gebaseerd op GPT-4 met gestructureerde output (via function calling) werd ontwikkeld om fouten automatisch te classificeren volgens de taxonomie.
   • Het systeem extraheert kenmerken uit de ruwe trace (foutberichten, iteratieaantallen, patronen) en classificeert de fout met een betrouwbaarheidsscore.
   • De automatische classifier bereikte een nauwkeurigheid van 82,1% vergeleken met menselijke annotatie.

3. Hybride Uitlegsysteem (XAI Pipeline):
   Het systeem genereert drie geïntegreerde componenten:

   • Visuele Uitvoeringsflow: Gerichte grafieken (gegenereerd met Graphviz) die agent-stappen, tool-aanroepen en foutpunten visueel weergeven.
   • Natuurlijke Taal Uitleg: Een gestructureerde analyse van de root-cause, het faalmechanisme en de context (bijv. beperkingen in de prompt of iteraties).
   • Aanbevelingsengine: Actiegericht advies, waaronder counterfactual analyses (wat had anders moeten gebeuren), directe fixes (configuratie, prompts) en langetermijnverbeteringen.

Belangrijkste Bijdragen

1. Eerste Taxonomie voor Coderingsagenten: Een gestructureerd overzicht van faalmodi afgeleid van real-world data.
2. Automatische Classificatie: Een systeem dat fouten met hoge nauwkeurigheid (82%) automatisch categoriseert zonder handmatige tussenkomst.
3. Hybride Uitlegsysteem: Een end-to-end pipeline die visuele flow-diagrammen, tekstuele uitleg en concrete aanbevelingen combineert.
4. Empirische Validatie: Een uitgebreide gebruikersstudie die aantoont dat deze gestructureerde aanpak superieur is aan zowel ruwe traces als ad-hoc LLM-uitleg.

Resultaten (Gebruikersstudie)

Een mixed-methods studie met 20 deelnemers (10 technisch, 10 niet-technisch) vergeleek drie condities: Ruwe Trace, Algemene LLM Uitleg, en het voorgestelde XAI-systeem.

Kernbevindingen:

• Snelheid: Gebruikers begrepen fouten 2,8x sneller met het XAI-systeem dan met ruwe traces en 1,7x sneller dan met algemene LLM's.
• Nauwkeurigheid Root Cause: De identificatie van de oorzaak van de fout was aanzienlijk accurater:
  • Technisch: 89% (XAI) vs. 42% (Ruwe Trace) en 68% (Algemene LLM).
  • Niet-technisch: 76% (XAI) vs. 18% (Ruwe Trace) en 52% (Algemene LLM).
• Kwaliteit van Oplossingen: De voorgestelde fixes hadden een hogere kwaliteit (gemiddeld 4,3/5 voor technisch personeel), mede dankzij de specifieke aanbevelingen van het systeem.
• Vertrouwen: Gebruikers rapporteerden een significant hoger vertrouwen in hun begrip (6,1/7 voor technisch personeel).

Kwalitatieve inzichten:
Deelnemers benadrukten dat de visuele context (flow-diagrammen) cruciaal was om complexe fouten direct te begrijpen. Ze waardeerden de consistentie van de gestructureerde uitleg boven de wisselende kwaliteit van ad-hoc LLM-vragen. De actiegerichte aanbevelingen werden gezien als het meest waardevolle onderdeel, omdat ze direct toepasbaar waren.

Betekenis en Conclusie

Dit werk stelt een raamwerk op voor systematische analyse van agent-falen, wat essentieel is voor de betrouwbaarheid van AI in softwareontwikkeling.

• Praktische Implicaties: Ontwikkelaars moeten prioriteit geven aan foutherstelmechanismen en voldoende iteratiebudgetten (minimaal 5-10 iteraties) toewijzen. Observability en debugtools moeten vanaf dag één worden geïntegreerd.
• Specialisatie vs. Generalisatie: Het paper toont aan dat gespecialiseerde, domeinspecifieke XAI-systemen superieur zijn aan algemene LLM's voor systematisch debuggen, hoewel de taxonomie specifiek moet worden aangepast per domein (bijv. van codering naar data-analyse).
• Toekomst: De auteurs bepleiten een complementaire relatie waarbij gespecialiseerde systemen snelle, consistente analyses bieden, terwijl algemene LLM's worden ingezet voor diepgaande, exploratieve analyse van complexe of nieuwe fouten.

Samenvattend biedt deze studie een bewezen methode om AI-agenten niet alleen krachtiger, maar ook transparanter, begrijpelijker en debugbaar te maken, wat de weg vrijmaakt voor meer betrouwbare AI-gestuurde ontwikkelworkflows.