Beyond Resolution Rates: Behavioral Drivers of Coding Agent Success and Failure

Probleemstelling

Coderende agenten (coding agents), die Large Language Models (LLMs) combineren met tool-geaugmenteerde interactielussen, vormen een nieuw paradigma in geautomatiseerde software-engineering. Ondanks snelle vooruitgang en groeiende adoptie, blijven deze systemen onbetrouwbaar: zelfs de beste agenten falen op meer dan 20% van de geverifieerde taken in benchmarks zoals SWE-bench.

Het bestaande onderzoek richt zich voornamelijk op oplossingspercentages (resolution rates) en handmatige inspectie van fouten. Er ontbreekt echter een systematisch begrip van:

1. Waarom agenten falen op specifieke taken (de onderliggende oorzaken).
2. Hoe falen zich gedragsmatig manifesteert (de dynamiek van de agent-actieketen).
3. Of falen wordt veroorzaakt door de LLM-capaciteit of het framework-ontwerp.

Bestaande studies verwaarlozen vaak de controle voor taakmoeilijkheid, wat leidt tot verwarden conclusies over wat succes en mislukking werkelijk drijft.

Methodologie

De auteurs voeren een grootschalige empirische studie uit met de volgende kenmerken:

• Dataset: Analyse van 9.374 trajecten (sequentie van acties en omgevingsreacties) van 19 verschillende agenten.
• Opzet: Deze agenten omvatten 8 frameworks (o.a. SWE-agent, OpenHands, Trae) en 14 verschillende LLMs (o.a. Claude-varianten, GPT-varianten, Kimi, Qwen).
• Taken: Alle agenten werden getest op dezelfde 500 taken uit de SWE-bench Verified-dataset (real-world bugs in 12 Python-repositories).
• Data-analyse:
  • Trajectcodering: Een verfijnd coderingssysteem met 13 symbolen dat niet alleen de actie (bijv. 'bestand lezen', 'patchen') maar ook de uitkomst (bijv. 'syntax error', 'test geslaagd') vastlegt.
  • Feature Extractie: Per taak werden 90 kenmerken geëxtraheerd, waaronder patch-complexiteit, test-eisen, issue-beschrijving en metadata.
  • Controle voor Verwarring: De studie gebruikt een binnen-taak vergelijking (within-task comparison). Omdat elke agent elke taak probeert, kunnen auteurs de invloed van taakmoeilijkheid isoleren van de invloed van het agent-ontwerp.
  • Statistische Tests: Gebruik van niet-parametrische tests (Mann-Whitney U, Wilcoxon signed-rank) en effectgroottes (Cliff's delta) om patronen te valideren.

Belangrijkste Bijdragen en Resultaten

De studie beantwoordt drie kernonderzoeksvragen (RQs):

1. Waarom falen agenten op bepaalde taken? (RQ1)

• Verrassende bevinding: Patch-complexiteit (aantal regels gewijzigd) is geen betrouwbare indicator voor moeilijkheid. Er werden 12 taken geïdentificeerd die door menselijke annotatoren als "makkelijk" werden beschouwd (en slechts 1-10 regels wijziging vereisten), maar die door geen enkele van de 19 agenten werden opgelost.
• Oorzaak: Het falen wordt niet veroorzaakt door gebrek aan tools of te weinig stappen, maar door een gat in architecturale redenering.
  • Agenten vinden het juiste bestand en begrijpen het symptoom, maar grijpen in op het verkeerde architecturale niveau (bijv. het proberen te fixen van de display-layer in plaats van de serialization-layer).
  • Ze patchen het symptoom in plaats van de root-cause. Dit vereist diepgaand domeinkennis en begrip van componentgrenzen, wat huidige LLMs vaak missen.

2. Hoe onderscheiden gedragspatronen succes van falen? (RQ2)

• Trajectlengte is een verwarrende variabele:
  • Zonder controle: Mislukte trajecten lijken langer (agenten blijven hangen in loops).
  • Met controle voor taakmoeilijkheid: De relatie keert om. Op dezelfde taak zijn succesvolle trajecten vaak langer dan mislukte. Succesvolle agenten nemen de tijd voor context en validatie, terwijl mislukte agenten te snel opgeven of in inefficiënte loops belanden. Lengte is dus een maat voor taakmoeilijkheid, niet per se voor strategie.
• Structuur is doorslaggevend: Succesvolle agenten vertonen consistente gedragspatronen:
  1. Context verzamelen: Ze lezen en verkennen de codebase voordat ze beginnen met patchen.
  2. Validatie investeren: Ze besteden meer tijd aan het uitvoeren van tests en validatie.
  3. Vaste strategie: Deze patronen zijn agent-bepaald en niet taak-geadaptief. Agenten passen hun strategie niet aan op basis van de complexiteit van de taak; ze volgen een vaste workflow.

3. Drijft LLM-capaciteit of framework-ontwerp het succes? (RQ3)

• LLM is de dominante factor: De keuze van het LLM is veel belangrijker dan het gekozen framework.
  • Agenten die hetzelfde LLM gebruiken (maar verschillende frameworks), bereiken op 85-93% van de taken hetzelfde resultaat (succes of falen).
  • Agenten die hetzelfde framework gebruiken (maar verschillende LLMs), komen slechts op 47-88% overeen.
• Convergentie: Naarmate LLMs beter worden, krimpt het prestatieverschil tussen frameworks. Bij de sterkste modellen (bijv. Claude 4 Sonnet) zijn de verschillen tussen frameworks minimaal.
• Prompt-invloed neemt af: System prompts (instructies) beïnvloeden wel welke tools worden gebruikt, maar niet de totale inspanning of de uiteindelijke strategie. Bij sterkere LLMs wordt de invloed van de prompt kleiner; deze modellen ontwikkelen hun eigen strategie en zijn minder gevoelig voor gedetailleerde instructies.

Significantie en Implicaties

1. Nieuwe Moeilijkheidsmetriek: Bestaande benchmarks die zich baseren op patch-grootte of menselijke schattingen van tijd, zijn ontoereikend. Er moet rekening worden gehouden met architecturale complexiteit en domeinkennis.
2. Monitoring en Debugging: Trajectlengte mag niet als enige signaal voor falen worden gebruikt. In plaats daarvan moeten systemen kijken naar de structuur van de eerste stappen (bijv. wordt er eerst gelezen of direct gepatcht?). Een monitoringssysteem dat "premature patching" detecteert, kan mislukkingen vroegtijdig voorspellen.
3. Ontwerp van Agent-systemen:
   • De focus moet verschuiven van het perfectioneren van het framework-orchestration naar het verbeteren van de LLM-reasoning (vooral architecturale redenering).
   • Agenten moeten adaptief worden gemaakt in plaats van starre workflows te volgen, ongeacht de taakcomplexiteit.
4. Praktische Keuzes: Voor organisaties die agenten willen inzetten, is het investeren in een krachtiger LLM-model effectiever dan het wisselen van framework-scaffold.

Conclusie:
De studie onthult dat de beperkingen van coderende agenten niet liggen in de tooling of het aantal stappen, maar in het vermogen om de juiste architecturale lagen te identificeren en een consistente, contextbewuste strategie te hanteren. De LLM is de primaire drijver van succes, en toekomstige vooruitgang vereist modellen die beter kunnen redeneren over code-architectuur en domeinkennis.