Technische Samenvatting: FALAT – Het traceren van fouten in LLM-agenttrajecten via afhankelijkheidsgestuurde zoektocht

Probleemdefinitie

Large Language Model (LLM) agenten lossen complexe taken op door middel van lange trajecten bestaande uit redeneerstappen, tool-aanroepen en communicatie tussen agenten. Wanneer deze trajecten falen, is het identificeren van de grondoorzaak moeilijk vanwege het "attributieprobleem". Fouten propageren vaak: een vroege fout corrumpeert de executiestatus, waardoor opeenvolgende stappen lokaal weliswaar redelijk lijken, maar in werkelijkheid de fout hebben overgenomen. Als gevolg hiervan kunnen latere stappen onterecht als de bron van de fout worden aangemerkt.

Het artikel definieert foutattributie als de taak van het identificeren van de specifieke agent ("wie") en de beslissende stap ("wanneer") waarvan correctie de verwachte uiteindelijke output ($o^*$) zou herstellen vanuit de geobserveerde onjuiste output ($\hat{o}$). Een beslissende stap wordt gedefinieerd als een stap waarbij, indien gecorrigeerd (terwijl de downstream-stappen zich aanpassen mogen), het systeem de correcte uitkomst produceert. Bestaande methoden, zoals single-pass LLM-judges of learning-based tracers die stappen onafhankelijk evalueren, worstelen met positionele bias, volgordegevoeligheid en het onvermogen om onderscheid te maken tussen foutgeneratie en foutpropagatie.

Methodologie: FALAT-framework

De auteurs stellen FALAT voor, een diagnostisch framework dat foutattributie herformuleert als een hiërarchische afhankelijkheidsgestuurde zoektocht in plaats van onafhankelijke stapclassificatie. Het framework werkt in vier fasen:

1. Constructie van de zoekruimte

FALAT vertrouwt niet uitsluitend op de gebrekkige interne redenering van het gefaalde traject. In plaats daarvan construeert het:

• Taakgeconditioneerde Prior ($\pi$): Een externe verwachting van hoe de taak moet worden opgelost, afgeleid van de taakspecificatie, agentrollen, systeemprompts en beschikbare tools. Deze prior is onafhankelijk van de tussenliggende stappen van het traject om te voorkomen dat evaluatoren worden misleid door de eigen gebrekkige logica van de agent.
• Hiërarchische Trajectrepresentatie ($M$): Het traject wordt geabstraheerd naar drie niveaus om een zoektocht van grof naar fijn mogelijk te maken:
  • Hoog niveau ($M_{hi}$): Globale executiesamenvattingen die verdachte fasen identificeren.
  • Middel niveau ($M_{mid}$): Lokale stapsamenvattingen met details over agenten, acties en beslissingen.
  • Laag niveau ($M_{lo}$): Ruwe executiebewijzen (tool-outputs, concrete waarden).
    Deze structuur stelt het systeem in staat om eerst verdachte regio's te identificeren en vervolgens in te zoomen op specifieke stappen.

2. Constructie van getypeerde afhankelijkheden voor kandidaat-pruning

Om onderscheid te maken tussen stappen die een fout genereren en stappen die deze slechts propageren, construeert FALAT een gerichte afhankelijkheidsstructuur over kandidaat-stappen met behulp van een getypeerde transitie-vocabulaire. De labels zijn onder meer:

• follow_up: Normale progressie of het downstream overnemen van een fout.
• redundancy: Repetitie zonder nieuwe bewijslast.
• no_influence: Stappen die onafhankelijk zijn van de output van de kandidaat.
• error_shift: Stappen die nieuwe afwijkingen introduceren of upstream-fouten transformeren.
• correction: Stappen die upstream-afwijkingen corrigeren.
• dead_end: Stappen die leiden tot ongebruikte outputs.

Deze labels stellen het systeem in staat om kandidaten te verwijderen (pruning) wiens effecten de uiteindelijke output niet kunnen bereiken of die slechts symptomen zijn van eerdere fouten, waardoor alleen diegenen overblijven die plausibel de bron kunnen zijn.

3. Afhankelijkheidsgestuurde zoektocht en verificatie

De resterende kandidaten worden gerangschikt en geverifieerd tegen het counterfactuele sufficiëntie doel. Een kandidaat wordt pas als beslissend beschouwd als het corrigeren ervan de verwachte uitkomst ($o^*$) zou herstellen. Het verificatieproces controleert drie criteria:

1. Foutonafhankelijkheid: Introduceert de stap de fout, of erft deze de fout? (Getraceerd via backward dependency).
2. Counterfactuele Sufficiëntie: Zou het herstellen van deze stap de verwachte uitkomst herstellen?
3. Temporele Precedentie: Onder de geldige kandidaten wordt de vroegste stap geselecteerd.

4. Lokale Re-Search: Adversarial Verificatie

Om "anchoring" te mitigeren (waarbij een LLM-judge een plausibele maar onjuiste kandidaat rationaliseert), voert FALAT een lokale her-evaluatie uit. Het extraheert een begrensde buurt rond de voorspelde beslissende stap en vergelijkt de kandidaat met zijn directe buren. De LLM wijst rollen toe (ROOT_CAUSE, PROPAGATION, SYMPTOM, CONTRIBUTING) en rangschikt stappen opnieuw op basis van comparatieve argumenten en counterfactuele controles om te waarborgen dat de geselecteerde stap werkelijk beslissend is.

Belangrijkste Bijdragen

1. Herformulering van Attributie: Het artikel verschuift het paradigma van platte stapniveau-classificatie naar hiërarchische afhankelijkheidsgestuurde zoektocht, waarbij expliciet onderscheid wordt gemaakt tussen foutgeneratie en foutpropagatie.
2. FALAT-framework: Een vierfasig diagnostisch systeem dat een externe taakgeconditioneerde prior, hiërarchische abstractie, getypeerde afhankelijkheids-pruning en counterfactuele verificatie integreert.
3. Empirische Validatie: Uitgebreide evaluatie op de Who&When benchmark (184 gefaalde executies uit algoritme-gegenereerde en handmatig vervaardigde multi-agent systemen) over drie verschillende LLM-backbones.

Resultaten

FALAT werd geëvalueerd tegen gespecialiseerde attributie-baselines (CHIEF, AgentTracer) en directe prompting met standalone LLM's.

• Algoritme-gegenereerde Trajecten: FALAT behaalde 46,0% stapniveau-nauwkeurigheid (tegenover 37,3% voor CHIEF met dezelfde backbone) en 68,0% agentniveau-nauwkeurigheid.
• Handmatig Vervaardigde Trajecten: FALAT behaalde 29,1% stapniveau-nauwkeurigheid (tegenover 17,0% voor CHIEF) en 73,0% agentniveau-nauwkeurigheid.
• Vergelijking met Standalone LLM's: Directe prompting met zelfs grote modellen (bijv. Claude-Sonnet-4) leverde aanzienlijk lagere stapniveau-nauwkeurigheid op (18,9% op handmatige taken), wat aantoont dat schaling van modellen alleen onvoldoende is voor betrouwbare attributie.
• Ablatie-studies: Het verwijderen van de hiërarchische representatie veroorzaakte de grootste prestatiedaling (tot -10,3% stapniveau-nauwkeurigheid), gevolgd door het verwijderen van de externe prior en de transitie-typering.

Betekenis en Claims

Het artikel beweert dat afhankelijkheidsbewuste redenering essentieel is voor betrouwbare faaldiagnose in LLM-agent systemen. De auteurs stellen dat het behandelen van foutattributie als onafhankelijke stapclassificatie faalt omdat het de causale structuur van trajecten negeert. Door het probleem te kaderen als een zoektocht geleid door getypeerde afhankelijkheden en counterfactuele sufficiëntie, scheidt FALAT effectief de "grondoorzaak" van de "symptomen".

De bevindingen suggereren dat gestructureerde zoekprocedures aanzienlijke voordelen bieden die verder gaan dan simpelweg het vergroten van de model schaal. Het framework is bijzonder effectief bij het identificeren van de beslissende stap in plaats van alleen een stap waar een fout zichtbaar is, waarmee een kritiek gat wordt gedicht in het betrouwbaar en debugbaar maken van autonome agentische systemen. De auteurs merken beperkingen op, waaronder de afhankelijkheid van de betrouwbaarheid van de LLM-oordeelsvorming en mogelijke moeilijkheden bij het vastleggen van zeer langdurige afhankelijkheden over window-grenzen heen, maar zij handhaven dat de voorgestelde aanpak een robuuste basis biedt voor foutattributie.