Technische Samenvatting: Het traceren van agentische fouten vanuit de flow van succes

Probleemstelling

Het paper behandelt fouttoerekening (failure attribution) in op LLM gebaseerde agentische systemen: de taak om te identificeren welke specifieke stappen in een fouttraject de oorzaak zijn van het falen van het systeem. Bestaande benaderingen vertrouwen op ofwel:

1. Prompting-gebaseerde pipelines: Het gebruik van frontier LLM's om trajecten te analyseren, wat hoge tokenkosten en latentie met zich meebrengt.
2. Supervised learning: Het trainen van modellen op fouttrajecten met foutannotaties op stapniveau. Dit is moeilijk schaalbaar vanwege de moeite bij het verzamelen van hoogwaardige, eenduidige annotaties op stapniveau.

De auteurs stellen een nieuwe probleemstelling voor: Unsupervised Failure Attribution. Het doel is om een model te trainen uitsluitend op succesvolle trajecten (die gemakkelijk te verzamelen zijn als bijproducten van normale operaties) en dit te gebruiken om foutieve stappen in fouttrajecten te identificeren tijdens inferentie, zonder enige supervisie op stapniveau op foutdata.

Methodologie: OAT (One-class Agent Tracing)

De auteurs stellen OAT voor, een lichtgewicht model dat fouttoerekening frameert als een one-class learning probleem in de latente representatieruimte van een LLM.

1. Latente Representatie

Voor een traject $\tau = (Q, a_1, s_1, \dots, a_T)$ wordt elke stap $t$ gerepresenteerd door een latente vector $h_t$, geëxtraheerd uit de verborgen toestanden (hidden states) van de LLM-agent die actie $a_t$ genereert. De query $Q$ wordt eveneens gerepresenteerd als $h_Q$.

2. Continue Trajectmodellering via Neural CDEs

In plaats van stappen te behandelen als discrete gebeurtenissen (zoals in RNN's of Transformers), modelleert OAT het traject als een continue latente pad.

• Neural Controlled Differential Equations (Neural CDEs): Het model behandelt de sequentie van staprepresentaties als onregelmatig gesamplede observaties van een onderliggende continue functie. Een Neural CDE leert de dynamiek van succesvolle trajecten door de evolutie van de latente toestand te conditioneren op het geobserveerde trajectpad $X(u)$.
• Gated Control Path: Om out-of-distribution (OOD) inputs te verwerken waarbij de controlesignalen (afgeleiden van het traject) spuriaal kunnen zijn, introduceert OAT een gating function. Deze functie onderdrukt adaptief controlesignalen die significant afwijken van de trainingsdistributie, wat de robuustheid verbetert zonder de in-domain expressiviteit op te offeren.

3. Anomaliedetectie

Tijdens inferentie, gegeven een fouttraject:

• Voorspelt het model de verwachte latente toestand $\hat{h}(u_t)$ voor elke stap op basis van de geleerde dynamiek van succesvolle trajecten.
• Een anomaliescore $e_t$ wordt berekend als de gekwadrateerde reconstructiefout: $e_t = \|h'_t - \hat{h}(u_t)\|^2_2$.
• Detectiestrategieën:
  • Top-k: Selecteert de $k$ stappen met de hoogste anomaliescores.
  • Conformal Prediction (CP): Gebruikt een kalibratieset van succesvolle trajecten om een drempelwaarde $\delta$ vast te stellen die de fout-positieve ratio controleert, waarbij stappen worden gemarkeerd waar $e_t > \delta$.

Belangrijkste Bijdragen

1. Probleemformulering: Introduceerde Unsupervised Failure Attribution, waardoor de noodzaak voor kostbare stapniveau-annotaties op foutdata vervalt door uitsluitend te trainen op succesvolle trajecten.
2. Modelarchitectuur (OAT): Stelde een continue-tijd one-class learning aanpak voor met Neural CDEs met een nieuwe gated control path om agentdynamiek te modelleren en lokale afwijkingen te detecteren.
3. Empirische Validatie: Toonde aan dat OAT prompting-gebaseerde baselines (inclusief GPT-4o en GPT-5) overtreft in zowel in-domain als OOD-settings, terwijl het aanzienlijk sneller en goedkoper is.

Experimentele Resultaten

Het model werd getraind op 100 succesvolle trajecten uit de MCP-Atlas dataset en geëvalueerd op fouttrajecten uit MCP-Atlas (in-domain) en Who&When (OOD).

• Prestaties:
  • In-domain (MCP-Atlas): OAT presteerde beter dan prompting-gebaseerde baselines met +20% F1-score en +10% AUPRC.
  • Out-of-Distribution (Who&When): OAT presteerde beter dan baselines met +7% F1-score en +5% AUPRC, ondanks significante structurele en modelverschillen tussen de trainings- en testdatasets.
• Efficiëntie:
  • OAT vereist nul tokenkosten tijdens inferentie.
  • Het is 200–5000× sneller dan prompting-gebaseerde benaderingen (latentie van ~7ms vs. ~4000ms+).
  • Het kan worden ingezet op minder dan 1 GB VRAM.
• Ablatie-studies:
  • Neural CDE vs. ODE: CDE's presteerden significant beter dan Neural ODE's, wat de belangrijkheid bevestigt van conditionering op geobserveerde trajectstappen.
  • Gating: De gated control path verbeterde de OOD-prestaties aanzienlijk (+0.172 AUROC) met een kleine trade-off in in-domain prestaties.
  • Laagselectie: Representaties van latere lagen van de LLM boden sterkere signalen voor anomaliedetectie dan eerdere lagen.

Betekenis en Claims

Het paper claimt dat OAT een praktische, efficiënte en effectieve richting biedt voor het diagnosticeren van fouten in agentische systemen. Door over te stappen van supervised failure learning naar unsupervised learning op succes, elimineert de benadering de annotatie-bottleneck. De auteurs benadrukken dat hun methode real-time fouttoerekening voor het eerst praktisch maakt, wat de inzet van diagnostische tools in kritieke omgevingen (bijv. coderen, wetenschappelijk onderzoek) mogelijk maakt zonder de prohibitieve kosten van het draaien van frontier LLM's voor elke diagnostische query. Het werk suggereert dat de "flow van succes" voldoende signaal bevat om de "flow van falen" te identificeren en te lokaliseren.