💻 computer science

AgentEval: DAG-Structured Step-Level Evaluation for Agentic Workflows with Error Propagation Tracking

AgentEval is een nieuw evaluatiekader dat agentische workflows analyseert als gerichte acyclische grafen (DAG's) om fouten op stappenniveau nauwkeurig te detecteren, de oorzaken ervan automatisch te herleiden en de efficiëntie van debugging in productieomgevingen aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Dongxin Guo, Jikun Wu, Siu Ming Yiu

Gepubliceerd 2026-04-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dongxin Guo, Jikun Wu, Siu Ming Yiu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een supermoderne, zelfrijdende robotchef in een restaurant hebt. Deze chef doet alles zelf: hij leest het recept, kiest de juiste messen, snijdt de groenten, bakt het vlees en serveert het bord.

Tot nu toe testten we deze robot op één simpele manier: "Smaakt het eindgerecht goed?" Als de soep zout is, weten we dat er iets mis is, maar we hebben geen idee waar het misging. Was het recept verkeerd? Was de kok te enthousiast met de zoutpot? Of was de pan niet schoon?

Dit paper introduceert AgentEval. Dit is niet zomaar een smaaktest, maar een soort "super-inspecteur" die de chef bij elke handeling over de schouder meekijkt.

De kern van het probleem: Het domino-effect

In een complexe workflow (zoals een AI-agent die taken uitvoert) werken stappen op elkaar in. Als de chef in het begin de verkeerde pan kiest, zal de soep aan het eind altijd mislukken, hoe goed hij ook kan koken. Dit noemen we fout-propagatie: een kleine fout in stap 1 zorgt voor een enorme ramp in stap 10.

De huidige methoden zijn als een criticus die alleen het eindbord beoordeelt. AgentEval is als een team van experts die elke beweging in de keuken analyseren.

Hoe werkt AgentEval? (De drie geheime ingrediënten)

1. De "Recept-kaart" (De DAG-structuur)
In plaats van een simpele lijst met taken, ziet AgentEval de workflow als een stamboom (een DAG). Het begrijpt dat stap B alleen kan gebeuren als stap A is gelukt. Als stap B mislukt, kijkt AgentEval direct omhoog in de stamboom: "Hé, stap B is niet slecht omdat de kok een fout maakte, maar omdat hij de verkeerde ingrediënten kreeg van stap A!" Zo vinden ze de echte bron van de fout (de Root Cause).

2. De "Gespecialiseerde Jury" (De LLM-Judge)
AgentEval gebruikt een zeer slimme AI (GPT-4o) als scheidsrechter. Maar deze scheidsrechter is niet zomaar een algemene criticus. Hij heeft voor elke taak een eigen checklist:

Bij het plannen kijkt hij: "Is dit een logisch stappenplan?"
Bij het gereedschap kiezen kijkt hij: "Is dit het juiste mes voor deze tomaat?"
Bij het serveren kijkt hij: "Ziet het bord er netjes uit?"

3. Het "Fouten-woordenboek" (De Taxonomie)
In plaats van alleen te zeggen "het is mislukt", heeft AgentEval een heel uitgebreid woordenboek met 21 soorten fouten. Het zegt niet: "De soep is vies", maar: "De chef heeft de verkeerde kruiden gebruikt (Type: Parameterfout) omdat hij het recept verkeerd las (Type: Interpretatiefout)."

Waarom is dit een doorbraak?

Het vindt de echte dader: In tests vond AgentEval 2,17 keer sneller waar het echt misging dan de oude methoden.
Het bespaart tijd: In een praktijktest met ingenieurs hoefden zij niet meer urenlang te zoeken naar een fout. De tijd die nodig was om de oorzaak te vinden, zakte van 4 uur naar slechts 22 minuten. Dat is het verschil tussen een hele middag puzzelen en even snel een kopje koffie drinken.
Het is een waarschuwingssysteem: Het kan worden ingebouwd in de "fabriek" van de AI. Als een update van de software ervoor zorgt dat de AI ineens slechter wordt in het snijden van groenten, slaat AgentEval direct alarm voordat de klant een slecht gerecht krijgt.

Samenvatting in één zin

AgentEval is als een slimme videocamera in een keuken die niet alleen zegt dat het eten mislukt, maar precies aanwijst op welk moment de chef de verkeerde pan pakte, zodat je de fout direct kunt herstellen.

Technische Samenvatting: AgentEval

1. Het Probleem: De "Evaluatiekloof" in Agentic AI

Naarmate AI-agenten complexere, meerstaps workflows uitvoeren (plannen, tools gebruiken, redeneren), schieten traditionele evaluatiemethoden tekort. De huidige praktijken kennen twee grote gebreken:

End-to-End (E2E) evaluatie: Men kijkt alleen naar het eindresultaat. Als een agent faalt, is het onduidelijk waar in de keten het misging. Intermediaire fouten worden gemaskeerd, wat debugging extreem moeilijk maakt.
Ad-hoc inspectie: Handmatige controle van traces is niet schaalbaar voor productieomgevingen.
Foutpropagatie: In agent-workflows leiden kleine fouten in een vroege stap (bijv. een verkeerd plan) vaak tot een cascade van fouten in latere stappen. Huidige systemen kunnen het onderscheid niet maken tussen de oorzaak (root cause) en de gevolgen (propagated errors).

2. Methodologie: Het AGENTEVAL-raamwerk

De auteurs introduceren AGENTEVAL, een infrastructuur die agent-executies formaliseert als Directed Acyclic Graphs (DAGs). De methodologie rust op vier pijlers:

DAG-formalisering: Elke stap in de workflow wordt een 'node' in een graaf. Dit maakt het mogelijk om de afhankelijkheden tussen stappen expliciet te modelleren. De stappen worden geclassificeerd in vijf typen: PLAN, TOOLSEL, PARAMGEN, EXEC, en SYNTH.
Stap-specifieke kwaliteitsmetrieken: In plaats van één algemene score, gebruikt het systeem voor elk type stap specifieke rubrieken (bijv. 'volledigheid' voor planning, 'parameter-correctheid' voor tool-gebruik). Deze worden beoordeeld door een gekalibreerde LLM-as-a-judge (GPT-4o).
Hiërarchische Foutentaxonomie: Een systeem met drie niveaus en 21 subcategorieën (bijv. Planning $\rightarrow$ Goal misinterpretation $\rightarrow$ Scope error) om fouten semantisch te classificeren.
Automatische Root Cause Attribution (RCA): Door gebruik te maken van de DAG-structuur en een "greedy heuristic" algoritme, kan het systeem bepalen of een fout de oorspronkelijke oorzaak is of een gevolg van een falende upstream-stap.

3. Belangrijkste Bijdragen

Structurele modellering: Het transformeren van lineaire traces naar DAGs voor foutdetectie.
Error Propagation Tracking: Het vermogen om de keten van fouten te volgen en de bron te isoleren.
Gekalibreerde Evaluatie: Een methode om LLM-judges te laten scoren met een hoge mate van menselijke overeenstemming ( $\kappa = 0.84$ ).
CI/CD Integratie: Een werkend systeem voor regressietesten dat automatisch deployment blokkeert bij kwaliteitsverlies.

4. Belangrijkste Resultaten

De resultaten zijn gebaseerd op drie productie-workflows (Customer Service, Data Analysis, Document Processing):

Superieure Detectie: AGENTEVAL bereikt een Failure Detection Recall (FDRec) van 0.89, wat 2.17x hoger is dan end-to-end evaluatie (0.41).
Impact van de DAG-structuur: Een ablatie-studie toonde aan dat het modelleren van de DAG-afhankelijkheden alleen al zorgt voor een verbetering van +22 procentpunt in detectie en +34 procentpunt in de nauwkeurigheid van de oorzaakanalyse (RCA) vergeleken met een "platte" stap-evaluatie.
Menselijke Overeenstemming: De overeenstemming met menselijke experts is zeer hoog ( $\kappa = 0.84$ ).
Efficiëntie in de praktijk: Tijdens een pilot van 4 maanden werd de mediane tijd voor het identificeren van een oorzaak (root cause) teruggebracht van 4,2 uur naar slechts 22 minuten.
Generalisatie: Het systeem bleek effectief op externe benchmarks zoals $\tau$ -bench en SWE-bench, zelfs zonder de taxonomie aan te passen.

5. Betekenis en Conclusie

AGENTEVAL markeert een verschuiving van "kijken of de agent het goed doet" naar "begrijpen waarom de agent het fout doet". Voor bedrijven die agentic AI naar productie brengen, biedt dit raamwerk de noodzakelijke precisie om de betrouwbaarheid te verhogen en de kosten van debugging drastisch te verlagen. Het bewijst dat voor complexe AI-systemen, de structuur van de evaluatie (de graaf) net zo belangrijk is als de kwaliteit van de judge zelf.