💬 NLP

Beyond the Final Answer: Evaluating the Reasoning Trajectories of Tool-Augmented Agents

Dit artikel introduceert TRACE, een referentievrij raamwerk dat gebruikmaakt van een bewijsbank om de multidimensionale redeneertrajecten van met hulpmiddelen verrijkte LLM's op een efficiënte en nauwkeurige manier te evalueren, waarmee de beperkingen van traditionele metrics voor antwoordmatching en de hoge kosten van ground-truth annotatie worden aangepakt.

Oorspronkelijke auteurs: Wonjoong Kim, Sangwu Park, Yeonjun In, Sein Kim, Dongha Lee, Chanyoung Park

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wonjoong Kim, Sangwu Park, Yeonjun In, Sein Kim, Dongha Lee, Chanyoung Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Een Boek Alleen Beoordelen aan de Hand van de Omslag

Stel je voor dat je twee verschillende koks huurt om een specifiek gerecht te bereiden.

Kok A volgt het recept perfect, gebruikt verse ingrediënten en is binnen 20 minuten klaar.
Kok B verbrandt de eerste pan, probeert een kapot mes te gebruiken, gokt op de ingrediënten en voegt per ongeluk zout toe in plaats van suiker, maar lukt erin om toch een bord te schrapen dat er precies zo uitziet als het afgewerkte gerecht.

Als je alleen de uiteindelijke plaat proeft, krijgen beide koks een "Geslaagd". Maar als je had gekeken hoe ze kookten, zou je weten dat Kok A een professional is en Kok B een ramp die op afloop wacht.

Dit is precies wat de auteurs van dit paper zeggen over AI Agents (slimme computerprogramma's die hulpmiddelen zoals rekenmachines of zoekmachines gebruiken). Momenteel beoordelen we deze AI's voornamelijk op basis van of hun eindantwoord correct is. We negeren hoe ze daar gekomen zijn. Het paper betoogt dat twee AI's hetzelfde correcte antwoord kunnen geven, maar dat de ene efficiënt en logisch kan zijn, terwijl de andere verspillend, verward is, of zelfs dingen verzint (hallucineert).

De Oplossing: TRACE (De "Bewijsbank"-Detective)

Om dit op te lossen, hebben de auteurs een nieuw evaluatiesysteem ontwikkeld dat TRACE heet. Denk aan TRACE niet als een leraar die een eindexamen nakijkt, maar als een detective die een misdaadplek onderzoekt.

In plaats van alleen het eindresultaat te controleren, bekijkt TRACE het hele "verhaal" dat de AI voor zichzelf heeft verteld om daar te komen. Het maakt gebruik van een speciaal hulpmiddel dat een Bewijsbank wordt genoemd.

De Analogie: Stel je voor dat de AI een detective is die een mysterie oplost. Elke keer dat de AI een hulpmiddel gebruikt (zoals het controleren van een kaart of het vragen aan een getuige), laat het een stukje bewijs op tafel liggen.
Hoe TRACE werkt: TRACE bouwt een "bank" van al deze bewijsstukken. Vervolgens vraagt het aan een tweede AI (de rechter) om naar de bank en het eindantwoord te kijken. Het vraagt: "Had je de kaart echt nodig om het antwoord te vinden? Of was dat tijdverspilling?"

De Drie Dingen die TRACE Controleert

TRACE zegt niet zomaar "Goed gedaan" of "Slecht gedaan". Het scoort de AI op drie specifieke eigenschappen, net als de statistieken van een personage in een videospel:

Efficiëntie (De "Speed Runner"):
- Wat het is: Heeft de AI het kortste pad genomen?
- De Metafoor: Als je van huis naar de supermarkt moet, rijd je dan direct daarheen, of rijd je eerst naar de bibliotheek, dan naar het park, dan naar de sportschool en daarna pas naar de winkel?
- De Taak van TRACE: Het telt hoeveel "extra stops" de AI heeft gemaakt. Als de AI een hulpmiddel heeft gebruikt dat niet nodig was, merkt TRACE dit op als inefficiënt.
Hallucinatie (De "Leugenaar"):
- Wat het is: Heeft de AI feiten verzonnen die niet in het bewijs stonden?
- De Metafoor: Stel je voor dat de AI naar een foto van een rood appel kijkt. Als de AI zegt: "Ik zie een rood appel", is dat goed. Als de AI zegt: "Ik zie een rood appel, en het smaakt naar chocolade", is dat een hallucinatie. Het "chocolade"-gedeelte stond niet op de foto.
- De Taak van TRACE: Het controleert elke gedachte die de AI had tegen de "Bewijsbank". Als de AI iets claimt dat niet bewezen was door de hulpmiddelen die het gebruikte, betrapt TRACE de leugen.
Adaptiviteit (De "Probleemoplosser"):
- Wat het is: Wat gebeurt er als een hulpmiddel kapot gaat?
- De Metafoor: Stel je voor dat je probeert een deur te openen met een sleutel, maar de sleutel breekt.
  - Een slechte AI (niet-adaptief) blijft proberen om het gebroken stukje sleutel keer op keer te gebruiken, of geeft gewoon op.
  - Een goede AI (adaptief) zegt: "Oh, de sleutel is gebroken. Ik zal proberen de pook te gebruiken," of "Ik zal de slotenmaker bellen."
- De Taak van TRACE: De onderzoekers hebben expres sommige hulpmiddelen kapot gemaakt in hun tests. TRACE kijkt of de AI de fout heeft opgemerkt en is overgestapt op een ander plan, of dat het vastliep.

Waarom Dit Belangrijk Is (Het "Aha!"-Moment)

De auteurs hebben dit systeem getest op veel verschillende AI-modellen (sommige groot en duur, sommige klein en gratis). Ze vonden enkele verrassende dingen:

Zelfde Score, Verschillende Realiteit: Twee AI's kunnen allebei 60% goed halen op een test. Maar als je kijkt naar hun "trajecten" (hun denkproces), kan de ene een genie zijn dat gewoon ongeluk had, terwijl de andere een onhandige bot is die geluk had.
Kleine Modellen Kunnen Geweldige Rechters Zijn: Je zou denken dat je een superduur, massaal AI-model nodig hebt om een andere AI te beoordelen. De auteurs vonden dat hun TRACE-systeem net zo goed werkt met kleinere, goedkopere, open-source modellen. Dit bespaart veel geld en tijd.
Meer Stappen = Meer Fouten: Ze merkten op dat wanneer een AI te veel stappen zet (inefficiënt is), het eigenlijk waarschijnlijker is dat het het verkeerde antwoord krijgt. Het is alsof je door een doolhof loopt; hoe langer je ronddwaalt, hoe waarschijnlijker het is dat je in een doodlopend straatje terechtkomt.

De Conclusie

Het paper introduceert een nieuwe manier om AI-agents te beoordelen. In plaats van alleen te vragen: "Heb je het antwoord goed?", zouden we moeten vragen: "Ben je er efficiënt gekomen, zonder te liegen, en heb je problemen goed aangepakt?"

Door TRACE te gebruiken, kunnen we de "achter-de-schermen"-film zien van hoe een AI denkt, wat ons helpt om slimmere, betrouwbaardere en eerlijkere AI-assistenten te bouwen.

Technische Samenvatting: Voorbij het Eindantwoord: Evaluatie van de Redeneertrajecten van Tool-geaugmenteerde Agenten

Probleemstelling

Recente vooruitgang in Large Language Models (LLM's) heeft de ontwikkeling van tool-geaugmenteerde agenten gestimuleerd die in staat zijn externe tools te benutten om intrinsieke beperkingen te overwinnen. Hoewel er diverse benchmarks (bijv. GTA, m&m's) bestaan om de prestaties van agenten te meten, zijn de huidige evaluatiemethoden voornamelijk beperkt tot Answer Match-metrieken. Deze methoden verifiëren slechts of de uiteindelijke output overeenkomt met een ground-truth antwoord, en negeren kritieke aspecten van het redeneertraject zoals efficiëntie, hallucinatie en adaptiviteit.

De auteurs betogen dat agenten die een identieke uiteindelijke nauwkeurigheid bereiken, mogelijk zeer verschillende redeneerkwaliteiten bezitten. De ene agent kan een taak efficiënt oplossen met minimale stappen, terwijl de andere zich bezighoudt met redundante processen, hallucinaties genereert of faalt om zich aan te passen wanneer tools niet beschikbaar zijn. Bovendien vertrouwen bestaande evaluatiebenaderingen vaak op het vergelijken van het traject van een agent met één enkele, vooraf gedefinieerde ground-truth-paden. Dit is problematisch omdat er meerdere geldige trajecten kunnen bestaan voor één enkele query, waardoor het annoteren van alle geldige paden verbodsd duur wordt en mogelijk geldige alternatieve oplossingen bestraft. Daarnaast worstelen standaard LLM-gebaseerde beoordelaars om lange, complexe contexten effectief te beoordelen zonder dergelijke ground-truth-referenties.

Methodologie: TRACE-kader

Om deze beperkingen aan te pakken, introduceert het artikel TRACE (Trajectory-based Reasoning Assessment and Comprehensive Evaluation), een referentievrij kader dat is ontworpen voor de multidimensionale evaluatie van tool-geaugmenteerde LLM's.

Kerncomponenten

Evidentiebank ( $E$ ): Een centraal onderdeel van TRACE is de dynamisch opgebouwde evidentiebank. Wanneer een agent interacteert met tools, genereert elke stap een tuple van actie, invoer en observatie ( $e_t = (a_t, i_t, o_t)$ ). Deze worden opgeslagen in een evidentiebank ( $E_t$ ), waardoor een objectief, gestructureerd record van de interactiegeschiedenis van de agent ontstaat. Deze gestructureerde accumulatie stelt de beoordelaar in staat logische consistentie te beoordelen zonder te vertrouwen op ongestructureerde volledige dialogen.
Evaluatiemetrieken: TRACE beoordeelt trajecten over drie kritieke dimensies:
- Efficiëntie: Gemeten achteraf nadat een correct eindantwoord is geproduceerd. Een LLM-beoordelaar identificeert de minimale subset van evidentie ( $E_{min}$ ) die nodig is om het antwoord logisch af te leiden uit de totale verzamelde evidentie ( $E_n$ ). De efficiëntiescore is de verhouding $|E_{min}| / |E_n|$ . Deze metriek kwantificeert onnodige stappen zonder dat een ground-truth optimale pad vereist is.
- Hallucinatie: Stap-voor-stap geëvalueerd. Voor elke gedachte ( $th_t$ ) controleert het kader of het redeneren is verankerd in de evidentiebank van voorgaande stappen ( $E_{t-1}$ ). Een gedachte wordt gemarkeerd als hallucinatie als deze informatie of aannames bevat die niet worden onderbouwd door de geaccumuleerde evidentie.
- Adaptiviteit: Gemeten wanneer een agent een mislukte tool-uitvoering tegenkomt (bijv. een "onbeschikbare tool"-fout). Het kader evalueert of de daaropvolgende gedachte van de agent de mislukking erkent en een zinvol alternatief strategie kiest (bijv. een andere tool of een aangepaste aanpak).

Meta-evaluatie Dataset

Om TRACE te valideren, construeerden de auteurs Meta-GTA en Meta-m&m's. Deze datasets vullen bestaande benchmarks (GTA en m&m's) aan door:

Het genereren van meerdere geldige ground-truth trajecten voor enkele queries.
Het strategisch injecteren van gebrekkige trajecten die inefficiënties, hallucinaties en adaptiviteitsscenario's bevatten.
Het labelen van elke stap met corresponderende scores voor inefficiëntie, hallucinatie en adaptiviteit.

Belangrijkste Bijdragen

Referentievrij Evaluatiekader: TRACE biedt een effectieve methodologie voor het beoordelen van de logische soundness van het redeneerproces van een agent zonder afhankelijkheid van één enkele ground-truth-paden, waardoor een flexibeler en realistischer prestatieanalyse mogelijk wordt, zelfs met kleine open-source LLM's.
Multidimensionale Beoordeling: Het kader introduceert een uitgebreide evaluatiemethodologie die zich richt op cruciale maar vaak over het hoofd geziene metrieken: efficiëntie, hallucinatie en adaptiviteit, en biedt een holistisch beeld van de capaciteiten van agenten voorbij de uiteindelijke nauwkeurigheid.
Empirische Inzichten: Het artikel biedt een diepgaande analyse van de huidige prestaties van LLM-agenten bij complexe tool-gebruikstaken, waarbij trends worden onthuld en strategieën voor verbetering worden gesuggereerd.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op hun meta-evaluatie datasets en real-world tool-geaugmenteerde taken (GTA dataset) met behulp van diverse propriëtaire en open-source modellen.

Meta-evaluatie Nauwkeurigheid: TRACE presteert aanzienlijk beter dan naïeve "LLM-as-a-Judge"-benaderingen die volledige trajecten beoordelen zonder een evidentiebank. Opmerkelijk is dat TRACE nauwkeurige evaluatie mogelijk maakt met kleinere open-source modellen (bijv. Llama-3.1-8B), waarbij de naïeve aanpak moeite heeft. Het mechanisme van de evidentiebank stelt deze kleinere modellen in staat prestaties te bereiken die vergelijkbaar zijn met die van grotere propriëtaire modellen, terwijl de evaluatietijd en -kosten worden verlaagd.
Robuustheid tegen Trajectdiversiteit: In tegenstelling tot bestaande methoden zoals PIPA (die staatconsistentie meet), behoudt TRACE een hoge nauwkeurigheid en een lage standaardafwijking, zelfs wanneer er meerdere geldige trajecten bestaan voor één enkele taak, wat robuustheid tegen trajectdiversiteit aantoont.
Agent Prestatieanalyse: Het toepassen van TRACE op echte agenten onthulde dat modellen met een vergelijkbare algehele nauwkeurigheid significante prestatieverschillen vertonen in redeneerkwaliteit:
- Qwen-72B toonde hoge efficiëntie maar een hogere hallucinatiegraad in vergelijking met GPT-4.1.
- o3-mini vertoonde opmerkelijk lage hallucinatiepercentages maar had moeite met adaptiviteit (lage vermogen om te herstellen van tool-mislukkingen).
- Kleinere modellen (bijv. Llama-8B) vertoonden meer instructiefouten en lagere efficiëntie, wat suggereert dat er correctiemechanismen nodig zijn bij implementatie.
- Tokenverbruik: Er werd een negatieve correlatie waargenomen tussen het aantal output tokens/omwentelingen en de algehele nauwkeurigheid, wat suggereert dat overmatige redeneerstappen vaak ruis introduceren en de prestaties verslechteren, vooral voor kleinere modellen.

Betekenis

Het artikel beweert dat het uitsluitend vertrouwen op de nauwkeurigheid van het eindantwoord cruciale verschillen in de kwaliteit van onderliggende redeneerprocessen verdoezelt. Door TRACE in te voeren, bieden de auteurs een hulpmiddel om:

Foutmodi te diagnosticeren: Onderscheid te maken tussen agenten die falen door hallucinatie, inefficiëntie of gebrek aan adaptiviteit.
Modelselectie te sturen: Gebruikers in staat te stellen modellen te selecteren op basis van specifieke prioriteiten (bijv. prioritering van efficiëntie versus betrouwbaarheid) in plaats van één enkel nauwkeurigheidsmetriek.
Agentontwikkeling te verbeteren: Actievere inzichten bieden in de oorzaken van slechte prestaties bij tool-geaugmenteerde agenten, zoals de behoefte aan beter instructievolgen in kleinere modellen of verbeterde adaptiviteitsmechanismen.

Het werk benadrukt dat een ware evaluatie van agentcapaciteiten vereist dat het redeneertraject wordt onderzocht, niet alleen het eindantwoord, om effectievere en betrouwbaardere tool-geaugmenteerde agenten te ontwikkelen.