🤖 machine learning

TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents

TRACE introduceert een dichte, critic-vrije credit assignment-methode voor agents met een lange horizon die per beurt beloningen afleidt uit temporal-difference veranderingen in log-ratio staatswaarden, waardoor puur reinforcement learning de prestaties bij tool-gebruik op complexe zoekbenchmarks aanzienlijk verbetert zonder dat supervised fine-tuning of live-web data vereist is.

Oorspronkelijke auteurs: Leitian Tao, Baolin Peng, Wenlin Yao, Tao Ge, Hao Cheng, Mike Hang Wang, Jianfeng Gao, Sharon Li

Gepubliceerd 2026-07-16

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Leitian Tao, Baolin Peng, Wenlin Yao, Tao Ge, Hao Cheng, Mike Hang Wang, Jianfeng Gao, Sharon Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een gigantisch, meerstaps mysterie op te lossen. In de wereld van kunstmatige intelligentie wordt dit "agentic reinforcement learning" genoemd. Denk aan de robot als een detective die niet alleen één keer het antwoord raadt, maar urenlang bibliotheken doorzoekt, bestanden opent, vragen stelt en aanwijzingen verzamelt voordat hij eindelijk uitroept: "Ik heb de dader gevonden!" Het lastige deel is het leren aanwijzen van de detective. Als de detective aan het einde het antwoord fout heeft, zegt een eenvoudige leraar misschien alleen: "Slecht gedaan," en geeft een nul. Maar dat is onrechtvaardig! Misschien heeft de detective in het eerste uur de juiste aanwijzingen gevonden, om er in de laatste minuut naast te zitten door over een losse vloerplank te struikelen. Als je de hele inzet van dat uur straft omdat de detective de laatste fout maakte, raakt de detective in de war en stopt hij met het verzamelen van aanwijzingen. Dit is het probleem van "credit assignment": hoe geef je credit voor de goede stappen en schuld voor de slechte stappen wanneer de beloning pas aan het einde komt?

Dit artikel, getiteld TRACE, pakt precies dit hoofdpijndossier aan voor AI-agenten die vele stappen moeten zetten om een probleem op te lossen. De onderzoekers stellen een slimme manier voor om de detective na elke stap een "duim omhoog" of "duim omlaag" te geven (zoals bij elke zoekopdracht of het openen van een bestand), in plaats van te wachten tot het einde. Ze doen dit zonder dat er een mens nodig is om elke stap te beoordelen of een superintelligente rechter die de hele film volgt. In plaats daarvan gebruiken ze een "frozen reference model" — denk aan een kalme, onveranderlijke bibliothecaris die de antwoordsleutel kent. Na elke zet die de detective maakt, controleert de bibliothecaris: "Maakt deze nieuwe aanwijzing het makkelijker om het juiste antwoord te raden?" Zo ja, dan krijgt de detective een kleine beloning. Zo nee, dan krijgt hij een kleine straf. Deze methode, genaamd TRACE, helpt de AI veel sneller en beter te leren dan alleen wachten op het eindcijfer.

Het Dilemma van de Detective

Stel je voor dat je een robot traint om de geboorteplaats te vinden van een fictieve auteur genaamd "Elena Cruz". De robot moet een browser gebruiken om te zoeken, pagina's te openen en tekst te lezen. Het kan 20 klikken kosten om daar te komen. In de oude manier van trainen van deze robots (genaamd "outcome-only" training), gaat de robot door al die 20 klikken, krijgt misschien het antwoord fout, en zegt de computer dan: "Fout." De robot probeert het dan opnieuw, maar hij weet niet welke van die 20 klikken nuttig waren. Misschien vond de eerste 15 klikken het juiste boek, maar leidde de 16e klik naar een pagina over een andere Elena, wat tot het verkeerde antwoord leidde. De oude methode behandelt de nuttige eerste 15 klikken hetzelfde als de nutteloze 16e klik: beide worden gestraft. Het is alsof je een slecht cijfer krijgt voor een wiskundetoets omdat je aan het einde een kleine rekenfout maakte, terwijl je de moeilijke algebra correct hebt opgelost.

De onderzoekers ontdekten dat deze "alles-of-niets"-aanpak het erg moeilijk maakt voor robots om complexe, langdurige taken te leren. De robot raakt in de war, de training duurt eeuwig en hij geeft vaak op met het verkennen van nieuwe ideeën omdat hij bang is een fout te maken aan het einde.

De TRACE-oplossing: Een scorekaart voor elke stap

De auteurs van dit artikel kwamen met TRACE (Turn-level Reward Assignment via Credit Estimation). In plaats van te wachten op het definitieve antwoord om de robot te beoordelen, geeft TRACE de robot een score na elke enkele tool-call (elke zoekopdracht, elk openen, elke klik).

Zo werkt het, met onze detective-analogie:

De Bevroren Bibliothecaris: Het systeem gebruikt een "frozen reference model". Stel je een bibliothecaris voor die de antwoordsleutel al heeft gelezen en nooit van mening zal veranderen. Deze bibliothecaris is "bevroren", wat betekent dat hij niet leert of in de war raakt; hij fungeert slechts als een stabiele meetlat.
De Voortgangscontrole: Nadat de robot een zet heeft gedaan (zoals zoeken naar "Elena Cruz"), controleert de bibliothecaris de huidige aantekeningen van de robot. De bibliothecaris vraagt: "Op basis van wat de robot tot nu toe heeft gevonden, hoe makkelijk is het om het juiste antwoord te raden?"
De Verandering in Score: Als de nieuwe zoekopdracht van de robot het antwoord makkelijker maakt om te raden, krijgt de robot een positieve score. Als de zoekopdracht leidt tot een doodlopende weg of een verwarrende pagina, gaat de score omlaag.
De Magie van "Telescoping": Het artikel gebruikt een wiskundige truc genaamd "Temporal-Difference" (TD). Denk hierbij aan een ladder. Als je één trede omhoog klimt, krijg je credit voor die trede. Als je omhoog klimt en dan per ongeluk weer naar beneden glijdt, verlies je credit voor de glijpartij. Het systeem telt deze kleine veranderingen bij elkaar op. Als de robot 10 beurten besteedt aan het verzamelen van goede aanwijzingen en dan één slechte zet maakt, ziet het systeem de 10 goede stappen als positief en de ene slechte stap als negatief. Het straft de 10 goede stappen niet af, alleen omdat het uiteindelijke antwoord fout was.

Deze methode is bijzonder omdat er geen mens nodig is om na elke stap "Goed gedaan" op te schrijven, noch is er een tweede, superintelligente AI nodig om de robot te observeren en te beoordelen. Het gebruikt simpelweg de "bevroren bibliothecaris" om te zien of de robot dichter bij de waarheid komt.

Wat ze hebben gevonden

De onderzoekers testten TRACE op een zeer moeilijke taak: het vinden van specifieke feiten die diep verborgen zitten in een enorme collectie documenten (een "closed-web" zoekopdracht). Ze gebruikten twee verschillende maten AI-modellen: een kleiner model (Qwen3-4B) en een groter model (Qwen3-30B-A3B).

De resultaten waren indrukwekkend. Voordat ze TRACE gebruikten, kon het kleinere model slechts ongeveer 7,2% van de moeilijke zoekvragen oplossen. Na training met TRACE sprong dit naar 35,6%. Het grotere model ging van 8,4% naar 42,6%. Dit zijn enorme verbeteringen, vooral omdat ze geen "cold-start" training gebruikten (waarbij je de robot eerst met perfecte voorbeelden leert) of live internetdata. Ze gebruikten simpelweg de TRACE-methode op het ruwe model.

Het artikel toonde ook aan dat TRACE werkt, zelfs wanneer de robot wordt getest op het open internet, en niet alleen op de oefenbibliotheek waarop ze getraind hebben. De robot leerde een algemene vaardigheid voor het zoeken en lezen die overdraagbaar was naar nieuwe omgevingen. Zo scoorde het grotere model een 12,9 op een benchmark genaamd BrowseComp, 52,0 op GAIA, en 45,0 op een Chinese deep-search test.

Waarom het ertoe doet en wat het niet doet

Het artikel suggereert dat deze methode het leren veel sneller maakt. In hun experimenten begonnen de robots die met TRACE trainden veel eerder beter te worden en bereikten ze hun piekprestaties sneller dan robots die getraind werden met de oude "wacht tot het einde"-methode. De leercurves lieten zien dat de robots effectiever leerden te exploreren en bewijs te verzamelen.

De auteurs wijzen echter ook voorzichtig op de beperkingen van hun werk. Deze methode werkt het beste wanneer het uiteindelijke antwoord kort en duidelijk is, zoals een naam, een datum of een getal. Als de taak van de robot is om een lang, complex verhaal te schrijven of een kapot computerprogramma te repareren waarbij het "juiste" antwoord open-ended en moeilijk te definiëren is, werkt deze methode mogelijk minder goed. De "bevroren bibliothecaris" heeft een duidelijke antwoordsleutel nodig om tegen te controleren. Als het antwoord vaag is, kan de bibliothecaris niet bepalen of de robot dichter bij de waarheid komt.

Kortom, TRACE is een nieuwe manier om AI-agenten te leren hoe ze goede detectives kunnen zijn. In plaats van te wachten tot het einde van de zaak om te zeggen "Goed gedaan" of "Slecht gedaan", geeft het een scorekaart na elke gevonden aanwijzing. Dit heldt de AI om te begrijpen dat het verzamelen van bewijs waardevol is, zelfs als de uiteindelijke gok niet perfect is, wat leidt tot slimmere, snellere en betrouwbaardere zoekagenten.

Technische Samenvatting: TRACE (Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents)

1. Probleemstelling

Large Language Model (LLM) agents lossen complexe taken op door middel van uitgebreide sequenties van tool-interacties (bijv. webzoeken, code-executie) voordat ze een definitief antwoord produceren. Hoewel Reinforcement Learning met Verifieerbare Beloningen (RLVR) succesvol is geweest voor single-turn redeneertaken (zoals wiskunde of coderen) met deterministische uitkomstbeloningen, vormt het toepassen hiervan op long-horizon agents een fundamentele credit assignment challenge (probleem van krediettoewijzing).

In multi-turn agent rollouts is een enkele terminale beloning (succes/falen) spaars en heeft deze een hoge variantie. Het slaagt er niet in om onderscheid te maken tussen:

Nuttige acties: Vroege tool-calls die noodzakelijke bewijslast verzamelen, maar deel uitmaken van een traject dat uiteindelijk faalt.
Redundante of schadelijke acties: Tussenstappen die niet bijdragen aan het doel of het proces ontsporen.

Training op basis van enkel de uitkomst wijst dezelfde advantage toe aan alle turns in een traject, wat leidt tot onderwaardering van productieve exploratie, overwaardering van irrelevante acties en een verhoogde gradiënt-variantie naarmate de traject-horizons groeien. Bestaande methoden voor proces-supervisie vereisen vaak step-level labels, sterke LLM-judges of getrainde process reward models, wat complexiteit, drift of afhankelijkheid van dure supervisie introduceert.

2. Methodologie: TRACE

De auteurs stellen TRACE voor (Turn-level Reward Assignment via Credit Estimation), een critic-vrij framework dat dichte, turn-level beloningen genereert zonder extra training van process-labels of een geleerde critic.

Kernmechanisme

TRACE behandelt de rollout van de agent als een sequentie van staatsovergangen die plaatsvinden op de grenzen van tool-calls. In plaats van een waarde-functie te leren, maakt het gebruik van een bevroren referentiemodel ( $\pi_{ref}$ ) als een stabiele probe om de "gereedheid" van de huidige traject-prefix te schatten om het gouden antwoord te produceren.

Staat-representatie: Een rollout wordt gesegmenteerd in prefixes $S_k$ bij elke tool-call grens.
Staatwaarde-schatting:
- Het bevroren referentiemodel berekent de log-waarschijnlijkheid van het gouden antwoord $y^*$ gegeven de prefix $S_k$ : $\bar{\ell}_k = \frac{1}{|y^*|} \sum \log \pi_{ref}(y^*_t | S_k, y^*_{<t})$ .
- Om schaalproblemen aan te pakken waarbij ruwe log-waarschijnlijkheidsveranderingen misleidend zijn (bijv. een kleine winst is significant wanneer men ver van het antwoord verwijderd is, maar verwaarloosbaar wanneer men dichtbij is), transformeert TRACE dit naar een log-ratio staatswaarde:
  $V(S_k) = \log \frac{-\bar{\ell}_0 + \epsilon}{-\bar{\ell}_k + \epsilon}$
  waarbij $\epsilon$ een offset is. Deze waarde meet de relatieve sluiting van de initiële antwoord-waarschijnlijkheidskloof.
Turn-Level Beloning via Temporal Difference (TD):
- De beloning voor een transitie $S_k \to S_{k+1}$ wordt afgeleid van de TD-error (waardedifferentie):
  $\delta_k = V(S_{k+1}) - V(S_k) = \log \frac{d_k}{d_{k+1}}$
- Interpretatie: Een positieve beloning wordt toegewezen als de tool-call en de observatie het gouden antwoord voorspelbaarder maken (het verhogen van de staatswaarde). Een negatieve beloning wordt toegewezen als het traject zich van het antwoord verwijdert.
- Telescopische eigenschap: De som van de one-step TD-credits telescoopt naar de totale waardeverandering tussen het begin en het einde van het traject. Dit zorgt ervoor dat redundante tussenliggende turns de totale credit niet kunstmatig kunnen opblazen.
Look-Ahead en Anchoring:
- Om rekening te houden met vertraagde effecten (bijv. een zoekopdracht die pas rendement oplevert nadat een document is geopend), gebruikt TRACE een afgekorte K-step TD backup met een kortingsfactor $\gamma_{td}$ .
- De uiteindelijke turn-level beloning combineert het TD-progressiesignaal met de standaard uitkomst-niveau advantage ( $A^{out}$ ) van Group Relative Policy Optimization (GRPO), waardoor de uiteindelijke correctheid het ultieme trainingsdoel blijft.
Optimalisatie: De policy wordt bijgewerkt met een clipped objective die de uitkomst-advantage en de turn-level TD-credit mengt, zonder de turn-waarden te normaliseren over de prompt-groep.

3. Belangrijkste Bijdragen

Critic-vrije Dichte Credit: TRACE biedt dichte, turn-level beloningen voor long-horizon agents zonder een aparte critic te trainen, een process reward model te gebruiken of te vertrouwen op step-level menselijke of synthetische labels.
Bevroren Referentie als Probe: Het hergebruikt een bevroren referentiemodel (meestal gebruikt voor KL-regularisatie) als een stabiele waarde-estimator, die meet hoeveel elke tool-interactie de voorspelbaarheid van het goude antwoord verhoogt.
Log-Ratio TD Formulering: De methode introduceert een log-ratio transformatie van antwoord-waarschijnlijkheden om een robuuste staatswaarde te creëren die credit normaliseert over verschillende betrouwbaarheidsniveaus en reward-inflatie door redundante stappen voorkomt.
Pure RL Training: De aanpak maakt het mogelijk om base modellen effectief te trainen met pure RL (uitkomst + turn-level beloningen) zonder een cold-start supervised fine-tuning (SFT) fase, agentic mid-training, of live-web data.

4. Experimentele Resultaten

De auteurs evalueerden TRACE op complexe long-horizon zoektaken met behulp van Qwen3-4B en Qwen3-30B-A3B backbones.

Closed-Web Benchmark (BrowseComp-Plus):
- Qwen3-4B: Verbeterde van een base score van 7.2 naar 35.6.
- Qwen3-30B-A3B: Verbeterde van een base score van 8.4 naar 42.6.
- TRACE presteerde aanzienlijk beter dan outcome-only baselines (GRPO, GSPO, GiGRPO) en benaderde of overtrof grotere externe deep-research agents (bijv. TongyiDS-30B-A3B), ondanks het gebruik van een kleinere backbone en minimale supervisie.
Open-Web Transfer:
- Het geleerde zoekgedrag werd getransfereerd naar open-web benchmarks (BrowseComp, GAIA, xbench-DeepSearch).
- De 30B-A3B agent behaalde 12.9 op BrowseComp, 52.0 op GAIA, en 45.0 op xbench-DeepSearch, wat duidt op generalisatie buiten de closed training corpus.
Leeringsdynamiek:
- TRACE vertoonde een eerdere verbetering en snellere convergentie vergeleken met outcome-only baselines.
- Het faciliteerde een snellere expansie van de interactielengte (traject-schaal) in de vroege trainingsstadia, aangezien het turn-level signaal ook bij tussenliggende progressie beloont, zelfs voordat het uiteindelijke antwoord correct is.

5. Betekenis en Claims

Het paper claimt dat verifier-anchored turn-level credit een cruciale ontbrekende component is voor het trainen van long-horizon agents via pure RL.

Efficiëntie: TRACE demonstreert dat base modellen beschikken over latente redeneer- en tool-use primitieven die kunnen worden ontsloten met dichtere credit-signalen, waardoor de noodzaak voor dure SFT of complexe process-supervisie pipelines vervalt.
Generalisatie: De methode leert een algemene interactiestrategie (zoeken, lezen, verfijnen) die over verschillende retrieval-omgevingen en talen heen transformeert, in plaats van enkel te overfitten op de training corpus.
Beperkingen: De auteurs merken bescheiden op dat de huidige methode afhankelijk is van compacte, verifieerbare antwoorden (korte strings). Voor taken met lange, gestructureerde of open-ended outputs (bijv. multi-file code patches), kan de log-waarschijnlijkheid proxy minder betrouwbaar zijn, wat suggereert dat er behoefte is aan alternatieve staatswaarde-estimators in toekomstig werk.

Samenvattend stelt TRACE vast dat het toewijzen van credit op de grenzen van tool-calls via een bevroren referentiemodel een effectieve, schaalbare en data-efficiënte strategie is voor het verbeteren van de prestaties van long-horizon agents.