💬 NLP

TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning

Dit artikel introduceert TRACE, een verenigd framework dat de allocatie van de rollout-budgetten in multi-turn agentic reinforcement learning optimaliseert door interacties te modelleren als boomstructuur-nodes en dynamisch zowel prompt-wortels als intermediaire prefixen te targeten met gemengde terminale beloningen om de beloningscontrast en de efficiëntie van beleidsleren te verbeteren.

Oorspronkelijke auteurs: Heming Zou, Qi Wang, Yun Qu, Yuhang Jiang, Lizhou Cai, Yixiu Mao, Ru Peng, Xin Xu, Weijie Liu, Kai Yang, Saiyong Yang, Xiangyang Ji

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Heming Zou, Qi Wang, Yun Qu, Yuhang Jiang, Lizhou Cai, Yixiu Mao, Ru Peng, Xin Xu, Weijie Liu, Kai Yang, Saiyong Yang, Xiangyang Ji

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die probeert een zeer slimme maar onervaren student (een AI) te leren hoe hij complexe puzzels moet oplossen, zoals wiskundeproblemen of het vinden van antwoorden in een enorme bibliotheek. De student leert door dingen uit te proberen, fouten te maken en aan het einde van de poging een simpel "Ja" of "Nee" te krijgen.

Het probleem is dat de leraar een beperkte hoeveelheid tijd (een "budget") heeft om de student te laten oefenen. Als de leraar de student 100 keer dezelfde makkelijke puzzel laat doen, of 100 keer dezelfde onmogelijke puzzel, leert de student niets. Ze moeten puzzels proberen die precies goed zijn — waar ze óf kunnen slagen óf kunnen falen, zodat ze het verschil kunnen leren.

Dit artikel introduceert een nieuwe methode genaamd TRACE om dit probleem op te lossen. Zo werkt het, met behulp van eenvoudige analogieën:

1. Het Probleem: Tijd Verspillen aan "Saai" Paden

In het verleden, wanneer onderzoekers AI aan het trainen waren, kozen ze een puzzel en lieten ze de AI de puzzel van begin tot eind oplossen.

Het Probleem: Als de puzzel te makkelijk is, wint de AI altijd. Als de puzzel te moeilijk is, verliest de AI altijd. In beide gevallen vertelt het "Ja/Nee"-antwoord aan het einde de AI niet waar het misging.
De Oude Manier: Onderzoekers probeerden betere puzzels te kiezen om mee te beginnen, maar zodra de AI begon met oplossen, lieten ze het proces gewoon tot het einde doorlopen. Ze stopten niet om te controleren of de AI halverwege vastliep.

2. De Oplossing: Het "Vertakkende Pad" (TRACE)

TRACE verandert het spel door de poging van de AI niet te zien als een rechte lijn, maar als een boom met veel takken.

Stel je voor dat de AI een berg beklimt om een schat (het juiste antwoord) te vinden.

De Wortels (Het Begin): Eerst kijkt TRACE naar het startpunt (de puzzel). Het voorspelt: "Is deze puzzel waarschijnlijk een mix van succes en falen?" Als het te makkelijk of te moeilijk is, slaat het de puzzel over. Als het een goede "leer-puzzel" is, stuurt het de AI de berg op.
De Takken (Het Midden): Dit is het magische deel. Terwijl de AI de berg beklimt, komt hij bij een splitsing in de weg (een "keerpunt" waar hij een beslissing neemt). TRACE stopt en vraat: "Als de AI dit specifieke pad neemt, leidt dat dan waarschijnlijk tot een overwinning of een verlies?"
- Als het pad eruitziet alsof het zeker tot een overwinning of zeker tot een verlies zal leiden, verspilt TRACE geen tijd aan het verder verkennen ervan.
- Als het pad onzeker lijkt (een 50/50 kans op succes of falen), zegt TRACE: "Laten we meer wandelaars over dit specifieke pad sturen om te zien wat er gebeurt!"

3. De "Glazen Bol" (De Voorspeller)

Hoe weet TRACE welke paden onzeker zijn? Het gebruikt een "Glazen Bol" (een voorspellingsmodel).

Deze Glazen Bol kijkt naar de geschiedenis van de klim tot nu toe (de gedachten en acties die de AI heeft ondernomen).
Het schat de kans op succes in.
Als de Glazen Bol zegt: "Er is hier een kans van 50% op succes," dan is dat de perfecte plek om meer tijd aan te besteden. Het betekent dat de AI zich in een "leerzone" bevindt waar hij een winnend pad kan vergelijken met een verliezend pad.

4. Het Resultaat: Slimmer Leren met Minder Inspanning

Door de beperkte tijd alleen te richten op de "onzekere" delen van de reis, creëert TRACE een rijke kaart van contrasten.

In plaats van alleen te weten "Ik heb gefaald," leert de AI: "Ik heb gefaald omdat ik het linkerpad bij de splitsing nam, maar ik zou geslaagd zijn als ik het rechterpad had genomen."
Dit creëert een veel sterker signaal waar de AI van kan leren, zelfs als de totale hoeveelheid tijd die aan oefenen wordt besteed (het budget) exact hetzelfde is als voorheen.

Samenvattend

Beschouw TRACE als een slimme coach die niet alleen een atleet willekeurig rondjes laat rennen.

Selecteert de juiste race: Het kiest races die uitdagend maar winbaar zijn.
Stopt bij de lastige bochten: Het observeert de atleet tijdens het rennen. Als de atleet een lastige bocht bereikt waar hij kan uitglijden of kan blijven staan, stuurt de coach meer atleten om die exacte bocht te proberen om het verschil te zien tussen uitglijden en op de voeten blijven staan.
Bespaart tijd: Het negeert de makkelijke rechte stukken en de onmogelijke kliffen.

Het artikel laat zien dat door deze methode te gebruiken, AI-modellen (specifiek Qwen3) beter zijn geworden in wiskunde, meerstapsvragen en het gebruiken van tools, terwijl ze precies dezelfde hoeveelheid rekenkracht gebruikten als de oude methoden. Het verandert een vlakke, saaie oefensessie in een dynamische, vertakkende verkenning waarbij elke stap iets nieuws leert.

Technische Samenvatting: TRACE - Een verenigd raamwerk voor de allocatie van rollout-budgetten voor efficiënt agentisch Reinforcement Learning

1. Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een cruciaal mechanisme geworden voor het verbeteren van redeneer- en agentische gedragingen in Large Language Models (LLMs). De standaard RLVR-pipelines kampen echter met aanzienlijke computationele inefficiënties door de hoge kosten van het genereren van lange Chain-of-Thought (CoT) trajecten en geïnterleavde interacties met de omgeving.

De kernuitdaging ligt in beloningscontrast. In scenario's met alleen uitkomstbeloningen (waarbij aan het einde van een rollout een enkele binaire beloning wordt toegekend), zijn de leersignalen vaak schaars en ongelijkmatig:

Prompt-niveau: Te eenvoudige of te complexe prompts genereren een lage variantie in feedback (bijv. alleen maar successen of alleen maar mislukkingen), wat weinig signaal biedt voor beleidsupdates.
Traject-niveau: Het toekennen van een enkele terminale beloning aan een lange, multi-turn rollout maskeert lokale krediettoewijzing (credit assignment). Zonder tussentijdse feedback kan het model niet onderscheiden welke specifieke beurten of beslissingen hebben bijgedragen aan de uiteindelijke uitkomst.

Bestaande methoden proberen dit te verzachten door de rollout-budgetten toe te wijzen aan veelbelovende prompts (promptselectie) of door het aantal rollouts per prompt te verhogen (rollout-count allocatie). Deze benaderingen behandelen rollouts echter als atomaire trajecten. Zodra een prompt is geselecteerd, wordt de gehele rollout lineair gegenereerd, waarbij het potentieel om te vertakken op intermediaire beurten (prefixes) waar de uitkomst onzeker is, wordt genegeerd. Dit resulteert in een "platte" collectie van rollouts die er niet in slaagt de informatiedichtheid binnen een vast sampling-budget te maximaliseren.

2. Methodologie: TRACE

De auteurs stellen TRACE (Tree Rollout Allocation for Contrastive Exploration) voor, een verenigd raamwerk dat de allocatie van rollouts herinterpreteert als een boomstructuur-proces. In plaats van onafhankelijke lineaire trajecten te genereren, wijst TRACE het budget dynamisch toe aan zowel prompt-roots als intermediaire prefixes om de waarschijnlijkheid te maximaliseren dat er gemengde terminale beloningen (zowel succes als falen) worden waargenomen binnen dezelfde conditionele context.

Belangrijke technische componenten:

Boomstructuur-rollouts:
- Het raamwerk modelleert ReAct-stijl interacties (Thought-Action-Observation) als knopen in een boom.
- Roots: De initiële prompt ( $x$ ).
- Prefixes: Intermediaire geschiedenissen ( $H_t$ ) gevormd na $t$ beurten.
- Branching (Vertakking): Bij elke bezochte prefix kan het systeem extra budget toewijzen om "contrafactuele" continuaties te genereren (nieuwe suffixes) die afwijken van de "feitelijke" tak.
Verenigd Allocatie-doel (Mixed-Reward Contrast):
- Het doel is om budget toe te wijzen aan ankers (roots of prefixes) waar de conditionele succeswaarschijnlijkheid ( $V^\pi_t$ ) noch 0, noch 1 is, maar intermediair.
- Theoretische basis: De paper stelt vast dat de verwachte kwadratische variatie van de conditionele succesvoorspelling langs een rollout-suffix gelijk is aan $V^\pi_t(1 - V^\pi_t)$ . Deze waarde vertegenwoordigt het "contrastpotentieel". Het toewijzen van budget aan ankers met een hoog contrastpotentieel maximaliseert de kans op het observeren van zuster-takken met tegengestelde terminale uitkomsten, wat impliciete paargeweerde voorkeurssignalen creëert voor de optimizer.
Tweestaps Allocatieproces:
1. Globale Root Allocatie: Voorafgaand aan de sampling schat een voorspeller de succeswaarschijnlijkheid in voor een pool van kandidaat-prompts. Budget wordt toegewezen aan prompts die waarschijnlijk gemengde uitkomsten opleveren (uitsluitend die met deterministisch succes of falen). Prompts met een voorspelde waarschijnlijkheid nabij 0 of 1 ontvangen nul budget.
2. Lokale Prefix Expansie: Voor actieve prompts identificeert het systeem bezochte niet-terminale prefixes. Het wijst een lokaal budget toe om extra continuaties te generen vanaf deze prefixes. De allocatie geeft prioriteit aan prefixes waar de geobserveerde feitelijke uitkomst verschilt van de voorspelde waarschijnlijkheid (dat wil zeggen, waar een contrafactuele tak waarschijnlijk het resultaat zal omdraaien).
Gedeelde Generaliseerbare Voorspeller:
- Een lichtgewicht voorspeller ( $\tilde{V}_\psi$ ) schat de conditionele succeswaarschijnlijkheid vanaf prefix-geschiedenissen.
- Deze wordt getraind via mean-squared regressie op recursieve targets afgeleid van de verzamelde rollout-trees (bottom-up empirische gemiddelden van terminale beloningen).
- Deze voorspeller stuurt zowel de root-selectie als de prefix-branching beslissingen aan.
Tree-Aware Beleidsoptimalisatie:
- De resulterende boomstructuren bieden impliciete stapsgewijze voorkeursparen (bijv. een succesvolle continuatie versus een mislukte continuatie vanuit dezelfde prefix).
- Deze worden gebruikt om het beleid te updaten, waarbij gebruik wordt gemaakt van groep-relatieve of boom-bewuste gradiëntsignalen die dichter zijn dan standaard outcome-only updates.

3. Belangrijkste Bijdragen

Verenigde Formulering: Dit werk formuleert mixed-reward contrast allocatie als een enkel perspectief op sample-efficiënte RLVR, waarbij promptfiltering, de allocatie van het aantal rollouts en prefix-niveau branching worden verenigd als strategische budgetbeslissingen over rollout-tree ankers.
Theoretische Afleiding: De auteurs leiden allocatie-utiliteiten af op basis van een gedeeld descendant-set objectief, waarbij zij bewijzen dat prefix-niveau informatie de groep-moeilijkheidsgraad voorspelling strikt verbetert en dat het toewijzen van budget aan intermediaire onzekerheid het contrastpotentieel maximaliseert.
TRACE Raamwerk: De instantiatie van dit perspectief in een voorspeller-gestuurd, budgetbeperkt tree-rollout raamwerk dat globale root-allocatie integreert met lokale prefix-expansie, waardoor impliciete kredietsignalen worden versterkt zonder handmatige process-beloningen nodig te hebben.

4. Experimentele Resultaten

De auteurs evalueerden TRACE op drie multi-turn agentische benchmarks: Wiskundig Redeneren (DeepScaler, AIME, etc.), Multi-Hop QA (HotpotQA, 2Wiki, etc.) en Function Calling (BFCL v4), met behulp van Qwen3-8B en Qwen3-14B backbones.

Prestatiewinsten: Onder een gelijk sampling-budget presteerde TRACE consistent beter dan baselines, waaronder standaard GRPO, prompt-selectiemethoden (PCL) en willekeurige boom-gebaseerde methoden (TreePO).
- Voorbeeld: Op Multi-Hop QA verbeterde TRACE de gemiddelde nauwkeurigheid van Qwen3-14B met 2.8 punten ten opzichte van concurrerende baselines.
- Voorbeeld: Op Wiskundig Redeneren verbeterde het de nauwkeurigheid van Qwen3-8B van 70.0% (GRPO) naar 71.1%.
Efficiëntie en Contrast: TRACE verhoogde de Effectieve Ratio (het deel van de prompts/rollouts die zowel succesvolle als falende uitkomsten bevatten) aanzienlijk.
- Op Wiskundig Redeneren met Qwen3-8B steeg de effectieve ratio van 26.8% (GRPO) naar 60.6% (TRACE).
- Dit geeft aan dat TRACE succesvol budget wegstuurt van verzadigde (deterministische) ankers naar contrastrijke regio's.
Ablatie-studies:
- Zowel de root-allocatie als de prefix-expansie stadia droegen onafhankelijk bij aan de prestatiewinsten.
- Het raamwerk toonde robuustheid over verschillende budgetgroottes, waarbij de "vorm" van het budget (breedte van root-dekking versus diepte van continuatie) cruciaal bleek.

5. Betekenis en Claims

Het artikel claimt dat TRACE de agentische RLVR-sampling herformuleert van een vraag over "hoeveel onafhankelijke rollouts te trekken" naar "waar te vertakken binnen de rollout-boom".

Dichtere Leersignalen: Door schaalbare uitkomstbeloningen om te zetten in dichtere mixed-reward contrasten en impliciete stapsgewijze voorkeursparen, versterkt TRACE het beleidsupdate-signaal zonder de computationele kosten te verhogen.
Generaliseerbaarheid: De aanpak vertrouwt op een gedeelde voorspeller voor zowel roots als prefixes, wat aantoont dat prefix-geschiedenissen een leerbaar begrip van lokale onzekerheid dragen die branching-beslissingen kunnen sturen.
Beperkingen: De auteurs merken op dat TRACE primair is ontworpen voor outcome-only RLVR met duidelijke terminale verificatie. Taken die geen duidelijke terminale beloningen missen, vereisen mogelijk een herziening van het contrast-doel. Daarnaast is de huidige implementatie van de voorspeller een vanilla setting, en het ontwikkelen van sterkere voorspellers voor specifieke agentische taken blijft een gebied voor toekomstig onderzoek.

Samenvattend biedt TRACE een systematische methode om de informatieve waarde van een vast rollout-budget in multi-turn agentische RL te maximaliseren door dynamisch boomstructuur-rollouts te construeren die gericht zijn op onzekerheid en het contrast van beloningen maximaliseren.