Technische Samenvatting: Reverse-Turn Policy Optimization (RTPO) voor het Stabiliseren van Agentic RL Training

1. Probleemstelling

Het trainen van multi-turn agentic workflows met Reinforcement Learning (RL) stelt Large Language Models (LLMs) in staat om complexe redeneringen uit te voeren, externe tools te gebruiken en iteratieve zoekprocessen te doorlopen. Bestaande methoden lijden echter onder ernstige instabiliteit naarmate het aantal beurten (turns) toeneemt, wat vaak leidt tot prestatievermindering. Het artikel identificeert drie nauw verbonden bronnen van deze instabiliteit, die een gemeenschappelijke structurele oorsprong delen in geplatte trajectoptimalisatie (flattened trajectory optimization):

1. Mismatch tussen Rollout- en Trainingscontext: In multi-turn settings worden rollouts vaak gegenereerd onder afgekorte of samengevatte contexten (om de contextlengte te beheren), terwijl training de waarschijnlijkheidsratio's opnieuw berekent onder de volledige, geconcateneerde historie. Deze discrepantie vertekent de importance-sampling (IS) ratio's die worden gebruikt bij policy optimalisatie (bijv. PPO, GRPO), waardoor de consistentie tussen de gegenereerde en geoptimaliseerde turn-level contexten wordt doorbroken.
2. Zwakke Credit Assignment op Turn-niveau: Geplatte methoden wijzen een enkel traject-niveau voordeel (advantage) toe aan alle tokens. Dit vertroebelt de specifieke bijdrage van individuele beurten, vooral wanneer terminale beloningen schaars zijn. Het traject-voordeel verstrengelt het werkelijke turn-niveau signaal met upstream effecten van de staat en downstream stochasticiteit, wat potentieel de gradiëntrichting voor specifieke beurten kan omkeren.
3. Asynchrone Policy Drift: In asynchrone training kunnen kortere trajecten de policy updaten terwijl langere trajecten nog steeds worden gegenereerd onder een oudere policy. Wanneer deze langere trajecten uiteindelijk worden geoptimaliseerd, zijn ze off-policy ten opzichte van het huidige model. Standaard token-level clipping in PPO/GRPO kan deze drift over lange horizonten niet getrouw corrigeren, omdat het product van de geclipte ratio's niet gelijk is aan de ware traject-niveau IS-ratio.

2. Methodologie: Reverse-Turn Policy Optimization (RTPO)

RTPO pakt deze problemen aan via een unieke reverse-turn formulering die multi-turn interacties organiseert als ijle bomen (sparse trees) en turn-level policy updates uitvoert in temporele omgekeerde volgorde.

Kerncomponenten:

• Turn-Boundary MDP: De interactie wordt gemodelleerd als een Hiërarchische MDP waarbij de staat op turn $k$ de interactiehistorie $S_k$ is. De policy wordt gefactoriseerd in $K$ turn-level sub-policies $\pi_{\theta, k}$, die elk een conditionele context $c_k$ (die exact overeenkomt met de rollout-context) mappen naar een volledige respons $l_k$.
• Reverse-Order Training: Training verloopt van de laatste turn ($K-1$) terug naar de eerste turn ($0$). Bij het optimaliseren van turn $k$ zijn de downstream policies ($k+1 \dots K-1$) bevroren. Dit zorgt ervoor dat de continuation value die wordt gebruikt voor credit assignment stationair en consistent is met het huidige optimalisatiedoel.
• Sparse Tree Rollouts & State-Matched Siblings: Voor elke turn $k$ creëert RTPO $G-1$ sibling rollouts vanuit de gedeelde boundary state $S_k$. Deze siblings samplen verschillende turn-$k$ acties maar delen dezelfde historie. Dit maakt de schatting van turn-level advantages ($A^H_{j,k}$) mogelijk die causaal consistent zijn, waardoor upstream state contaminatie wordt verwijderd en vergelijkingen worden gemaakt onder gematchte downstream condities.
• On-Policy Continuation: Om asynchrone drift te elimineren, regenereert RTPO sibling continuaties on-policy bij elke reverse stap. Bij het optimaliseren van turn $k$ worden de downstream turns gesampled met behulp van de huidige geüpdatete policy $\pi_{\theta > k}$. Dit zorgt ervoor dat de traject-niveau importance weight identiek één is ($\omega \equiv 1$), waardoor de noodzaak voor onstabiele long-horizon IS-correcties vervalt.

Theoretische Garanties:

Het artikel biedt drie belangrijke stellingen:

1. Convergentie naar Recursieve Optimaliteit: Onder standaard aannames (eindige staat/actie ruimtes, Robbins-Monro stapgroottes), convergeert reverse-order optimalisatie met bevroren downstream policies naar een recursief optimale policy sequentie.
2. Causaal Consistente Advantage Estimatie: De state-matched sibling estimator verwijdert upstream state contaminatie termen die aanwezig zijn in traject-niveau baselines, wat de variantie en bias in credit assignment vermindert.
3. Drift-Vrije On-Policy Continuation: Door continuaties on-policy te regenereren, vermijdt RTPO de exponentiële variantiegroei die geassocieerd wordt met long-horizon importance sampling correcties.

3. Belangrijkste Bijdragen

1. Identificatie van Instabiliteitsbronnen: Het artikel identificeert en analyseert formeel de gekoppelde bronnen van instabiliteit in multi-turn agentic RL: context mismatch, zwakke credit assignment en asynchrone drift.
2. Structurele Diagnose: Het toont aan dat deze problemen een gemeenschappelijke oorsprong hebben in geplatte trajectoptimalisatie en dat bestaande methoden (PPO, GRPO, tree-gebaseerde methoden) de diepere oorzaak niet gezamenlijk aanpakken.
3. RTPO Framework: Stelt een nieuw framework voor dat rollout-training consistentie, turn-level credit assignment en on-policy continuation integreert met theoretische garanties op recursieve optimaliteit en verminderde credit bias.
4. Empirische Validatie: Valideert RTPO op uitgebreide multi-turn agentic RL benchmarks die wiskundige redenering en kennisintensieve zoekopdrachten omvatten.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met Qwen3-8B als backbone over 12 benchmarks, waaronder wiskundige redenering (GSM8K, MATH500, AIME24/25, AMC23, OE-Math) en kennisredenering (HotpotQA, 2Wiki, GAIA, WebWalkerQA, XBench, HLE).

• Prestatiewinst: RTPO presteerde beter dan traject-niveau baselines (GRPO) met 21,50% en turn-niveau baselines (SeeUPO) met 10,76% in algemene nauwkeurigheid.
• Stabiliteit: RTPO behield een stabiele rollout-training consistentie (log-waarschijnlijkheidsratio's nabij 1,0) gedurende de training, terwijl baselines significante drift en herstelpatronen vertoonden.
• Efficiëntie van Toolgebruik:
  • In wiskundige redenering bereikte RTPO een hogere nauwkeurigheid met minder tool calls, wat aangeeft dat het heeft geleerd te vertrouwen op interne redenering en tools alleen te gebruiken voor precieze verificatie, in tegen tegenstelling tot baselines die tools gebruikten voor herhaalde, inefficiënte verificatie.
  • In kennisredenering maakte RTPO effectiever gebruik van meer tool calls om externe bewijslast te integreren, wat aantoont dat het optimalisatie-doel de tool-use strategieën aanpast aan de specifieke aard van de taak in plaats van calls willekeurig te onderdrukken of aan te moedigen.
• Ablatie Studies:
  • Credit Assignment: Door te controleren voor context mismatch, verbeterde de turn-level credit assignment van RTPO alleen al de prestaties aanzienlijk ten opzichte van baselines.
  • On-Policy Continuation: Op long-horizon deep-search taken presteerde de on-policy variant van RTPO aanzienlijk beter dan een off-policy variant die verouderde continuaties hergebruikte, wat de theoretische voordelen bevestigt van het vermijden van policy drift.

5. Betekenis en Claims

Het artikel claimt dat RTPO een principieel framework biedt om multi-turn agentic RL training te stabiliseren door structureel de mismatch tussen rollout en training contexten te elimineren en policy drift te beheersen.

• Theoretische Bijdrage: Het stelt vast dat reverse-order turn-level optimalisatie, gecombineerd met state-matched sibling vergelijkingen en on-policy continuation, recursieve optimaliteit en causaal consistente credit assignment kan bereiken, waarmee de beperkingen van inherente flattened trajectory benaderingen worden aangepakt.
• Praktische Impact: De methode maakt stabielere training mogelijk voor tool-gebruikende agents, met name in long-horizon scenario's waar standaard methoden falen. Het stelt agents in staat om efficiënte tool-use strategieën te leren die zijn afgestemd op de taak (bijv. precieze verificatie voor wiskunde, grondige retrieval voor kennis) zonder te lijden onder de instabiliteit veroorzaakt door context mismatches en asynchrone updates.
• Beperkingen: De auteurs erkennen dat RTPO hogere trainingskosten met zich meebrengt (ongeveer 41% meer GPU-uren) vanwege de noodzaak voor sibling generatie en reverse-order synchronisatie. Ze merken ook op dat de strikte convergentie garanties gelden voor de tabulaire formulering, en dat de neurale implementatie rust op universele benaderingsaannames. Daarnaast kan de prestatie van de methode in de latere stadia van training op kleine, schaarse-belonings datasets verslechteren door over-optimalisatie.

Samenvattend biedt RTPO een verenigde oplossing voor de structurele instabiliteiten van multi-turn agentic RL, waarbij wordt aangetoond dat het aanpakken van de diepere oorzaken van context mismatch en credit assignment via een reverse-turn formulering leidt tot superieure prestaties en stabiliteit.