🤖 machine learning

Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction

Dit artikel identificeert het kritieke probleem van de ontbrekende oude logits in asynchrone agentic RL dat de semantiek van off-policy correctie verstoort, stelt drie exacte strategieën en een benaderingsmethode voor om deze waarden te herstellen of te benaderen, en toont aan dat een herziene PPO-EWMA-benadering zowel de trainingssnelheid als de optimalisatieprestaties aanzienlijk verbetert.

Oorspronkelijke auteurs: Zhong Guan, Yongjian Guo, Haoran Sun, Wen Huang, Shuai Di, Xiong Jun Wu, Likang Wu, Hongke Zhao

Gepubliceerd 2026-05-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhong Guan, Yongjian Guo, Haoran Sun, Wen Huang, Shuai Di, Xiong Jun Wu, Likang Wu, Hongke Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Race met een Vertragingende Trainer

Stel je voor dat je een robot traint om een complex videospel te spelen. Om beter te worden, moet de robot dingen proberen, zien wat er gebeurt, en vervolgens feedback krijgen van een "trainer" (het trainingsalgoritme) over hoe het zijn hersenen moet aanpassen.

In de oude tijden zou de robot een level spelen, stoppen en wachten tot de trainer de replay analyseerde en instructies gaf voordat het weer verder speelde. Dit is Synchrone Leer. Het is veilig, maar traag.

Om het sneller te maken, schakelden onderzoekers over naar Asynchrone Leer. Nu blijft de robot nieuwe levels spelen terwijl de trainer nog steeds de oude analyseert. De robot is altijd in beweging en de trainer werkt altijd door. Dit is veel sneller, maar het creëert een specifiek probleem dat dit artikel oplost.

Het Probleem: De "Ontbrekende Replayband"

In de snelle asynchrone wereld genereert de robot (de "Actor") een lange reeks bewegingen. Omdat de robot echter zo snel beweegt, verdwijnen de "Oude Logits" (de specifieke kansen die de robot op dat exacte moment in zijn hoofd had toen hij een zet deed) vaak voordat de trainer ze kan bekijken.

Denk er als volgt over:

De Robot is een hardloper die sprint over een baan.
De Trainer is een filmbewerker die probeert de loopstijl van de loper te beoordelen.
De Oude Logits zijn de specifieke videobeelden van de voetplaatsing van de loper.

In een perfecte wereld bekijkt de trainer de beelden van de voet van de loper exact zoals ze waren op het moment dat de loper de stap zette. Maar in dit snelle systeem is de loper tegen de tijd dat de trainer de beelden krijgt, al van schoenen veranderd, hebben de schoenen de loopstijl veranderd, en is de originele videoband in de prullenbak gegooid om ruimte te maken voor nieuwe beelden.

De trainer probeert de loopstijl van de loper te corrigeren op basis van een gissing van hoe de voet eruitzag, in plaats van het daadwerkelijke beeld. Dit leidt tot verwarring:

Beweegt de loper anders omdat hij moe is (Veroudering van het Beleid)?
Of beweegt de loper anders omdat het camerahoekje is veranderd (Discrepantie tussen Training en Inference)?

Zonder de originele band kan de trainer het verschil niet zien. Ze proberen misschien een camera-probleem op te lossen terwijl ze de vermoeidheid van de loper moeten aanpakken, of andersom. Dit zorgt ervoor dat de training onstabiel wordt of vertraagt.

De Oplossing van het Artikel: Twee Manieren om de Band Terug te Krijgen

De auteurs stellen twee hoofdwijzen voor om dit probleem van de "Ontbrekende Band" op te lossen.

1. De "Tijdmachine"-Aanpak (Exacte Herstelling)

Deze methode probeert de originele videobanden veilig te bewaren zodat de trainer ze later kan bekijken. Ze stellen drie manieren voor om dit te doen:

Snapshot-tracking: Bewaar een kopie van het brein van de robot bij elke stap. Als de trainer de oude beelden nodig heeft, laden ze die specifieke versie van het brein opnieuw in om de zet opnieuw te berekenen.
- Voordelen: Perfecte nauwkeurigheid.
- Nadelen: Het vereist een enorme hoeveelheid opslagruimte en vertraagt het systeem omdat het opnieuw laden van breinen traag is.
Toegewijde Assistent: Laat een tweede, kleinere robot uitsluitend de oude banden bekijken en de kansen berekenen terwijl de hoofdrobot blijft draaien.
Pauze en Wissel: Pauzeer de loper kort, wissel de uitrusting naar de "oude" versie, bereken de zet, en wissel dan weer terug.
- Voordelen: Geen behoefte om oude breinen op te slaan.
- Nadelen: Het stopt de loper, wat vertraging veroorzaakt.

2. De "Slimme Gissing"-Aanpak (PPO-EWMA)

Omdat het bewaren van alle banden duur is en pauzeren vervelend is, stellen de auteurs een slimme afkorting voor. In plaats van te proberen de exacte oude beelden te vinden, creëren ze een Slim Gemiddelde.

Stel je voor dat de trainer niet de specifieke video heeft van de voet van de loper van 10 seconden geleden. In plaats daarvan kijken ze naar een "gegladde" versie van de recente geschiedenis van de loper. Ze nemen een gewogen gemiddelde van de recente stijlen van de loper om een "Beste Gissing" te maken van hoe de voet eruitzag.

De Truc: Ze gebruiken een speciale wiskundige formule (Exponentieel Gewogen Glijdend Gemiddelde) om ervoor te zorgen dat deze "Beste Gissing" dicht bij de huidige stijl van de loper blijft, maar niet te verouderd raakt.
Het Veiligheidsnet: Als de "Beste Gissing" te ver begint af te wijken van de werkelijkheid (de trainer beseft dat hun gissing slecht is), hebben ze een "Reset"-knop. Ze verversen de gissing direct om te matchen met de huidige staat van de loper, waardoor het instorten van de training wordt voorkomen.

De Resultaten: Snelheid versus Nauwkeurigheid

De auteurs hebben deze methoden getest op verschillende AI-modellen (sommige klein, sommige enorm).

De "Tijdmachine" (Exacte Herstelling): Dit werkte het beste qua pure prestaties, maar het was zeer duur en traag voor het computersysteem.
De "Slimme Gissing" (PPO-EWMA): Dit was de winnaar voor praktisch gebruik. Het vereiste geen opslag van enorme hoeveelheden data of het pauzeren van het systeem. Het presteerde bijna even goed als de perfecte "Tijdmachine"-methode, maar was veel sneller en goedkoper om uit te voeren.

De Conclusie

In de wereld van snelle, asynchrone AI-training breekt het verliezen van de "oude data" (de specifieke kansen uit het verleden) het trainingsproces. Je kunt niet zomaar gissen; je moet het verschil weten tussen de robot die van mening verandert en het computersysteem dat van mening verandert.

Dit artikel toont aan dat je, hoewel je perfecte verslagen van het verleden kunt bijhouden (wat duur is), ook een slim, zelfcorrigerend gemiddelde kunt gebruiken om 90% van de voordelen te halen met 10% van de kosten. Het is als beseffen dat je niet de hele oude film hoeft te bekijken om het plot te begrijpen; je hebt alleen een zeer goede samenvatting nodig die zichzelf bijwerkt naarmate het verhaal vordert.

Technische Samenvatting: Ontbrekende Oude Logits in Asynchrone Agentic RL

Probleemdefinitie
Bij asynchrone versterkende leer (RL) voor Large Language Models (LLMs) is de ontkoppeling van steekproefgeneratie (rollout) van beleidsoptimalisatie essentieel voor het maximaliseren van de doorvoer. Deze architectuur introduceert echter een kritieke faalmodus voor off-policy correctie in de stijl van Proximal Policy Optimization (PPO).

Idealerweise zou de belangrijkheidsratio in PPO moeten worden ontbonden in twee semantisch onderscheiden factoren:

Training-Inferentie Discrepantie ( $r_d$ ): Corrigeert voor numerieke verschillen tussen de inferentie-engine (bijv. vLLM) en de training-engine (bijv. Megatron-LM) bij dezelfde beleidsversie.
Beleidsveroudering ( $r_s$ ): Corrigeert voor de kloof tussen het historische gedragsbeleid dat de tokens genereerde en het huidige beleid dat wordt geoptimaliseerd.

Het artikel identificeert dat in praktische asynchrone pijplijnen, met name die welke gedeeltelijke rollouts en vertraagde updates omvatten, de oude trainingszijde logits ( $\pi_{old}$ ) die nodig zijn om de discrepantieterm $r_d$ te berekenen, vaak ontbreken. Wanneer de actor zijn gewichten updatet voordat de rollout die overeenkomt met een eerdere versie volledig is verwerkt, is de specifieke beleidsversie $\pi_{old}$ die werd gebruikt om die tokens te genereren, mogelijk niet langer beschikbaar.

Dit "ontbrekende-oude-logit"-probleem dwingt bestaande methoden om de ware $\pi_{old}$ te vervangen door benaderingen (bijv. lineaire interpolatie of statische proxies). De auteurs betogen dat deze vervanging het herstellen van discrepanties verstrengelt met correctie voor veroudering, waardoor de beoogde semantische scheiding wordt verbroken. Bijgevolg interageren afsnij- en maskerdrempels op ongewenste wijze, wat leidt tot suboptimale stabiliteit en prestaties van de optimalisatie.

Methodologie
Het artikel stelt een verenigde analyse voor van off-policy correcties onder een "dubbele-beperking"-visie en evalueert twee primaire richtingen voor oplossing:

Exacte Verkrijging van Oude Logits (Systeemniveau):
De auteurs onderzoeken drie strategieën om de grondwaarheid $\pi_{old}$ te herstellen zonder te vertrouwen op benaderingen:
- Versievolging op basis van Momentopnamen: Het behouden van historische parametermomentopnamen en het herladen van de specifieke versie die elke token genereerde. Dit is exact maar veroorzaakt hoge geheugen- en I/O-overhead.
- Gedecideerd Oude-Logit Model: Het onderhouden van een apart modelinstance uitsluitend om oude logits te berekenen terwijl de hoofdactor traint. Dit staat voor rekenoverlap toe maar vereist resourcetoewijzing.
- Synchronisatie via Onderbreking van Gedeeltelijke Rollouts: Het onderbreken van rollout-workers om oude logits voor gedeeltelijke trajecten te berekenen voordat de beleidsversie wordt verwijderd. Dit vermijdt opslagkosten maar introduceert synchronisatiestallingen en overhead voor het opnieuw configureren van resources.
Benaderende Correctie (Algoritmeniveau):
Inzicht hebbend dat exacte herstel vaak te duur is voor grootschalige systemen, stelt het artikel een herziene PPO-EWMA (Exponentially Weighted Moving Average) methode voor.
- In plaats van een statische interpolatieproxy te gebruiken, onderhoudt deze methode een gladgemaakte referentiebeleid ( $\pi_{prox}$ ) dat het centrum van het asynchrone versievenster volgt.
- Verouderingsbewuste Verval: De vervalfactor $\beta$ wordt ingesteld op basis van het verwachte verouderingsvenster ( $W_{stale}$ ) om ervoor te zorgen dat het referentiebeleid overeenkomt met het midden van de versiekloof, in plaats van achter te blijven.
- Automatische Reset: Om te voorkomen dat het referentiebeleid te ver afdrijft en de "Train-Infer Mask" (die tokens met hoge discrepantie filtert) doet instorten, bewaakt het systeem het aandeel actieve tokens. Als dit aandeel onder een drempelwaarde ( $\tau$ ) daalt, wordt het referentiebeleid gereset naar de huidige actorparameters.

Het artikel biedt ook een theoretische analyse (Propositie 1) die aantoont dat op interpolatie gebaseerde proxies (lineair of log-lineair) de ontbrekende referentiebeleidsversie niet echt herstellen; in plaats daarvan herparametriseren ze slechts de effectieve afsnijgrenzen van de totale belangrijkheidsratio.

Belangrijkste Bijdragen

Identificatie van het Ontbrekende-Oude-Logit Probleem: Het artikel definieert formeel de semantische faalmodus in asynchrone Agentic RL waarbij de afwezigheid van $\pi_{old}$ de ontkoppeling van discrepantiehervorming en verouderingscorrectie doorbreekt.
Verenigde Analyse van Off-Policy Correcties: Het formuleert bestaande PPO-varianten binnen een Masked Importance Sampling (MIS)-kader, en verduidelijkt waarom een enkele ratio of drempelwaarde ontoereikend is voor het afhandelen van zowel numerieke discrepanties als beleidsveroudering.
Analyse van Systeemtrade-offs: Het evalueert drie exacte verkrijgingsstrategieën en kwantificeert hun kosten in termen van geheugen, I/O en synchronisatie-overhead.
PPO-EWMA Voorstel: Het introduceert een goedkope, benaderende correctiemethode die de voordelen van ontkoppelde correctie behoudt zonder dure infrastructuurwijzigingen te vereisen.

Experimentele Resultaten
De auteurs evalueerden hun methoden op Agentic RL-benchmarks ( $\tau^2$ -Bench en VitaBench) met behulp van zowel dichte (Qwen3-4B) als Mixture-of-Experts (Qwen3-30B-A3B) modellen.

Prestaties: De PPO-EWMA-methode presteerde consistent beter dan standaard Decoupled PPO en lineaire interpolatieproxies (Linear_prox). Op het 30B MoE-model behaalde PPO-EWMA de hoogste slaagpercentages op de airline-split en deelde de beste resultaten op retail- en telecomtaken.
Vergelijking met Ideaal: Hoewel PPO-EWMA de prestaties van de "Snapshot"-methode (die perfecte toegang tot oude logits veronderstelt) niet volledig evenaarde, behaalde het resultaten die zeer dicht bij het ideale geval lagen, wat suggereert dat een goed afgestemde benaderende referentie het grootste deel van de voordelen van exacte correctie kan herstellen.
Systeemoverhead: Exacte herstelmethoden (Snapshot) veroorzaakten aanzienlijke systeemkosten (bijv. ~178 seconden extra per stap voor het 30B-model door historische forward passes). Daarentegen voegde PPO-EWMA verwaarloosbare overhead toe, waardoor een superieure prestatie-kostverhouding werd geboden.
Ablatiestudies: Experimenten bevestigden dat zonder het automatische resetmechanisme de EWMA-referentie kon afdrijven, waardoor de Train-Infer Mask instortte en training faalde. Het resetmechanisme hercenterde de referentie succesvol en behield stabiliteit.

Betekenis en Claims
Het artikel beweert dat het ontbrekende-oude-logit-probleem een fundamenteel semantisch probleem is in asynchrone LLM RL dat de theoretische garanties van ontkoppelde correctie ondermijnt. De auteurs stellen het volgende:

Exacte herstel is de enige manier om semantisch correcte discrepantiehervorming en verouderingscorrectie te bereiken, maar dit is vaak onbetaalbaar duur.
Benaderende methoden gebaseerd op eenvoudige interpolatie zijn ontoereikend omdat ze het ware referentiebeleid niet herstellen, maar slechts de beperkingsgrenzen verschuiven.
PPO-EWMA biedt een praktische, goedkope alternatief dat de trainingssnelheid en optimalisatieprestaties aanzienlijk verbetert ten opzichte van bestaande asynchrone baselines, waardoor het een haalbare oplossing wordt voor grootschalige Agentic RL-systemen waar exacte logit-herstel niet haalbaar is.

Het werk concludeert dat hoewel PPO-EWMA een benadering is en moeite kan hebben onder extreme non-stationariteit of zeer grote versiekloven, het een belangrijke stap voorwaarts betekent in het stabiliseren van asynchrone training zonder zware infrastructuurwijzigingen te vereisen.