Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think

Technische Samenvatting: Off-Policy Learning om te Redeneren Werkt Omdat Het Pessimistischer Is dan Je Denkt

Probleemstelling

Versterkend leren (RL) is een centraal hulpmiddel geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLMs) in taken zoals wiskunde, coderen en meervoudige probleemoplossing. Echter, op de schaal die nodig is voor moderne LLMs, is het trainingsproces inherent off-policy. Vanwege de hoge kosten van het genereren van rollouts, worden trainingsdata vaak geproduceerd door achterblijvende inferentie-workers of oudere modelcheckpoints in plaats van door het beleid dat momenteel wordt geoptimaliseerd.

Bestaande methoden, zoals PPO en GRPO, proberen deze mismatch te hanteren door training als ongeveer on-policy te behandelen, met behulp van belangsgewichten, clipping of filtering om distributieveranderingen te corrigeren. Hoewel deze correcties effectief zijn in bijna on-policy settings, introduceren ze een hoge variantie en kunnen ze de optimalisatie destabiliseren wanneer de beleidsachterstand significant is. Omgekeerd verwijderen recente ratio-vrije benaderingen (bijv. $A^\star$-PO, OAPL) belangsgewichten en trainen ze direct op data van het gedragsbeleid. Hoewel deze methoden empirisch succes tonen, zijn hun theoretische onderbouwingen niet volledig begrepen. Specifiek suggereren de nominale afleidingen van deze doelstellingen een doeldistributie die verschilt van wat praktische implementaties (die vaak temperaturen ontkoppelen voor voordeelberekening en regularisatie) daadwerkelijk bereiken. Het artikel tracht uit te leggen waarom deze ratio-vrije methoden werken en hoe ze verder gestabiliseerd kunnen worden.

Methodologie en Theoretische Analyse

De auteurs analyseren een klasse van ratio-vrije off-policy doelstellingen die de log-ratio van het geleerde beleid regresseren naar een doelvoordeel, zonder gebruik te maken van belangsgewichten. Ze richten zich op doelstellingen van de vorm:
$$\mathbb{E} \left[ \sum_i \left( \hat{A}_i \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} - \frac{\beta}{2} \left( \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} \right)^2 \right) \right]$$
waarbij $\hat{A}_i$ een groepsrelatief voordeel is en $\beta$ een regularisatieparameter.

Kerntheoretisch Inzicht: Lambert-Gematigde Doelen
Door het stationaire punt van deze doelstelling te analyseren, leiden de auteurs af dat het geïnduceerde doelbeleid niet de standaard exponentiële (KL-geregulariseerde) distributie is, maar eerder een Lambert-gematigd beleid:
$$\pi^\star(y|x) = \pi_{old}(y|x) \frac{1}{\tau_s} W_0 \left( \tau_s \exp \left( \frac{A(x,y)}{\beta} \right) \right)$$
waarbij $W_0$ de hoofdvertakking is van de Lambert W-functie, en $\tau_s$ een normalisatievermenigvuldiger is die wordt bepaald door de voordeel-basislijn.

Het gedrag van het doelbeleid hangt kritiek af van het teken en de grootte van $\tau_s$, wat wordt gecontroleerd door hoe het voordeel wordt genormaliseerd:

1. Pessimistisch Regime ($\tau_s > 0$): Het doel is conservatiever dan de exponentiële update. De Lambert-functie groeit logaritmisch voor grote voordelen, wat voorkomt dat het beleid exponentieel te veel inzet op een paar hoogbelonende samples. Dit mitigeert entropie-inzakking.
2. Exponentiële Grens ($\tau_s = 0$): Het doel herstelt de standaard exponentiële kanteling. Dit regime is fragiel; kleine fouten in de voordeel-basislijn kunnen de doelstelling naar instabiele regimes verschuiven.
3. Instabiel Regime ($\tau_s < 0$): Het doel wordt agressiever dan de exponentiële update, versterkt antwoorden met hoge voordelen en verhoogt de vatbaarheid voor entropie-inzakking.

Analyse van Bestaande Methoden (OAPL/$A^\star$-PO)
Het artikel demonstreert dat de nominale voordeel-schatter die in OAPL wordt gebruikt (log-sum-exp gecentreerd voordeel) op populatieniveau een doel in het instabiele regime ($\tau_s \le 0$) induceert vanwege de bias van de ongelijkheid van Jensen bij eindige groepsgroottes. De empirische stabiliteit die wordt waargenomen in OAPL-implementaties wordt toegeschreven aan een heuristische "temperatuur-ontkoppeling" (het gebruik van een hogere temperatuur voor voordeelberekening dan voor regularisatie), wat het voordeel impliciet verschuift naar een conservatiever regime.

Voorgestelde Wijziging
Om stabiliteit te bereiken zonder te vertrouwen op heuristische temperatuur-ontkoppeling, stellen de auteurs een $\beta$-verschoofde gemiddelde voordeel voor:
$$\hat{A}_i = r_i - \bar{r} + \beta$$
Deze eenvoudige verschuiving zorgt ervoor dat de geïnduceerde Lambert-vermenigvuldiger voldoet aan $\tau_s \ge 1$, waardoor het doelbeleid per constructie in het pessimistische Lambert-regime blijft.

Kernbijdragen

1. Karakterisering van Ratio-Vrije Doelstellingen: De auteurs bewijzen dat ratio-vrije off-policy doelstellingen Lambert-gematigde doelbeleidsstrategieën induceren, waarbij de mate van conservatisme wordt gecontroleerd door de voordeel-normalisatie.
2. Verklaring van Stabiliteitsmechanismen: Ze verklaren dat het succes van methoden zoals OAPL berust op impliciet pessimisme dat wordt veroorzaakt door praktische implementatiekeuzes (temperatuur-ontkoppeling), terwijl hun nominale theoretische afleidingen eigenlijk instabiele doelen suggereren.
3. Principiële Stabilisatie: Ze stellen een $\beta$-verschoofde gemiddelde voordeel voor die garandeert dat het doel in het stabiele, pessimistische Lambert-regime ligt, waardoor de noodzaak voor hyperparameter-zware temperatuur-ontkoppeling wordt weggenomen.

Experimentele Resultaten

De auteurs evalueerden hun methode tegen OAPL met het Qwen3-8B-model op de DeepScaleR-dataset, met evaluatie op wiskundebenchmarks (Minerva, AIME2025, AMC23, BRUMO).

• Sensitiviteit voor Regularisatie ($\beta$): Bij kleine regularisatiesterktes (kleine $\beta$) vertoonde OAPL snelle entropie-inzakking en verslechterde beloningen, terwijl de voorgestelde Lambert-methode stabiel bleef en bleef verbeteren.
• Robuustheid voor Beleidsachterstand: Naarmate de beleidsachterstand (oude rollouts) toenam (van 32 tot 256 stappen), werd OAPL zeer gevoelig, waarbij het ofwel entropie-inzakking vertoonde ofwel instabiele entropiegroei. De Lambert-methode behield een hogere entropie en convergeerde naar hogere beloningen over alle achterstandsinstellingen.
• Conclusie: De voorgestelde wijziging verbetert de robuustheid tegen zowel agressieve regularisatie als grote beleidsachterstanden, en valideert de hypothese dat het richten op het pessimistische Lambert-regime off-policy leren stabiliseert.

Betekenis en Claims

Het artikel beweert dat de effectiviteit van off-policy learning in LLM-redeneren niet merely te wijten is aan het negeren van distributiemismatch, maar omdat specifieke voordeel-normalisaties een vorm van impliciet pessimisme induceren. Dit pessimisme voorkomt dat het beleid te veel optimaliseert op verouderde, hoogbelonende samples, wat cruciaal is wanneer rollouts worden gegenereerd door oudere beleidsstrategieën.

De auteurs positioneren hun werk als het verschaffen van een principiële understanding van waarom bepaalde implementatiekeuzes in recente off-policy-algoritmen werken, en gaan voorbij aan "trust-region" heuristieken naar een raamwerk gebaseerd op Lambert-gematigde doelen. Ze betogen dat het expliciet richten op het pessimistische regime via een verschoven-gemiddelde voordeel een stabielere en betrouwbaardere alternatief biedt voor bestaande methoden, met name in de uitdagende setting van grootschalige, asynchrone LLM-training. Het artikel concludeert met de suggestie dat token-level varianten van deze theorie een veelbelovende richting vertegenwoordigen om off-policy redeneeralgoritmen principieler te maken.