Technische Samenvatting: De Mirage van het Optimaliseren van Trainingsbeleid (MIPU)

1. Probleemstelling: Objectieve Misalignement in LLM RL

Reinforcement Learning (RL) is een cruciaal paradigma geworden voor de post-training van Large Language Models (LLMs), met name voor het verbeteren van redeneer- en instructievolgende capaciteiten. Echter, moderne LLM RL-pipelines lijden vaak aan een training-inference mismatch. In de praktijk maken LLM's gebruik van aparte engines voor generatie (inference, bijv. vLLM, SGLang) en gradiëntberekening (training, bijv. FSDP, Megatron). Zelfs met gesynchroniseerde modelparameters zorgen verschillen in precisie (bijv. FP8 versus FP16), decoding-implementaties en serving-backends ervoor dat het trainingsbeleid ($\pi$) en het inference-beleid ($\mu$) verschillende waarschijnlijkheden toekennen aan dezelfde trajecten.

Bestaande werken proberen deze mismatch te mitigeren door sampler-zijde ratio's te corrigeren, instabiele samples te filteren of leersnelheden te verlagen. De auteurs stellen echter dat deze benaderingen de symptomen aanpakken in plaats van de kernoorzaak: objectieve misalignement. Standaard RL-algoritmen optimaliseren het trainingsbeleid ($\pi$), uitgaande van de aanname dat een verbetering in $\pi$ ($J(\pi_{k+1}) - J(\pi_k) \ge 0$) een verbetering in het ingezette inference-beleid ($\mu$) garandeert. Het artikel demonstreert dat onder mismatch-condities deze implicatie niet standhoudt:
$$J(\pi_{k+1}) - J(\pi_k) \ge 0 \nRightarrow J(\mu_{k+1}) - J(\mu_k) \ge 0$$
Consequent kan een gesynchroniseerde update die aan de trainingszijde voordelig lijkt, in werkelijkheid de prestaties van het gebruikte inference-beleid tijdens de inzet verslechteren.

2. Methodologie: Monotonic Inference Policy Update (MIPU)

Om dit aan te pakken, stellen de auteurs een nieuw optimalisatieprincipe voor, Monotonic Inference Policy Improvement (MIPI), dat de focus verschuift van het verbeteren van het trainingsbeleid naar het waarborgen van de monotone verbetering van het inference-beleid ($J(\mu_{k+1}) - J(\mu_k) \ge 0$). Zij realiseren dit principe via een tweestaps-framework genaamd Monotonic Inference Policy Update (MIPU).

De kern van MIPU is de decompositie van de verbetering van het inference-beleid in drie termen:
$$J(\mu_{k+1}) - J(\mu_k) = \underbrace{[J(\mu_{k+1}) - J(\pi_{k+1})]}_{\text{Term 1: Post-update Inference Gap}} + \underbrace{[J(\pi_{k+1}) - J(\pi_k)]}_{\text{Term 2: Training-side Update}} + \underbrace{[J(\pi_k) - J(\mu_k)]}_{\text{Term 3: Pre-update Inference Gap}}$$

Stap 1: Sampler-Referenced Policy Update

Deze stap optimaliseert de gecombineerde termen 2 en 3 ($J(\pi_{k+1}) - J(\mu_k)$).

• Mechanisme: In plaats van het standaard trainingsbeleid $\pi_k$ te gebruiken als referentie voor de surrogaat-objective (zoals in standaard GRPO/PPO), gebruikt MIPU het inference-beleid $\mu_k$ (de sampler) als referentie.
• Implementatie: De auteurs passen een Truncated Importance Sampling (TIS) aanpak toe. Ze berekenen een correctiegewicht $w_i^k = \pi_k(y_i|x) / \mu_k(y_i|x)$ om de pre-update mismatch te compenseren. Om de variantie te beperken, wordt dit gewicht afgekapt (truncated). De clipping-constraint wordt vervolgens alleen toegepast op de huidige update-ratio $r_i(\theta) = \pi_\theta(y_i|x) / \pi_k(y_i|x)$.
• Doel: Dit genereert een kandidaat-trainingsbeleid $\pi_{k+1}$ dat theoretisch is uitgelijnd met de sampler $\mu_k$, waardoor de "halve weg" monotoniciteit $J(\pi_{k+1}) - J(\mu_k) \ge 0$ wordt gegarandeerd.

Stap 2: Inference-Gap-Aware Update Acceptance

Deze stap valideert Term 1 ($J(\mu_{k+1}) - J(\pi_{k+1})$), die de kloof vertegenwoordigt tussen het kandidaat-trainingsbeleid en de gesynchroniseerde inference-realisatie.

• Mechanisme: Nadat $\pi_{k+1}$ is gesynchroniseerd naar de inference-engine om $\mu_{k+1}$ te creëren, evalueert het systeem de post-update inference gap.
• Proxy Estimatie: Omdat de exacte advantage onder $\pi_{k+1}$ niet beschikbaar is, gebruikt MIPU een inverse identiteit om de gap te schatten met behulp van validatie-rollouts van $\mu_{k+1}$. Het berekent een proxy $\hat{T}_{post} = -\mathbb{E}[\rho_i \hat{A}_{\mu_{k+1}}]$, waarbij $\rho_i$ een op lengte genormaliseerd belanggewicht is dat de distributieverschuiving van $\mu_{k+1}$ naar $\pi_{k+1}$ corrigeert.
• Acceptatiecriterium: De update wordt alleen geaccepteerd als $\hat{T}_{post} \ge -c$, waarbij $c$ een tolerantieparameter is. Als de gap te negatief is (wat aangeeft dat het inference-beleid onderpresteert ten opzichte van de trainingskandidaat), wordt de update afgewezen en keert het systeem terug naar het vorige checkpoint.

3. Belangrijkste Bijdragen

1. MIPI-principe: Het artikel identificeert en formaliseert de objectieve misalignement in LLM RL, en stelt dat het optimalisatiedoel de trajecten van het inference-beleid moeten zijn, niet de trainings-surrogaat.
2. MIPU-framework: Een nieuw tweestaps RL-framework dat de kandidaat-constructie (Stap 1) ontkoppelt van de inference-gap validatie (Stap 2). Het maakt flexibele implementatie van sampler-gerelateerde updates en inference-bewuste acceptatie mogelijk.
3. Empirische Validatie: Demonstreert dat MIPU zowel de redeneerprestaties als de trainingsstabiliteit verbetert in scenario's met een hoge mismatch (specifiek FP8-gekwantiseerde rollouts) vergeleken met standaard GRPO en andere stabilisatie-baselines.

4. Experimentele Resultaten

De auteurs evalueerden MIPU op Qwen3-1.7B en Qwen3-4B modellen met behulp van FP8-gekwantiseerde rollouts om een significante training-inference mismatch te induceren. De training werd uitgevoerd op wiskundige redeneerdatasets (DAPO-Math-17, DeepMath-103K) en geëvalueerd op vijf benchmarks (MATH-500, AIME24, AMC23, Minerva, OlympiadBench).

• Prestaties: MIPU behaalde de hoogste gemiddelde nauwkeurigheid over beide model-schalen (66,71% op Qwen3-4B en 53,97% op Qwen3-1.7B), waarmee het baselines zoals standaard GRPO, MIS (mismatch filtering) en LR-decay overtrof.
• Stabiliteit: Terwijl baselines vaak een scherpe prestatiedegeneratie of instorting vertoonden na het bereiken van intermediaire pieken, behield MIPU stabiele trainingsdynamiek gedurende het hele proces.
• Ablatie studies:
  • Alleen Stap 1: Verbeterde de kwaliteit van de kandidaat, maar slaagde er niet in om de accumulatie van mismatch-fouten te voorkomen, wat leidde tot instabiliteit.
  • Alleen Stap 2: Voorkwam instorting door slechte updates af te wijzen, maar kon de prestaties niet verbeteren als de onderliggende baseline-kandidaten bevooroordeeld waren.
  • Volledige MIPU: De combinatie was noodzakelijk; Stap 1 corrigeerde de update-richting, terwijl Stap 2 onbetrouwbare kandidaten filterde, wat resulteerde in zowel een hogere piekprestatie als langetermijnstabiliteit.
• Analyse van Stap 2: De auteurs verifieerden dat het succes van Stap 2 niet louter voortkomt uit het afwijzen van meer updates (een "random rollback" controle faalde ondanks het afwijzen van meer updates). In plaats daarvan komt de effectiviteit voort uit het gebruik van het inference-gap signaal om onderscheid te maken tussen schadelijke en gunstige gesynchroniseerde kandidaten.

5. Betekenis en Claims

Het artikel claimt dat de training-inference mismatch niet enkel gezien moet worden als een laag-niveau systeemverschil dat geminimaliseerd moet worden, maar als een fundamentele verschuiving in het doel van beleidsverbetering. Door de focus te verleggen van het trainingsbeleid naar het inference-beleid, adresseert MIPU de "mirage" waarbij verbeteringen aan de trainingszijde niet vertalen naar winst tijdens de inzet.

De auteurs merken bescheiden op dat hun experimenten momenteel beperkt zijn tot modellen van gemiddelde omvang vanwege computationele beperkingen en dat Stap 2 een flexibele ontwerpruimte vertegenwoordigt in plaats van een vaste implementatie. Zij suggereren dat toekomstig werk efficiëntere estimators voor de post-update gap kan verkennen en deze principes kan toepassen op grotere modellen en diverse RL-systemen. De kernbijdrage is een paradigmaverschuiving: ervoor zorgen dat het beleid dat voor de inzet wordt gebruikt degene is die wordt geoptimaliseerd, in plaats van ervan uit te gaan dat optimalisatie aan de trainingszijde volstaat.