Technische Samenvatting: ExpRL: Exploratieve RL voor LLM Mid-Training

1. Probleemstelling

Reinforcement Learning (RL) is een standaardmechanisme geworden voor het verbeteren van de redeneerkracht van Large Language Models (LLM's), met name voor taken met ijle binaire beloningen (bijv. de correctheid van het uiteindelijke antwoord). Het succes van ijle (sparse-reward) RL is echter kritisch afhankelijk van de dekking (coverage) van het basismodel: de waarschijnlijkheidsmassa die het model toekent aan productieve redeneerpaden voordat de training begint.

Als een basismodel zelden nuttige tussenstappen of diverse oplossingsstrategieën voor complexe problemen samplet, bieden ijle beloningen onvoldoende leersignalen. Het model kan er niet in slagen om verder te exploreren dan zijn initiële, vaak suboptimale, redeneerpatronen. Huidige mid-training strategieën om dit aan te pakken—zoals Supervised Fine-Tuning (SFT) op gecureerde traces of zelf-distillatie—vereisen vaak handmatige specificatie van vaardigheden of vertrouwen op token-niveau imitatie. Deze benaderingen kunnen de natuurlijke redeneercapaciteiten van het model verstoren of er niet in slagen te generaliseren naar bredere probleemoplossende strategieën die vereist zijn voor complexe combinatorische of wiskundige taken.

De kernuitdaging is het automatiseren van het "primen" van een basismodel om de dekking over productieve redeneerpaden te vergroten (gemeten via $pass@k$) zonder gebruik te maken van imitatie, om zo een sterkere initialisatie te creëren voor daaropvolgende ijle-belonings-RL.

2. Methodologie: Exploratieve RL (ExpRL)

ExpRL is een on-policy RL-gebaseerde mid-training benadering die referentie-oplossingen gebruikt, niet als doelwitten voor imitatie, maar als beloningssteigers (reward scaffolds). De methode werkt op een dataset van complexe problemen $\mathcal{D}_{mid}$ met bijbehorende referentie-oplossingen $y^*$.

Kernontwerpprincipe

In plaats van de referentie-oplossingen aan de policy bloot te stellen als demonstraties (wat de policy zou sturen richting imitatie), verbergt ExpRL de referenties voor de policy. De policy samplet trajecten $y$ uitsluitend vanuit de probleem-prompt $x$. Een LLM-beoordelaar vergelijkt vervolgens het gesamplede traject met de verborgen referentie $y^*$ om dense beloningen toe te kennen. Dit maakt gebruik van de "verificatie-generatie kloof", waarbij LLM's vaak beter zijn in het verifiëren van gedeeltelijke voortgang tegen een referentie dan in het genereren van een correcte oplossing vanuit het niets.

Beloningsmechanismen

ExpRL definieert twee varianten van dense beloningen:

1. ExpRL-Outcome: Kent een dense, gegradeerde score toe aan de volledige rollout op basis van de afstemming met de referentie-oplossing. De beoordelaar evalueert het volledige traject tegen een rubric, en geeft feedback zelfs als het uiteindelijke antwoord onjuist is. Dit beloont gedeeltelijke correctheid en nuttige tussenliggende reducties.
2. ExpRL-Process: Kent dense scores toe aan tussenliggende prefixes van de rollout. Om de credit assignment te verbeteren, berekent de methode segment-niveau advantages $A_t$. Een segment ontvangt een positieve advantage alleen als het de alignment score van de beoordelaar ten opzien van de vorige prefix verbetert ($s_t - s_{t-1}$), wat de policy aanmoedigt om voort te bouwen op tussenliggende progressie en regressie te bestraffen.

Optimalisatie

De policy $\pi_\theta$ wordt geoptimaliseerd met behulp van on-policy RL (GRPO voor outcome rewards, REINFORCE voor process rewards) met een KL-regularisatieterm tegenover de basispolicy $\pi_0$. Het doel is om de verwachte dense beloning te maximaliseren terwijl men binnen een bereikbare KL-ruimte van het basismodel blijft:
$$\max_\theta \mathbb{E}_{(x, y^*) \sim \mathcal{D}_{mid}} \left[ \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [R(x, y, y^*)] - \beta \text{KL}(\pi_\theta(\cdot|x) \| \pi_0(\cdot|x)) \right]$$

Downstream Toepassing

Na de mid-training dient de geprimede policy als de initialisatie voor een standaard Stage-II ijle-belonings-RL fase op een downstream dataset $\mathcal{D}'$. In deze fase wordt alle referentie-informatie verwijderd en wordt het model getraind met enkel binaire eindantwoord-beloningen.

3. Belangrijkste Bijdragen

• Geautomatiseerde Dekkingsopbouw: ExpRL stelt een methode voor om automatisch de dekking van het model over productieve redeneerpaden te verbreden door referentie-oplossingen te gebruiken als beloningssteigers in plaats van imitatie-doelwitten.
• Dense Beloningssteigers: Het introduceert een mechanisme om referentie-oplossingen om te zetten in dense, probleem-specifieke beoordelingsrubrics via een LLM-beoordelaar, wat de versterking van gedeeltelijke progressie en tussenliggende reducties mogelijk maakt die ijle beloningen missen.
• Credit Assignment op Procesniveau: Door gebruik te maken van prefix-gebaseerde scoring en segment-niveau advantages, biedt ExpRL fijnmazige feedback op de kwaliteit van redeneerstappen, wat gedrag zoals decompositie en zelfcorrectie stimuleert.
• Empirische Validatie van Priming: Het werk demonstreert dat ExpRL een superieure initialisatie oplevert voor downstream ijle-belonings-RL vergeleken met SFT, sparse-reward GRPO en zelf-distillatie baselines.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op uitdagende wiskundige redeneertaken (AIME, HMT, IMO-AnswerBench) en uitgebreid naar mixed-domain settings (wetenschap, coderen).

• Downstream Prestaties: Modellen geïnitialiseerd met ExpRL behaalden hogere $pass@1$ en $pass@k$ op held-out benchmarks na Stage-II ijle-belonings-RL vergeleken met alle baselines. Opmerkelijk genoeg behaalde ExpRL-Process op AIME 2026 een nauwkeurigheid van 63,41%, waarmee het de beste baseline (GRPO) met 58,75% versloeg.
• Stage-I Verbeteringen: Zelfs vóór de downstream RL vertoonden ExpRL-geprimede modellen significante verbeteringen in $pass@1$ en $pass@16$ op de mid-training distributie, wat aangeeft dat de methode erin slaagt de set oplosbare problemen die het model kan samplen succesvol uit te breiden.
• Gedragsveranderingen: Analyse van redeneergedrag toonde aan dat ExpRL de frequentie van zoekgeoriënteerd gedrag zoals verificatie, zelfcorrectie en backtracking verhoogt ten opzichte van het basismodel. In contrast hiermee had SFT de neiging om verificatiegedrag te verminderen.
• Mixed-Domain en Judge Schaalbaarheid:
  • ExpRL-Outcome slaagde erin een grotere 8B policy te verbeteren met een kleinere 4B judge over math, science en coding domeinen, wat suggereert dat de judge niet de schaal van de policy hoeft te evenaren als deze referentie-geconditioneerd is.
  • Beperking in Coding: ExpRL liet gemengde resultaten zien op coding taken (LiveCodeBench). Hoewel het de basispolicy verbeterde, bleef execution-based sparse GRPO sterker. De auteurs schrijven dit toe aan het feit dat beloningen voor coderen zwaar leunen op functionele correctheid (executie) in plaats van referentie-oplossing scaffolding, waarbij gedeeltelijke progressie moeilijker te definiëren is via een referentiepad.
• Betrouwbaarheid van Beloningen: Kalibratietests bevestigden dat het dense beloningssignaal afhankelijk is van de aanwezigheid van een correcte, probleem-gematchte referentie. Het verwijderen van de referentie of het gebruik van een foutieve referentie degradeerde het vermogen van de judge aanzienlijk om correcte en incorrecte rollouts te onderscheiden.

5. Betekenis en Claims

Het artikel claimt dat ExpRL de "exploratie-bottleneck" in LLM RL aanpakt door de last van exploratie te verschuiven naar de mid-training fase. Door gedeeltelijke progressie en diverse redeneestrategieën te belonen via referentie-geleide dense beloningen, bouwt ExpRL een sterkere "exploratie-prior" op.

De auteurs stellen dat deze benadering superieur is aan imitatie-gebaseerde mid-training (SFT) omdat het de valkuilen vermijdt van het klonen van traces die het basismodel mogelijk niet natuurlijk genereert, wat kan leiden tot distributieverschuiving en instabiliteit. In plaats daarvan houdt ExpRL de policy op de eigen distributie terwijl het deze naar productieve regio's van de oplossingsruimte leidt.

Het werk positioneert ExpRL als een algemene priming-interface die gecombineerd kan worden met andere exploratiestrategieën (bijv. prefix-guided generation) en suggereert dat de sleutel tot het schalen van RL op harde problemen ligt in het waarborgen dat het basismodel voldoende dekking heeft over productieve redeneerpaden voordat de ijle-belonings optimalisatie begint. Het artikel blijft bescheiden en merkt op dat de methode hulpbronnen (auxiliary) referentiegegevens vereist en dat de effectiviteit varieert per domein (bijv. minder kritiek voor coding waar execution feedback beschikbaar is).