EEPO: Exploration-Enhanced Policy Optimization via Sample-Then-Forget

Probleemstelling: Entropie-inzakking en Uitbuiting in RLVR

Het paper adresseert een fundamenteel probleem in het Reinforcement Learning met Verifieerbare Beloningen (RLVR) voor grote taalmodellen (LLMs), zoals gebruikt in redeneertaken (bijv. wiskunde). Hoewel methoden zoals GRPO (Group Relative Policy Optimization) succesvol zijn, lijden ze onder het klassieke exploitatie-exploratie-dilemma.

• Entropie-inzakking (Entropy Collapse): Tijdens het trainen neigt het beleid (policy) om te veel te focussen op het uitbuiten van hoog-beloonde trajecten. Dit leidt tot een snelle daling van de entropie (onzekerheid), waarbij het model converteert naar deterministisch gedrag.
• Zelfversterkende lus: Zodra het model een "dominante modus" (een veelvoorkomend, correct antwoordpatroon) vindt, samplet het herhaaldelijk deze modus. Omdat deze correcte antwoorden beloning krijgen, wordt deze modus verder versterkt, terwijl alternatieve (potentieel betere) redeneerstrategieën worden onderdrukt.
• Gevolg: Dit resulteert in overfitting op de trainingsverdeling. Hoewel de prestaties op de trainingsdata stijgen, verslechtert de generalisatie op out-of-distribution (OOD) benchmarks (zoals wiskundewedstrijden).
• Beperkingen van bestaande oplossingen: Bestaande methoden om exploratie te vergroten (zoals het verhogen van de sampling-temperatuur of het toevoegen van entropie-regulering) maken de verdeling uniformer, maar breken niet de zelfversterkende lus. De dominante modus blijft het meest waarschijnlijk, zelfs bij meer randomisatie.

Methodologie: EEPO (Exploration-Enhanced Policy Optimization)

De auteurs introduceren EEPO, een raamwerk dat exploratie bevordert door een twee-fase rollout-mechanisme met een adaptief "vergeten" (unlearning) stap. In plaats van alle trajecten te samplen van een statisch model, onderbreekt EEPO het proces om de verdeling actief te veranderen.

Het "Sample-Then-Forget" Mechanisme:

1. Fase 1 (Sampling): Het rollout-model ($\pi_{rollout}$) genereert de helft van de benodigde trajecten ($G/2$).
2. Unlearning (Vergeten): Het model ondergaat een lichte, tijdelijke update om de zojuist gegenereerde trajecten te "vergeten". Dit wordt gedaan door de waarschijnlijkheid van deze specifieke responsen tijdelijk te onderdrukken.
3. Fase 2 (Sampling): Het bijgewerkte model genereert de resterende $G/2$ trajecten. Omdat de dominante modus uit Fase 1 tijdelijk is onderdrukt, is het model gedwongen om andere, minder bezochte gebieden van de output-ruimte te verkennen.

Drie Ontwerpelementen voor Adaptief Unlearning:
Om dit mechanisme effectief en lichtgewicht te maken, worden drie specifieke ontwerkelementen geïntroduceerd:

1. Entropie-geconditioneerde activering: Het unlearning-proces wordt alleen geactiveerd wanneer de entropie onder een bepaalde drempel daalt (indicatie van mode collapse). Als de exploratie gezond is, wordt er niet ingegrepen.
2. Complementaire Unlearning Loss: In plaats van de standaard negatieve log-likelihood (die lage kansen straft), gebruikt EEPO een loss-functie die hoge waarschijnlijkheidstokens zwaarder straft. Dit zorgt ervoor dat de dominante modus specifiek wordt onderdrukt, terwijl zeldzame tokens minder worden beïnvloed.
3. Tijdelijke Single-Step Updates: De unlearning-update is een enkele gradient-stap die alleen op het rollout-model wordt toegepast voor de duur van die iteratie. Het beïnvloedt niet de hoofdbeleidsoptimalisatie ($\pi_\theta$) en wordt niet opgeslagen, waardoor het een tijdelijke, gerichte interventie blijft.

Kernbijdragen

1. Nieuw Paradigma voor Exploratie: EEPO verschuift de focus van "indiscriminate randomisatie" (meer ruis) naar "strategische exploratie" door actief dominant gedrag te onderdrukken tijdens het generatieproces.
2. Doorbreken van de Zelfversterkende Lus: Door het mechanisme van "sample-then-forget" wordt de feedbacklus die leidt tot entropie-inzakking verbroken, waardoor het model gedwongen wordt om alternatieve redeneerpaden te ontdekken.
3. Decoupling van Optimalisatie en Exploratie: Het paper toont aan dat exploratie en beloningsmaximalisatie kunnen worden gescheiden; het rollout-model verkent actief terwijl het hoofd-beleid leert van de verzamelde data.
4. Efficiëntie: De methode introduceert verwaarloosbare rekentijd, aangezien het unlearning slechts één gradient-stap is en geen extra rollouts vereist.

Resultaten

De auteurs evalueren EEPO op vijf wiskundige redeneerbenchmarks (Minerva Math, OlympiadBench, AMC 2023, AIME 2024, AIME 2025) met drie verschillende LLMs (Qwen2.5-3B, Llama3.2-3B-Instruct, Qwen3-8B-Base).

• Prestatieverbetering: EEPO overtreft consistent de standaard GRPO en andere exploratie-methoden (zoals hogere temperatuur, entropie-regulering, DAPO, en meer rollouts).
  • Qwen2.5-3B: +24,3% relatieve verbetering.
  • Llama3.2-3B-Instruct: +33,0% relatieve verbetering.
  • Qwen3-8B-Base: +10,4% relatieve verbetering.
• Generalisatie: EEPO behoudt hoge prestaties op OOD-benchmarks (zoals AMC 2023), waar GRPO en andere methoden vaak falen door overfitting.
• Entropiebehoud: Analyse toont aan dat EEPO een veel hogere entropie behoudt tijdens de training vergeleken met GRPO, wat aantoont dat het model niet in lokale optima terechtkomt.
• Efficiëntie: In tegenstelling tot methoden met hogere temperaturen (die leiden tot langere, inefficiënte redeneerpaden en langere trainingstijden), behoudt EEPO een vergelijkbare trainingstijd met standaard GRPO.

Betekenis en Conclusie

Het paper biedt een robuuste oplossing voor het uitdijende probleem van entropie-inzakking in RLVR voor LLMs. De belangrijkste inzichten zijn:

• Gerichte interventie werkt beter dan willekeur: Het actief onderdrukken van dominante modes tijdens het generatieproces is effectiever dan het simpelweg verhogen van de randomisatie.
• Unlearning als exploratietool: Het hergebruik van "machine unlearning" technieken voor het tijdelijk vergeten van recente samples is een innovatieve manier om de exploratie-capaciteit van een model te vergroten zonder de trainingsstabiliteit te schaden.
• Scalabiliteit: De methode werkt consistent over verschillende modelgroottes (van 3B tot 8B parameters) en modeltypes (base en instruct), wat suggereert dat het een fundamentele verbetering is voor het trainen van redeneermodellen.

Kortom, EEPO transformeert het RLVR-proces van een passief uitbuitingsproces naar een actief exploratief proces, wat leidt tot robuustere en generaliseerbaarder redeneermodellen.