Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization

Probleemstelling

De toepassing van versterkingsleer (Reinforcement Learning - RL) op grote taalmodellen (LLMs) heeft geleid tot de opkomst van krachtige redeneermodellen (zoals o1- en R1-achtige modellen). Een veelgebruikte techniek om de exploratie tijdens het trainen te verbeteren, is het toevoegen van entropie-regularisatie (het stimuleren van een hogere onzekerheid in de output).

Er bestaat echter een fundamenteel conflict tussen exploratie (hoge entropie voor nieuwe oplossingen) en exploitatie (lage entropie voor nauwkeurigheid).

• Bestaande methoden die proberen de entropie van het hele model te verhogen, leiden vaak tot een daling in de nauwkeurigheid, vooral bij modellen die al goed presteren (low-entropy LRMs).
• Naïeve entropie-regularisatie kan ervoor zorgen dat de output degradeert tot oncoherente, willekeurige sequenties.
• De kernuitdaging is: hoe kan men de exploratie stimuleren zonder de gevestigde nauwkeurigheid van het model te ondermijnen?

Methodologie: Policy Split

Het paper introduceert Policy Split, een nieuw paradigma dat de policy binnen één enkel model bifurceert (splitst) in twee verschillende modi die samenwerken:

1. Dual-Mode Implementatie:

   • Normale Modus: Geoptimaliseerd voor taaknauwkeurigheid (correctheid). Deze modus wordt getraind zonder specifieke system prompt.
   • Hoge-Entropie Modus: Geoptimaliseerd voor exploratie en creativiteit. Deze modus wordt geïdentificeerd door een specifieke "High Entropy" system prompt (bijv. "Je bent nu in de 'High Entropy' modus. Je primaire opdracht is om een uniek denkproces te verkennen...").
   • Belangrijk: Het paper toont aan dat het simpelweg toevoegen van een prompt niet voldoende is; expliciete training is nodig om deze modus te laten functioneren.

2. Dual-Mode Entropy Regularization:
   De twee modi delen modelparameters maar ondergaan een gespecialiseerde trainingsprocedure:

   • Normale Modus Loss: Gebruikt standaard GRPO-voordelen (advantages) gebaseerd op correctheid.
   • Hoge-Entropie Modus Loss: Voegt extra termen toe aan de voordelenberekening:
     • Een entropie-term om hoge-entropie rollouts te prefereren.
     • Een KL-divergentie-term om te zorgen dat de hoge-entropie modus zich gedraagt anders dan de normale modus (vermijding van mode-collapse).
     • Een clamping-techniek om te voorkomen dat de entropie-term het teken van het signaal verandert, wat stabiliteit garandeert.
   • De totale lossfunctie combineert deze twee, waarbij de rollouts (generaties) van beide modi worden gedeeld. De normale modus leert van de nieuwe, correcte antwoorden gevonden door de hoge-entropie modus, en vice versa.

3. Trainingsframework:
   Het framework (gebaseerd op Share-GRPO) steekt rollouts uit beide modi, berekent de specifieke voordelen voor elke modus, en update de gedeelde parameters. Dit creëert een synergie waarbij de ene modus de andere verrijkt zonder de eigen doelen te vergeten.

Kernbijdragen

• Nieuw RL-Paradigma: Policy Split splitst de policy in twee modi (normaal en hoge entropie) die verschillende optimalisatiedoelen nastreven maar samenwerken via gedeelde rollouts.
• Decoupling van Doelen: Het ontkoppelt de druk voor nauwkeurigheid van de behoefte aan diverse exploratie, waardoor beide doelen kunnen worden bereikt zonder de gebruikelijke trade-off.
• Generaliseerbare Modus-Switching: Het model kan tijdens inferentie worden gestuurd via prompts om te schakelen tussen een precisiemodus en een creatieve modus.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op verschillende modelgroottes (Qwen3-1.7B, 4B en 8B) en taken:

1. Algemene Taken (Wiskunde, Wetenschap, Redeneren):

   • Policy Split presteert consistent beter dan bestaande entropie-gestuurde baselines (zoals GRPO met entropie-regularisatie of entropie-voordelen).
   • Het model behoudt of verbetert de nauwkeurigheid (Accuracy) terwijl het de entropie significant verhoogt.
   • Op grotere modellen (4B en 8B) is de verbetering in zowel nauwkeurigheid als creativiteit het meest opvallend.

2. Creatieve Taken:

   • De hoge-entropie modus van Policy Split behaalde de hoogste scores in creatieve schrijftaken (gemeten via N-gram diversiteit, self-BLEU en beoordeling door LLMs).
   • Het genereert unieke, diverse en creatieve antwoorden die de "Best-of-N" scores aanzienlijk verbeteren.

3. Analyse van Dual-Mode Exploratie:

   • Er is een significante KL-divergentie (gedragsverschil) tussen de twee modi, wat aantoont dat het model echt twee verschillende gedragspatronen heeft aangeleerd.
   • De hoge-entropie modus ontdekt unieke correcte oplossingen die de normale modus niet zou vinden, wat bewijst dat de exploratie effectief is.
   • De modus-switching via prompts generaliseert redelijk goed naar herschreven prompts, hoewel het volgen van "lage entropie" instructies zonder expliciete training nog een uitdaging blijft.

Betekenis en Conclusie

Policy Split biedt een elegante oplossing voor het klassieke dilemma in RL voor taalmodellen: de afweging tussen nauwkeurigheid en diversiteit. In plaats van het hele model te forceren om "anders" te denken (wat vaak leidt tot fouten), creëert het een gespecialiseerde "denker" binnen hetzelfde model.

• Praktische Toepassing: Gebruikers kunnen tijdens inferentie eenvoudig schakelen tussen een modus voor feitelijke nauwkeurigheid en een modus voor creatieve brainstormsessies, zonder extra modellen te hoeven trainen.
• Toekomstperspectief: Het paper suggereert dat toekomstig onderzoek gericht op collaboratieve multi-policy modellering nog meer flexibiliteit en stuurbaarheid voor LLMs kan bieden.

Samenvattend bewijst Policy Split dat het mogelijk is om de exploratiecapaciteiten van LLMs te "herwinnen" en te verbeteren zonder de reeds bestaande redeneerprestaties te offeren.