Technische Samenvatting: Hoe Je Begint, Zo Redeneer Je: Exploration in RLVR Aandrijven via Prefix-Geschoolde Priors

1. Probleemstelling

Versterkt Leren met Verifieerbare Beloningen (RLVR) is een krachtig paradigma geworden voor het verbeteren van de redeneervermogens van Large Language Models (LLM) bij taken zoals het oplossen van wiskundige problemen en het bewijzen van stellingen. De auteurs identificeren echter een kritieke beperking in huidige RLVR-benaderingen: entropie-instorting.

Hoewel RLVR vaak de nauwkeurigheid van een enkele uitvoering (Pass@1) verbetert, faalt het er vaak in om de dekking van succesvolle redeneertrajecten uit te breiden. Dit manifesteert zich als een afname in outputdiversiteit, waarbij het model convergeert naar een smal scala aan redeneerpaden. Bestaande exploratietechnieken, zoals entropieregulering of intrinsieke beloningen, behandelen de verdeling van het basismodel vaak als vast en proberen het RL-doel of de bemonsteringsprocedure te wijzigen. Het artikel betoogt dat deze methoden ontoereikend zijn omdat RL sterk wordt gevormd door de priorverdeling van het basismodel. Bovendien leiden passieve exploratietechnieken vaak tot een verslechtering van de gegenereerde kwaliteit, wat resulteert in ruisachtige uitvoeringen die niet bijdragen aan effectief redeneren.

De kernuitdaging is om effectieve exploratie aan te moedigen – het ontdekken van diverse, taakrelevante en hoogwaardige redeneergedragingen – zonder het beleid te laten instorten naar redundante of laagwaardige trajecten, en zonder de rekenkosten van het updaten van de volledige modelparameters.

2. Methodologie: IMAX-raamwerk

De auteurs stellen Information-Maximizing Augmented eXploration (IMAX) voor, een lichtgewicht raamwerk dat het optimalisatiedoel verschuift van de LLM-parameters naar soft prompt tuning. In plaats van het RL-proces bovenop een vaste prior te wijzigen, leert IMAX een pool van soft prefixes die actief de prior van het model over redeneertrajecten herschikken.

2.1 Prefix-geconditioneerd Redeneren

Het kernmechanisme omvat een pool van $C$ soft prefixes (continue virtuele tokens) $\mathcal{E} = \{e_1, \dots, e_C\}$. Voor een gegeven inputprompt $x$ wordt een prefix $e_z$ voorafgeplaatst aan de input-embeddingreeks. Het backbone-LLM blijft bevroren, en het beleid $\pi_E(y|x, z)$ is geconditioneerd op zowel de prompt als de geselecteerde prefixidentiteit $z$.

• Initialisatie: Prefixen worden geïnitieerd vanuit een pool van semantisch betekenisvolle tekstprompts (bijv. "Introduceer variabelen expliciet", "Partitioneer in gevallen") die zijn gegenereerd door een externe LLM. Dit zorgt ervoor dat de prefixen starten met distincte redeneerstrategieën.
• Controle: Elke prefix fungeert als een "regelaar", wat leidt tot een distincte uitvoeringsverdeling en het model stuurt naar verschillende regio's van zijn redeneerruimte (bijv. algebraïsch versus diagrammatisch versus code-achtige oplossingen).

2.2 Informatie-Maximerende (InfoMax) Beloning

Om te voorkomen dat de geleerde pool van prefixen instort naar redundante besturingen (waarbij verschillende prefixen identieke trajecten induceren), introduceren de auteurs een InfoMax-beloning. Het doel is om de wederzijdse informatie (MI) tussen de prefixidentiteit $Z$ en het gegenereerde traject $Y$ te maximaliseren, geconditioneerd op de prompt $X$:
$$I(Z; Y | X) = H(Y | X) - H(Y | X, Z)$$
Intuïtief moedigt dit verschillende prefixen aan om onderscheidbare, geldige redeneergedragingen te produceren voor dezelfde vraag.

2.3 Variationale Ondergrens en Training

Het direct berekenen van de wederzijdse informatie is onuitvoerbaar. De auteurs leiden een variationele ondergrens af met behulp van een variationele posterior $q_\phi(z | x, y)$, een lichtgewicht classifier die is getraind om te voorspellen welke prefix een specifieke respons $y$ heeft gegenereerd, gegeven prompt $x$.

• Omgekeerde Vorm: Zij maken gebruik van de omgekeerde decompositie van MI: $I(Z; Y | X) = H(Z | X) - H(Z | X, Y)$.
• Beloningsformulering: De InfoMax-beloning wordt gedefinieerd als $\log q_\phi(z | x, y)$. Het totale doel voor de pool van prefixen wordt:
  $$\max_E \mathbb{E} [R(x, y) + \beta \log q_\phi(z | x, y)]$$
  waarbij $R(x, y)$ de standaard verifieerbare beloning (juistheid) is en $\beta$ een hyperparameter is.

2.4 Alternerende Optimalisatie

Het trainingsproces volgt een schema voor alternerende optimalisatie (Coordinate Ascent Variational Inference):

1. Update Posterior ($q_\phi$): Met de pool van prefixen vast, update de classifier $q_\phi$ om de prefixidentiteit te voorspellen uit het prompt-respons-paar (gegenereerd zonder de soft prefix om informatielekken te voorkomen).
2. Update Pool van Prefixen ($E$): Met $q_\phi$ vast, update de soft prefixen met behulp van een Group Relative Policy Optimization (GRPO)-algoritme verrijkt met de InfoMax-beloning.
3. Gestratificeerde Bemonstering: Tijdens training wordt elke prompt gekoppeld aan distincte prefixidentiteiten om een uniforme dekking van de prefixruimte binnen elke GRPO-groep te waarborgen.

3. Belangrijkste Bijdragen

1. Lichtgewicht RLVR-paradigma: Het artikel introduceert een methode om redeneren te verbeteren door het optimaliseren van een pool van soft prompts in plaats van volledige modelparameters. Dit herschikt de conditionele generatieverdeling van een bevroren model zonder de rekenkosten van volledige fine-tuning.
2. InfoMax-beloning voor Diversiteit: De auteurs stellen een responsniveau-InfoMax-beloning voor die expliciet aanmoedigt dat verschillende prefixen onderscheidbare, taakrelevante redeneertrajecten induceren, waardoor het instorten van de pool van prefixen naar redundante besturingen wordt voorkomen.
3. Empirische Validatie: Uitgebreide experimenten op benchmarks voor wiskundig redeneren (GSM8K, MATH-500, Minerva, AMC) over drie modelschalen (Qwen2.5-1.5B, Qwen3-4B, Qwen3-8B) tonen aan dat IMAX zowel de kwaliteit als de diversiteit van het redeneren verbetert.

4. Experimentele Resultaten

De auteurs hebben IMAX geëvalueerd tegen verschillende baselines, waaronder full-policy GRPO, initialisatie met tekstprompts en andere op diversiteit gerichte RLVR-methoden (DIVER, MERCI).

• Prestatiewinsten: IMAX presteerde consequent beter dan standaard RLVR-baselines met prefix-tuning.
  • Op Qwen3-4B verbeterde IMAX Pass@4 met maximaal 11,60% en Avg@4 met 10,57% ten opzichte van standaard baselines op specifieke benchmarks.
  • Op Qwen3-8B toonde DAPO+IMAX significante verbeteringen ten opzichte van DAPO-prefix op GSM8K, MATH-500 en Minerva.
• Diversiteit en Dekking:
  • t-SNE-analyse: Visualisaties van respons-embeddings toonden aan dat door IMAX geïnduceerde prefixen resulteerden in meer gescheiden clusters in vergelijking met andere methoden, wat wijst op sterkere diversiteit binnen de groep.
  • Redeneercomponenten: Heatmaps onthulden dat verschillende prefixen succesvol distincte redeneerpatronen induceerden (bijv. Prefix 1 die algebraïsche manipulatie bevoordeelt, Prefix 2 die partitionering in gevallen en verificatie bevoordeelt), in lijn met hun semantische initialisatie.
  • Oracle-prestaties: De gecombineerde prestaties van meerdere prefixen (Oracle) overtroffen de beste enkele prefix, wat bevestigt dat de prefixen complementaire succesvolle regio's van de probleemruimte bestrijken.
• Efficiëntie: IMAX vereist aanzienlijk minder trainingskosten (3,0x–6,0x minder GPU-uren) in vergelijking met full-parameter GRPO, aangezien alleen de lichtgewicht prefix-embeddings en de classifier-head worden bijgewerkt.

5. Betekenis en Claims

Het artikel beweert dat hoe een model een redeneerproces begint (de prior) fundamenteel bepaalt hoe het redeneert. Door soft prompts te behandelen als herbruikbare besturingsvariabelen, biedt IMAX een schaalbare oplossing voor het exploratieprobleem in RLVR.

• Algoritme-onafhankelijk: Het raamwerk is ontworpen om naadloos te worden geïntegreerd in bestaande RLVR-pijplijnen (bijv. GRPO, DAPO).
• Gestructureerde Diversiteit: In tegenstelling tot methoden die simpelweg de randomiteit verhogen, moedigt IMAX gestructureerde redeneerdiversiteit aan, waarbij wordt gewaarborgd dat de exploratie leidt tot semantisch distincte en hoogwaardige paden.
• Beperkte Beperkingen: De auteurs erkennen dat de methode primair is ontworpen voor redeneertaken, met beperkte winsten op algemene taken voor instructievolging. Bovendien hangt de effectiviteit af van de kwaliteit van de initiële tekstprompts, wat handmatig ontwerp of herafstemming over domeinen heen kan vereisen. De geleerde prefixen introduceren ook een aanhoudende, zij het kleine, overhead tijdens inferentie.

Kortom, IMAX demonstreert dat het optimaliseren van het "begin" van het generatieproces via soft prefixen een zeer effectieve strategie is voor het aandrijven van exploratie en het verbeteren van redeneervermogens in LLM's, en biedt een rekenkundig efficiënt alternatief voor full-policy versterkt leren.