Technische Samenvatting: Gekoppelde Variatieversterkingsleer voor Algemeen Redeneren van Taalmodellen

Probleemstelling

Versterkingsleer met verifieerbare beloningen (RLVR) heeft aanzienlijk succes bewezen in het verbeteren van het redeneren van grote taalmodellen (LLM's), met name in wiskundige domeinen waar regelgebaseerde programma's eindantwoorden kunnen verifiëren. Dit paradigma is echter beperkt door de vereiste van verifieerbare beloningen, wat de toepasbaarheid beperkt tot algemene redeneertaken (bijvoorbeeld scheikunde, open-ended vragen) waar formele verificatie moeilijk of onmogelijk is.

Recente "verifier-vrije" benaderingen proberen dit te omzeilen door de eigen waarschijnlijkheid van het LLM om een correct referentieantwoord te genereren, te gebruiken als beloningssignaal. Hoewel effectief, vertrouwen deze methoden doorgaans op generatie alleen op basis van de vraag, waarbij het model redeneersporen samplet die uitsluitend zijn geconditioneerd op de invoervraag. De auteurs identificeren twee fundamentele beperkingen in dit ontwerp:

1. Lage sample-efficiëntie: Zonder begeleiding worstelt het model om nuttige redeneersporen te genereren voor moeilijke vragen, wat leidt tot inefficiënte verkenning van de redeneerruimte.
2. Incoherentie tussen spoor en antwoord: Het samplen zonder toegang tot het doelantwoord kan leiden tot redeneersporen die logisch correct zijn, maar niet overeenkomen met het specifieke formaat of de representatie van de grondwahrheid, waardoor correct redeneren lage beloningen ontvangt.

Methodologie: Gekoppelde Variatieversterkingsleer (CoVRL)

Het artikel stelt CoVRL voor, een raamwerk dat variatie-inferentie en versterkingsleer combineert om de beperkingen van training alleen op basis van de vraag aan te pakken. De kerninnovatie is de koppeling van prior en posterior distributies via een hybride samplestrategie.

1. Variatieformulering

Het redeneerproces wordt geformuleerd als een probleem met latente variabelen waarbij redeneersporen ($z$) bemiddelen tussen de vraag ($x$) en het antwoord ($y$). Het doel is om de marginale waarschijnlijkheid $p(y|x) = \int p(y|z, x)p(z|x) dz$ te optimaliseren.

• Prior Distributie ($p_\phi(z|x)$): Vertegenwoordigt generatie alleen op basis van de vraag, wat de werkelijke inferentieomstandigheden weerspiegelt waarbij het antwoord onbekend is.
• Posterior Distributie ($q_\psi(z|x, y)$): Vertegenwoordigt antwoodgeleide generatie, waarbij sporen worden gesampled die zijn geconditioneerd op zowel de vraag als het correcte antwoord om coherentie te waarborgen.

Standaardbenaderingen optimaliseren ofwel de prior (inefficiënt) ofwel de posterior (wat een mismatch tussen training en inferentie veroorzaakt). CoVRL introduceert een Composiet Distributie $p'(z|x, y)$ die deze twee koppelt:
$$p'(z_t|z_{<t}, x, y) = \frac{1}{2}p_\phi(z_t|z_{<t}, x) + \frac{1}{2}q_\psi(z_t|z_{<t}, x, y)$$
Deze composiet distributie stelt het model in staat om te leren van antwoodgeleide signalen terwijl het behoudt van uitlijning met inferentie-tijd condities.

2. Hybride Samplestrategie

Direct samplen vanuit de token-niveau composiet distributie is computationeel complex. In plaats daarvan hanteert CoVRL een off-policy hybride samplestrategie:

• Voor elk trainingsvoorbeeld samplet het model willekeurig uit de prior met waarschijnlijkheid $\alpha$ of de posterior met waarschijnlijkheid $1-\alpha$.
• Importance Weighting: Om de doelcomposiet distributie te optimaliseren met behulp van samples uit de hybride distributie, past de methode importance weighting toe op de policy gradient updates.
• Prompt Engineering: De prior en posterior worden geïmplementeerd met een enkel LLM en verschillende prompt-sjablonen:
  • Prior: Vraag $\to$ Redenering $\to$ Antwoord.
  • Posterior: Vraag $\to$ Antwoord $\to$ Redenering (het antwoord verschaffen als context voor de generatie van de redenering).

3. Optimalisatiedoel

Het trainingsdoel maximaliseert de Evidence Lower Bound (ELBO), bestaande uit:

• Reconstructieterm: Moedigt het genereren van sporen aan die leiden tot het correcte antwoord. Dit wordt geoptimaliseerd met Group Relative Policy Optimization (GRPO) met beloningen afgeleid van de eigen antwoordvoorspellingswaarschijnlijkheid van het model (waardoor externe verifiers worden geëlimineerd).
• Regularisatieterm: Een KL-divergentieterm $D_{KL}(p'(z|x, y) \| p_\phi(z|x))$ beperkt de composiet distributie om dicht bij de prior te blijven. Dit zorgt ervoor dat de redeneerpatronen die tijdens training worden geleerd (die mogelijk antwoadgeleiding gebruiken) effectief worden overgedragen naar inferentie (waar geen antwoord beschikbaar is).
• KL-schatting: Het artikel leidt lage-variatie, niet-negatieve KL-schatters af met behulp van Bregman-divergentie-gebaseerde control variates, waarmee de distributiemismatch tussen hybride sampling en de doelcomposiet distributie wordt verwerkt.

Belangrijkste Bijdragen

1. Variatieformulering van Redeneren: De auteurs formuleren redeneeroptimalisatie als een variatie-inferentieprobleem, wat theoretisch prior (vraag-alleen) en posterior (antwoord-geleid) generatiemodi verenigt binnen een hanteerbaar raamwerk.
2. Hybride Samplestrategie: Zij stellen een mechanisme voor dat antwoodgeleide leer (voor efficiëntie en coherentie) afweegt tegen overdraagbaarheid naar inferentietijd (via de prior), waarmee de afweging tussen sample-efficiëntie en spoor-antwoord uitlijning wordt aangepakt.
3. Optimalisatie van Composiet Distributie: Door het construeren en optimaliseren van een composiet distributie, stelt CoVRL efficiënte verkenning in stand terwijl het sterke gedachte-antwoord coherentie behoudt, waardoor de dekkingproblemen van alleen-posterior training worden vermeden.

Experimentele Resultaten

De auteurs evalueerden CoVRL op een uitgebreide reeks benchmarks, waaronder algemeen redeneren (MMLU-Pro, GPQA, TheoremQA) en wiskundig redeneren (AIME'24, MATH-500, enz.), met gebruikmaking van Qwen2.5-7B-Base en Qwen3-modellen.

• Prestatiewinst: CoVRL behaalde een verbetering van 12,4% ten opzichte van het basismodel en een verbetering van 2,3% ten opzichte van de sterkste verifier-vrije RL-baselines (zoals VeriFree, RLPR en LaTRO) gemiddeld.
• Generalisatie: Ondanks dat het voornamelijk op niet-wiskundige vragen was getraind, toonde het model aanzienlijke winsten op wiskundige benchmarks, wat aangeeft dat de geleerde redeneercapaciteiten generaliseerbaar zijn over domeinen.
• Trainingsdynamiek: Experimenten toonden aan dat de posterior distributie effectieve begeleiding biedt voor beloningsverbetering, terwijl de prior distributie gestaag verbetert, wat bevestigt dat de begeleiding overdraagbaar is naar inferentie.
• Ablatiestudies:
  • Sampleverhouding ($\alpha$): Een gebalanceerde sampleverhouding ($\alpha=0,5$) presteerde beter dan extreme instellingen, wat de noodzaak bevestigt om beide distributies te koppelen.
  • Robuustheid: De methode toonde consistente verbeteringen over verschillende modelgroottes (7B tot 14B) en architecturen.
  • Kwaliteit van Redeneren: Menselijke en LLM-as-a-judge evaluaties gaven verbeteringen aan in factualiteit, validiteit, coherentie en bruikbaarheid van intermediaire redeneersporen.

Betekenis en Claims

Het artikel beweert dat CoVRL een principieel raamwerk biedt voor het verbeteren van de algemene redeneercapaciteiten van taalmodellen zonder afhankelijkheid van externe verifiers. Door expliciet prior en posterior distributies te koppelen, overwint de methode de inefficiëntie van vraag-alleen sampling en de inferentiemismatch van antwoodgeleide training.

De auteurs benadrukken dat hun benadering de toegang tot geavanceerde AI-redeneren democratiseert door de afhankelijkheid van robuuste, domeinspecifieke verificatie-engines te verwijderen. Hoewel ze het potentieel voor misbruik erkennen (bijvoorbeeld het genereren van geavanceerde desinformatie), positioneert het werk zichzelf als een stap naar robuustere en generaliseerbaardere redenering in LLM's, met name in domeinen waar formele verificatie momenteel onuitvoerbaar is. De resultaten suggereren dat het ontwikkelen van fundamentele redeneerpatronen via deze gekoppelde variatiebenadering effectiever is dan het optimaliseren voor domeinspecifieke oplossingen.