Technische Samenvatting: Leren Redeneren met Efficiëntie via Gedisconteerde Versterkende Leer

Probleemstelling

Grote Redeneermodellen (LRMs) lossen complexe taken (bijv. wiskunde, code) op door tussenliggende redeneertokens uit te zenden voordat een definitief antwoord wordt gegeven. Hoewel post-training met Versterkende Leer (RL) de nauwkeurigheid verbetert, leidt dit vaak tot buitengewoon lange denkketens, wat de rekenkosten, het geheugengebruik (via groeiende KV-caches) en de inferentielatentie opdrijft.

De heersende aanname in het vakgebied is dat langere antwoorden inherent de nauwkeurigheid verbeteren, wat wijst op een afweging tussen antwoordlengte en correctheid. Dit artikel daagt die aanname uit. Het stelt dat tot een regime dat wordt bepaald door de modelklasse en het probleeminstance, er geen inherente afweging bestaat: men kan de antwoordlengte reduceren tot een specifieke, instance-afhankelijke drempelwaarde zonder de nauwkeurigheid te offeren. Het doel is om LRMs te trainen die op effectieve en efficiënte wijze tot correcte antwoorden komen, analoog aan het vinden van de kortste succesvolle trajectorie in een Stochastic Shortest Path (SSP)-probleem.

Methodologie

Theoretisch Kader: Blackwell-Optimaliteit

De auteurs modelleren verifieergedreven redeneren als een Markov-beslissingsproces (MDP) met een eindige horizon en een binaire terminale beloning (1 voor correct, 0 voor incorrect). Om het doel te formaliseren van het maximaliseren van nauwkeurigheid terwijl de padlengte wordt geminimaliseerd, maken zij gebruik van Blackwell-optimaliteit.

• Definitie: Een beleid is Blackwell-optimaal als het optimaal is voor alle disconteringsfactoren $\gamma$ die voldoende dicht bij 1 liggen.
• Mechanisme: In doelgerichte MDP's met binaire terminale beloningen maximaliseert het maximaliseren van de gedisconteerde return $J_\gamma(\pi)$ wanneer $\gamma \to 1$ eerst de kans op succes (nauwkeurigheid). Onder beleidsplannen die de maximale succeskans bereiken, breekt het disconteringsmechanisme gelijke standen door die met kortere verwachte trajectlengtes te prefereren.
• Kerninzicht: Voor een eindige beleidsklasse $\Pi$ bestaat er een kritieke disconteringsfactor $\gamma_{bw} < 1$ zodanig dat voor alle $\gamma \in (\gamma_{bw}, 1)$ de verzameling van $\gamma$-optimale beleidsplannen samenvalt met de verzameling van Blackwell-optimale beleidsplannen. Deze beleidsplannen maximaliseren gelijktijdig de nauwkeurigheid en minimaliseren de verwachte padlengte onder de nauwkeurigheidsmaximalisatoren.

Praktische Trainingsrecept

Geleid door de theoretische resultaten stellen de auteurs een specifieke trainingsmethodologie voor met behulp van Group Relative Policy Optimization (GRPO):

1. Alleen Gedisconteerde Omgevingsbeloning: De disconteringsfactor $\gamma \in (0, 1)$ wordt uitsluitend toegepast op de extrinsieke omgevingsbeloning (correctheid). Intrinsieke beloningen (opmaak, structurele vormgeving) blijven ongedisconteerd om ervoor te zorgen dat het model goed gestructureerde outputs produceert.
2. Maskeren van Redeneertokens: Discontering wordt alleen toegepast op tokens die worden geïdentificeerd als deel van het "redeneerbereik" (bijv. tokens tussen <reasoning> en </reasoning> tags). Tokens die nodig zijn voor prompt-gevolgzaamheid, opmaak en het definitieve antwoord worden niet gedisconteerd.
3. KL-regularisatie: Een KL-boete wordt toegepast tegen een bewegende referentiebeleid (periodiek bijgewerkt) om beleidsinstorting (waarbij het model te vroeg stopt met redeneren) te voorkomen en het leren te stabiliseren.
4. Vergelijkbare Tokenbudgetten: Om een eerlijke vergelijking te waarborgen, wordt het aantal rollouts aangepast zodat het totale aantal verwerkte tokens tijdens de training vergelijkbaar is tussen gedisconteerde en ongedisconteerde methoden.

De te optimaliseren objectieve functie is:
$$\mathbb{E}_{S_1 \sim \mu, \tau \sim \pi(S_1)} [\gamma^{K(\tau)} r_e(\tau) + r_f(\tau)] - \beta \text{KL}(\pi || \pi')$$
Waarbij $K(\tau)$ het aantal redeneertokens is, $r_e$ de omgevingsbeloning en $r_f$ de opmaakbeloning.

Belangrijkste Bijdragen

1. Theoretische Garantie van Geen Afweging: Het artikel bewijst dat binnen elke vaste (mogelijk beperkte) beleidsklasse, Blackwell-optimale beleidsplannen de ongedisconteerde succeskans maximaliseren en, onder die maximalisatoren, de verwachte trajectlengte minimaliseren. Dit stelt vast dat nauwkeurigheid en padlengte niet inherent worden afgewogen tot een instance-afhankelijke drempelwaarde.
2. Bestaan van Blackwell-factor: Voor eindige beleidsklassen bewijzen de auteurs het bestaan van een Blackwell-disconteringsfactor $\gamma_{bw} < 1$. Zij geven grenzen aan hoe dicht $\gamma$ bij 1 moet liggen om de nauwkeurigheid te behouden terwijl antwoorden worden verkort, wat de hyperparameterselectie verduidelijkt voor beperkte implementatieklassen.
3. Empirische Validatie: Met behulp van GRPO met het gedisconteerde doel tonen de auteurs aan dat modellen de gemiddelde antwoordlengte op wiskundebenchmarks (GSM8K, MATH, AMC, AIME, enz.) aanzienlijk kunnen verminderen terwijl ze de Pass@1-nauwkeurigheid van ongedisconteerde baselines behouden.

Experimentele Resultaten

De auteurs evalueerden vier instructie-aangepaste modellen (Qwen2.5 7B/14B, Llama 3 8B, Phi-4) op diverse wiskundedatasets.

• GSM8K & MATH: Gedisconteerde modellen behaalden een Pass@1-nauwkeurigheid die gelijk was aan of lichtelijk hoger was dan die van ongedisconteerde baselines, terwijl het aantal tokens aanzienlijk werd verminderd.
  • Qwen2.5 7B (GSM8K): De nauwkeurigheid bleef stabiel (91,06% vs 91,07%), terwijl de gemiddelde antwoordlengte daalde van 217,60 naar 170,08 tokens (~22% reductie).
  • Llama 3 8B (GSM8K): De nauwkeurigheid verbeterde licht (80,87% vs 81,07%), met een lengtereductie van 125,43 naar 108,67 tokens (~13% reductie).
• Moeilijkere Benchmarks (AMC, AIME, MINERVA, OLYMPIAD): De trend gold voor grotere modellen (Qwen2.5 14B, Phi-4) getraind op DeepScaleR. Gedisconteerde modellen behaalden vergelijkbare of hogere nauwkeurigheid met aanzienlijk kortere sporen (bijv. Phi-4 op AMC 2023: 51,00% $\to$ 61,00% nauwkeurigheid, 1134 $\to$ 716 tokens).
• Sensitiviteit voor Disconteringsfactor: Experimenten met variërende $\gamma$ bevestigden de theoretische afweging: naarmate $\gamma$ verder van 1 af beweegt, worden antwoordlengtes betrouwbaar verkort, maar daalt de nauwkeurigheid uiteindelijk als de discontering te agressief is.

Betekenis en Stellingen

Het artikel claimt een principiële, instance-bewuste mechanisme te bieden voor efficiënt redeneren dat niet afhankelijk is van samengestelde data of prompt-engineering. Door Blackwell-optimaliteit te benutten, herformuleert de aanpak het probleem van "efficiënt redeneren" als een standaard RL-doel met een specifieke disconteringsstrategie.

De auteurs stellen dat hun resultaten:

• De inherente lengte-nauwkeurigheidsafweging weerleggen: Zij tonen aan dat korter redeneren mogelijk is zonder nauwkeurigheidsverlies tot een specifieke drempelwaarde die wordt bepaald door de capaciteit van het model.
• Lengteboetes verenigen: Het werk suggereert dat methoden die kleine per-stap negatieve beloningen gebruiken, in deze setting equivalent zijn aan discontering, wat impliceert dat verschillende bestaande lengteboete-methode dezelfde volgorde van nauwkeurigheid gevolgd door lengte kunnen herstellen wanneer ze correct worden geïmplementeerd.
• Een praktisch recept bieden: De voorgestelde methode vereist geen algoritmische wijzigingen aan standaard beleidsoptimalisatie (zoals GRPO), slechts een aanpassing in de beloningsberekening (discontering van redeneertokens) en het gebruik van een bewegende referentiebeleid.

Het artikel sluit af met de opmerking dat hoewel kortere sporen de efficiëntie verbeteren, de potentie van gecomprimeerd redeneren om generalisatie te verbeteren een open vraag blijft voor toekomstig werk.