Technische Samenvatting: Terug naar de Basis: Het Heroverwegen van Exploratie in Reinforcement Learning voor LLM-redeneren via Generatieve Probabiliteiten

1. Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een dominant paradigma geworden voor het verbeteren van redeneren in Large Language Models (LLMs), met name voor het genereren van lange Chain-of-Thought (CoT) paden. Echter, standaard beleidsoptimalisatiemethoden, zoals Group Relative Policy Optimization (GRPO), lijden aan entropie-instorting (entropy collapse) en modus-instorting (mode collapse).

De kern van het probleem ligt bij het objectief van het maximaliseren van de gewogen waarschijnlijkheid van beloningen. Tijdens de optimalisatie versterkt dit objectief disproportioneel de waarschijnlijkheidsmassa van hoog-beloonde (correcte) trajecten. Bijgevolg convergeert het model naar lage-entropie beleidsregels die geldende alternatieve redeneerpaden onderdrukken, wat leidt tot een ernstig gebrek aan outputdiversiteit. Hoewel bestaande oplossingen zoals entropie-regularisatie of dynamische clipping proberen dit te verzachten, blijven ze vaak beperkt tot lokale modificaties binnen het kader van beloningsmaximalisatie en falen ze om de modellering van diverse redeneerpaden fundamenteel te verbeteren.

2. Methodologie: ProGRPO

De auteurs stellen ProGRPO (Probabilistic based GRPO) voor, een nieuw paradigma dat de constructie van de Advantage-functie heroverweegt vanuit het perspectief van generatieve probabiliteiten. De kerninnovatie is een Advantage Re-weighting Mechanism (ARM), ontworpen om het vertrouwensniveau over alle correcte antwoorden te egaliseren.

2.1. Advantage Re-weighting Mechanism (ARM)

In plaats van het beloningssignaal direct te wijzigen (wat de updates zou kunnen verstoren als alle antwoorden in een groep correct of incorrect zijn), past ProGRPO de Advantage ($\tilde{A}_i$) aan door interne modelsignalen te integreren:

• Prompt Vertrouwen ($c_\theta(q_i)$): Het vertrouwen van het model in de input-prompt, berekend als de exponent van de gemiddelde log-waarschijnlijkheid van tokens met een lage waarschijnlijkheid in de prompt.
• Antwoord Vertrouwen ($c_\theta(o_i | q_i)$): Het vertrouwen van het model in het genereren van een specifiek antwoord $o_i$ voor prompt $q_i$, eveneens berekend over tokens met een lage waarschijnlijkheid in de respons.

De hergewogen advantage wordt gedefinieerd als:
$$\tilde{A}_i = A_i + \alpha (c_\theta(q_i) - c_\theta(o_i | q_i))$$
waarbij $A_i$ de standaard GRPO-advantage is en $\alpha$ een weegcoëfficiënt is. Dit mechanisme vormt het beloningssignaal dynamisch om: het dempt gradiënt-updates voor overmoedige redeneerpaden en herverdeelt de waarschijnlijkheidsmassa naar onder-verkende correcte oplossingen.

2.2. Lengte-normalisatie van Tokens met Lage Waarschijnlijkheid

De auteurs observeren dat het toepassen van lengte-normalisatie over een volledige sequentie het beloningssignaal verzwakt met "triviale" tokens met een hoog vertrouwen. Voorspellende onzekerheid is doorgaans geconcentreerd in een klein deel van de generatiestappen (ongeveer 20%).

• Strategie: De methode identificeert een kritieke subset van tokens ($T^{low}$) die de posities vertegenwoordigen met de hoogste voorspellende onzekerheid.
• Implementatie: Vertrouwensscores voor zowel prompts als antwoorden worden uitsluitend berekend over deze informatieve subset, waardoor betekenisvolle variaties behouden blijven die de kwaliteit van het redeneren reflecteren in plaats van oppervlakkige zekerheid.

2.3. Objectieffunctie

De uiteindelijke objectieffunctie integreert deze hergewogen advantages in de standaard GRPO-loss, waarbij gebruik wordt gemaakt van een geclipte surrogaat-objective om de trainingsstabiliteit te waarborgen terwijl diverse exploratie wordt gestimuleerd.

3. Belangrijkste Bijdragen

• Methodologische Innovatie: De introductie van ProGRPO, die GRPO uitbreidt door een vertrouwensbewust Advantage Re-weighting Mechanism (ARM) te incorporeren. Dit maakt gerichte exploratie mogelijk zonder de trainingsstabiliteit in gevaar te brengen.
• Brede Effectiviteit: Validatie over diverse benchmarks (Wiskunde en Code Generatie) met meerdere model-schalen (Qwen2.5-7B/32B, DeepSeek-R1-Distill-Qwen-1.5B/7B). De methode presteert consistent beter dan mainstream baselines zoals GRPO en FlowRL.
• OOD Robuustheid: Demonstratie van superieure Out-of-Distribution (OOD) adaptiviteit, waarbij robuuste prestaties worden behouden op onbekende datadistributies (bijv. GPQA, MMLU-Pro).
• Significante Prestatiewinsten: De methode bereikt een superieur evenwicht tussen exploratie en exploitatie, wat zowel de nauwkeurigheid als de outputdiversiteit aanzienlijk verbetert.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op benchmarks voor wiskundig redeneren (AIME, AMC, MATH, OlympiadBench) en code generatie (LiveCodeBench, CodeForces, HumanEval+).

• Wiskundig Redeneren:
  • Op Qwen2.5-7B presteert ProGRPO 5,7% beter dan GRPO in Pass@1 en 13,9% in Pass@32.
  • Op Qwen2.5-32B verbetert het de Pass@1 met 4,8% ten opzichte van GRPO.
  • Op DeepSeek-R1-Distill-Qwen-1.5B verbeterde Pass@1 van 49,4% (GRPO) naar 58,3% (ProGRPO).
• Code Generatie:
  • Op CodeForces behaalde ProGRPO een rating van 1422.49, wat bijna +180 punten hoger is dan GRPO en +293 punten hoger dan FlowRL.
  • Op HumanEval+ behaalde het een Avg@16 score van 84,01%, de beste onder de vergeleken methoden.
• Diversiteit en Entropie:
  • Analyse van de trainingsentropie laat zien dat terwijl GRPO leidt tot entropie-instorting, ProGRPO een stabiele stijging in entropie vertoont, wat duidt op aanhoudende exploratie.
  • Diversiteitsmetrieken (Self-BLEU, Semantic Cosine) op AIME 2024 tonen aanzienlijk minder redundantie in ProGRPO-outputs vergeleken met GRPO, wat de generatie van structureel diverse redeneerpaden bevestigt.
• Ablatie-studies:
  • De hyperparameter $\alpha$ (weegcoëfficiënt) bleek cruciaal. Een $\alpha$ van 0,3 bood de optimale balans tussen prestaties en stabiliteit. Waarden van 0 (pure GRPO) leverden zwakkere resultaten op, terwijl hogere waarden (0,7, 1,0) de prestaties verslechterden door een te sterke nadruk op vertrouwenssignalen.

5. Betekenis en Claims

Het artikel claimt dat ProGRPO de fundamentele Exploratie-Exploitatie afweging in LLM-redeneertaken aanpakt. Door de focus te verschuiven van eenvoudige beloningsmaximalisatie naar het balanceren van generatieve probabiliteiten en vertrouwen, zorgt de methode voor:

1. Mitigatie van Entropie-instorting: Voorkomt dat het model convergeert naar één dominant redeneepad.
2. Verbeterde Diversiteit: Genereert een breder scala aan geldige redeneerketens, aangetoond door significante winsten in Pass@k metrieken (waar $k > 1$).
3. Verbeterde Generalisatie: Handhaaft robuuste prestaties op OOD-datasets, wat suggereert dat de geleerde redeneercapaciteiten meer overdraagbaar zijn.

De auteurs positioneren dit werk als een "terug naar de basis" benadering, waarbij de probabilistische aard van LLM-generatie opnieuw wordt onderzocht om de beperkingen van huidige RLVR-paradigma's op te lossen, wat de weg vrijmaakt voor stabielere en meer exploratieve reinforcement learning in redeneermodellen.