Technische Samenvatting: Momentum voor Redeneren: Dichte Intrinsieke Signalen in Beleidsoptimalisatie

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is het dominante paradigma geworden voor het opwekken van langdurige redeneercapaciteiten in Large Language Models (LLMs), waarbij primair gebruik wordt gemaakt van Group Relative Policy Optimization (GRPO). Echter, de afhankelijkheid van binaire uitkomstbeloningen (correct/incorrect) induceert twee structurele faalmodi die de trainingsefficiëntie en de kwaliteit van het redeneren belemmeren:

1. Zero-Advantage Collapse (Nul-voordeel instorting): In een groep rollouts, als alle trajecten hetzelfde resultaat delen (bijv. allemaal correct of allemaal incorrect), wordt het groep-relatieve voordeel nul ($\sigma_R = 0$). Dit resulteert in een verdwijnende gradiënt, waardoor de computationele inspanning van de gehele groep verspild wordt. Dit regime wordt steeds frequenter naarmate de training vordert en prompts ofwel verzadigen (gemakkelijke prompts) of onopgelost blijven (moeilijke prompts).
2. Hallucinated Certainty (Gehallucineerde Zekerheid): In de latere stadia van de training neemt de beleidsentropie van het model zelfs af bij incorrecte rollouts op cruciale beslissingstokens. Het model wordt "zelfverzekerd foutief", wat foutieve redeneerpatronen verstevigt. Binaire beloningen kunnen geen onderscheid maken tussen een zelfverzekerde fout en een aarzelende fout, en falen erdoor om deze specifieke pathologie te bestraffen.

De kernoorzaak van beide modi is dat een binaire uitkomstbeloning aangeeft of een traject succesvol was, maar geen informatie biedt over hoe het tot het antwoord kwam, waardoor het beleid zonder proces-niveau signalen blijft.

Methodologie: ISPO (Intrinsic Signal Policy Optimization)

De auteurs stellen ISPO voor, een beloningsniveau-augmentatie voor GRPO die de ijle uitkomstbeloning verdicht met behulp van twee intrinsieke signalen die volledig worden berekend uit de eigen conditionele waarschijnlijkheden van het beleid. Deze aanpak vereist geen extern beloningsmodel of procesannotatie.

1. Sequentie-niveau Signaal: Conditionele IFD

Om Zero-Advantage Collapse aan te pakken, introduceert ISPO een sequentie-niveau signaal dat meet hoeveel het denkproces ($T$) de uiteindelijke antwoordinformatie ($A$) informeert.

• Definitie: De Conditionele Instruction Following Difficulty (IFD) wordt gedefinieerd als het log-waarschijnlijkheidsverschil tussen het voorspellen van het antwoord met het denkproces versus zonder het:
  $$\text{IFD}_{\text{cond}}(\tau) = \frac{1}{|A|} [\log p_\theta(A|Q, T) - \log p_\theta(A|Q)]$$
• Theoretische Garantie: De auteurs bewijzen dat de verwachte waarde van deze term gelijk is aan de conditionele Kullback-Leibler (KL) divergentie $D_{KL}(p_\theta(\cdot|Q, T) \parallel p_\theta(\cdot|Q))$. Deze identiteit garandeert formeel dat zelfs wanneer de uitkomstbeloning homogeen is ($\sigma_{\text{outcome}}=0$), de variantie van de samengestelde beloning niet-nul blijft ($\sigma_R > 0$) zolang de denkprocessen verschillen, waardoor de gradiënt behouden blijft.

2. Token-niveau Signaal: Directional Shaping

Om Hallucinated Certainty aan te pakken, voegt ISPO een fijnmazige, uitkomst-geconditioneerde beloning toe op token-niveau, beperkt tot een subset van "kritieke tokens".

• Selectie van Kritieke Tokens: Tokens worden geselecteerd via de intersectie van twee filters:
  1. Entropie Filter ($\mathcal{A}$): Selecteert tokens met een hoge lokale onzekerheid (top-$k\%$ entropie).
  2. Drift Filter ($\mathcal{C}_\Delta$): Selecteert tokens waar het huidige beleid significant is afgedreven van het bevroren basisbeleid.
     Deze intersectie isoleert tokens die zowel onzeker als actief gevormd door RL zijn, wat hoog-invloedrijke beslismomenten vertegenwoordigt.
• Directional Reward (Richtinggevende Beloning):
  • Correcte Rollouts: Beloon lage perplexiteit (hoge waarschijnlijkheid) bij kritieke tokens om vloeiende uitvoering te versterken.
  • Incorrecte Rollouts: Beloon hoge entropie. Cruciaal is dat een hinge penalty $\max(0, \tau_H - H_t)$ wordt toegepast op tokens met een lage entropie. Dit bestraft asymmetrisch "zelfverzekerd foutieve" voorspellingen (lage entropie op incorrecte paden) terwijl onzekere incorrecte tokens relatief ongemoeid worden gelaten, wat direct de pathologie van gehallucineerde zekerheid aanpakt.

3. Samengestelde Beloning

De uiteindelijke beloning $R(\tau)$ combineert de binaire uitkomst $R_o$ met de intrinsieke signalen:
$$R(\tau) = R_o + \lambda_1 (2R_o - 1) \text{IFD}_{\text{cond}}(\tau) + \lambda_2 R_{\text{token}}(\tau)$$
De tekenfactor $(2R_o - 1)$ zorgt ervoor dat een sterke afhankelijkheid tussen denken en antwoord wordt beloond bij correcte antwoorden, maar wordt bestraft bij incorrecte antwoorden.

Belangrijkste Bijdragen

1. Formalisering van Faalmodi: Het artikel identificeert en analyseert Zero-Advantage Collapse en Hallucinated Certainty formeel als structurele fouten van binaire uitkomst-RLVR.
2. Ontwerp van Intrinsieke Signalen: Het stelt ISPO voor, dat een sequentie-niveau Conditionele IFD (met een exacte conditionele-KL identiteit) en een token-niveau directionele beloning met een hallucinated-certainty hinge integreert.
3. Theoretische Gradiëntbehoud: Het biedt een propositie die bewijst dat ISPO niet-nul gradiënten behoudt in zero-advantage batches, waardoor training-data die door standaard GRPO wordt weggegooid, effectief wordt "ontsloten".
4. Empirische Superioriteit: Uitgebreide experimenten tonen consistente prestatiewinsten aan over meerdere model-schalen en benchmarks.

Experimentele Resultaten

De auteurs evalueerden ISPO op drie Qwen2.5 base modellen (1.5B, 7B Math, en 7B General) over vijf wiskundige redeneer-benchmarks: AIME24, AIME25, AMC23, MATH-500, en OlympiadBench.

• Prestaties: ISPO presteerde consequent beter dan concurrerende baselines (inclusief Vanilla GRPO, Dr. GRPO, PACR, Scaf-GRPO, en PREPO).
  • Op Qwen2.5-Math-7B behaalde ISPO een Pass@1 van 55,4% (gemiddeld over benchmarks), waarmee het de sterkste baseline (Scaf-GRPO op 51,3%) met 4,1 punten versloeg.
  • De grootste winsten werden waargenomen op de moeilijkste benchmarks (AIME24/AIME25), waar Zero-Advantage Collapse het meest frequent voorkomt. Bijvoorbeeld op AIME24 met het 7B model bereikte ISPO 48,9% vergeleken met 43,3% voor Scaf-GRPO.
• Efficiëntie: ISPO herstelde gradiënten in batches die anders door GRPO zouden worden weggegooid. Terwijl Vanilla GRPO ~24,7% van de rollouts wegwierp vanwege zero advantage, behield ISPO 100% nuttige rollouts met slechts een ~4,4% wall-clock overhead (door één extra forward pass voor de answer-only waarschijnlijkheid).
• Multi-Sample Evaluatie: In pass@32 evaluaties toonde ISPO significante verbeteringen (bijv. +13,7% op AIME24 pass@32 ten opzichte van ProGRPO), wat aangeeft dat de methode erin slaagt de sample-niveau diversiteit te behouden en de ineenstorting naar zelfverzekerd foutieve redeneringen te voorkomen.
• Ablatie-studies: Het verwijderen van ofwel de Conditionele IFD of de directionele token shaping resulteerde in prestatieverlies, wat bevestigt dat beide componenten noodzakelijk zijn. De intersectie van de entropie- en drift-filters bleek superieur aan het gebruik van slechts één van de filters alleen.

Betekenis en Claims

Het artikel claimt dat ISPO de fundamentele beperking van ijle binaire beloningen in RLVR aanpakt door het eigen waarschijnlijkheidsoppervlak van het model te gebruiken als een dichte bron van informatie. De auteurs karakteriseren de dichte intrinsieke signalen als een "momentum voor redeneren" die het leren actief houdt waar uitkomst-gradiënten verdwijnen.

De betekenis van dit werk ligt in het vermogen om:

1. Training te Stabiliseren: Door Zero-Advantage Collapse te voorkomen, zorgt ISPO ervoor dat moeilijke prompts (die vaak resulteren in groepen met enkel foutieve uitkomsten) blijven voorzien van leer-signalen in plaats van te worden weggegooid.
2. Pathologieën te Corrigeren: Door expliciet zelfverzekerde fouten te bestraffen, mitigeert ISPO de "Hallucinated Certainty" faalmodus, wat leidt tot robuustere redeneertrajecten.
3. Orthogonale Integratie: De methode combineert orthogonaal met bestaande optimizer-niveau verfijningen en data-curatie strategieën, wat een generaliseerbare verbetering biedt aan de RLVR-pipeline zonder wijzigingen te vereisen in het proces van de rollout-generatie of externe beloningsmodellen.

De auteurs merken op dat er beperkingen zijn, specifen dat de aanpak momenteel beperkt is tot taken met verifieerbare uitkomsten en voornamelijk is gevalideerd op wiskundige redeneertaken met Qwen2.5 modellen.