ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning

Technische Samenvatting van ReDiPPO: Referentie-gestuurde Waardecalibratie en Discrepantie-bewuste Token-herweging voor Wiskundig Redeneren

Probleemstelling
Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een dominant paradigma geworden voor het verbeteren van de wiskundige redeneercapaciteiten van Large Language Models (LLM's). In deze setting genereren modellen lange redeneertrajecten, waarbij een automatische verifieerder een binaire uitkomstbeloning toekent op basis van het uiteindelijke antwoord. Hoewel critic-vrije methoden zoals GRPO, DAPO en GSPO de fouten in de waardeschatting vermijden door uniforme respons-niveau voordelen toe te wijzen, missen zij het vermogen om onderscheid te maken tussen correcte en incorrecte tussenliggende redeneerstappen. Daarentegen biedt Proximal Policy Optimization (PPO) het potentieel voor token-niveau credit assignment via een geleerde critic. Echter, in wiskundig redeneren dat wordt gekenmerkt door lange horizonten en schaarse terminale beloningen, worstelen standaard critics met het nauwkeurig evalueren van tussenliggende toestanden. Zonder toegang tot het referentieantwoord tijdens de evaluatie van gedeeltelijke trajecten, produceren standaard critics vaak ruisige advantage-schattingen, wat leidt tot suboptimale policy-updates. Bovendien vertonen bestaande PPO-gebaseerde RLVR-systemen een asymmetrie: terwijl referentieantwoorden de terminale beloning bepalen, blijven zij onbeschikbaar voor de critic die verantwoordelijk is voor de token-niveau credit assignment.

Methodologie: ReDiPPO
De auteurs stellen ReDiPPO (Reference-guided and Discrepancy-aware PPO) voor, een framework ontworpen om de token-niveau credit assignment te verbeteren zonder de inferentie-tijd policy-interface te wijzigen. De methode werkt via twee primaire mechanismen:

1. Referentie-gestuurde Waardecalibratie:
   ReDiPPO maakt gebruik van een dual-critic architectuur tijdens de training.

   • Standaard Critic ($V^{std}$): Evalueert de gedeeltelijke redeneertoestand (prompt + gedeeltelijke respons) zonder toegang tot het referentieantwoord, wat de condities van het policy-model weerspiegelt.
   • Referentie-gestuurde Critic ($V^{ref}$): Conditioneert op de prompt, de gedeeltelijke respons, en het referentieantwoord (verstrekt als een tijdens de training geprivilegieerd signaal). Dit stelt de critic in staat om nauwkeuriger te beoordelen of een gedeeltelijk traject compatibel is met de correcte oplossing.
     De referentie-gestuurde critic levert de baseline voor het berekenen van de advantage van de actor ($\hat{A}^{ref}_t = G - V^{ref}_t$), terwijl de policy zelf alleen op de prompt gebaseerd blijft, waardoor er geen geprivilegieerde informatie in het generatieproces lekt.

2. Discrepantie-bewuste Token-herweging:
   Het framework maakt gebruik van de onenigheid tussen de twee critics als een signaal voor betrouwbaarheid.

   • Discrepantieberekening: Het absolute verschil tussen de referentie-gestuurde en de standaard waardeschattingen ($e_{i,t} = |v^{ref}_{i,t} - v^{std}_{i,t}|$) wordt berekend voor elk token. Een grote discrepantie duidt op een toestand waarin de referentie-blinde critic onzeker is of waarschijnlijk zal erreren.
   • Herweging: De discrepantie wordt genormaliseerd en afgeknipt (clipped) om een token-niveau gewicht ($w_{i,t}$) te produceren. De referentie-gestuurde advantages worden vervolgens geschaald door deze gewichten ($\tilde{A}_{i,t} = \text{Whiten}(w_{i,t} \cdot \hat{A}^{ref}_{i,t})$) voordat ze worden gebruikt in de PPO-objectieffunctie. Dit mechanisme legt de nadruk op updates voor tokens in toestanden waar de referentie-informatie de waardebepaling significant verandert, waardoor ruisige schattingen van de standaard critic effectief worden afgewogen.

Belangrijkste Bijdragen

• Referentie-gestuurde Waardecalibratie: De introductie van een critic die referentieantwoorden gebruikt als geprivilegieerde informatie tijdens de training om een meer informatieve baseline voor token-niveau advantages te construeren, waarmee de moeilijkheid van het evalueren van gedeeltelijke oplossingen onder schaarse beloningen wordt aangepakt.
• Discrepantie-bewuste Token-herweging: Een nieuw mechanisme dat de onenigheid tussen de referentie-gestuurde en de standaard critic omzet in begrensde token-niveau gewichten, waardoor het optimalisatieproces adaptief kan focussen op redeneertoestanden waar de standaard waardeschatting onbetrouwbaar is.
• Empirische Validatie: De methode wordt geëvalueerd over zes wiskundige redeneer-benchmarks (AIME 2024/2025/2026, HMMT 2025, Minerva Math, OlympiadBench) en drie verschillende policy backbones (Qwen3-4B-Instruct, Qwen3-4B-Thinking, en OLMo3-7B-Instruct).

Experimentele Resultaten
ReDiPPO presteert consequent beter dan sterke baselines, inclus_ief critic-vrije methoden (DAPO, GSPO) en vanilla PPO.

• Prestatiewinst: Over alle drie de backbones heen behaalde ReDiPPO de hoogste gemiddelde nauwkeurigheid. Specifiek verbeterde het de vanilla PPO met 1,19 tot 2,37 procentpunt. Zo steeg de gemiddelde score op de Qwen3-4B-Instruct backbone van 53,66 (PPO) naar 56,03 (ReDiPPO).
• Critic Kwaliteit: Analyse van de trainingsdynamiek laat zien dat de referentie-gestuurde critic een significant hogere Path Selection Accuracy (PSA) en Explained Variance (EV) bereikt vergeleken met de standaard critic.
• Discrepantie-analyse: De studie toont een sterke correlatie aan tussen een hoge referentie-standaard discrepantie en moeilijke redeneertrajecten (langere lengtes en lagere nauwkeurigheid). Bovendien zijn de winsten in waardeschatting door referentie-conditionering het meest uitgesproken in de latere stadia van het redeneertraject, wat de token-niveau herwegingsaanpak rechtvaardigt boven een enkele globale moeilijkheidsscore.

Betekenis en Claims
Het artikel claimt dat ReDiPPO de centrale uitdaging van betrouwbare token-niveau credit assignment in langdurig wiskundig redeneren aanpakt door effectief gebruik te maken van referentieantwoorden als geprivilegieerde informatie tijdens de training, zonder de inferentie-mogelijkheden van de policy te compromitteren. De auteurs stellen dat hun aanpak een meer informatieve critic-baseline en een robuust mechanisme biedt voor het identificeren en herwegen van onbetrouwbare credit assignments. Het werk suggereert dat het benutten van referentie-gestuurd waarde-leren een veelbelovende richting is voor PPO-gebaseerde RLVR, met name in domeinen waar uitkomstverificatie mogelijk is maar de evaluatie van tussenliggende stappen ambigu is. De auteurs merken op dat een resterende open vraag is of deze aanpak overdraagbaar is naar domeinen die geen unieke, regel-verifieerbare antwoorden hebben.