Technische Samenvatting: RREDCoT – Segment-niveau Beloningsherverdeling voor Redeneermodellen

Probleemstelling

Recente vooruitgang in redeneermodellen voor taal berust zwaar op Reinforcement Learning (RL) fine-tuning, met name op het gebruik van het Group Relative Policy Optimization (GRPO) algoritme in combinatie met het Reinforcement Learning with Verifiable Rewards (RLVR) paradigma. In deze setting genereren modellen een Chain-of-Thought (CoT) spoor voordat ze een definitief antwoord produceren. Er bestaat echter een kritieke bottleneck: het beloningssignaal wordt doorgaans pas toegewezen nadat het volledige CoT-spoor is voltooid en het uiteindelijke antwoord is geverifieerd. Dit creëert een vertraagd beloningsprobleem.

Standaardbenaderingen zoals GRPO komen overeen met Monte Carlo-methoden in RL, die lijden onder een hoge variantie omdat de beloning uniform over het gehele traject wordt verdeeld, waardoor er geen directe supervisie is voor individuele redeneerstappen. Hoewel Monte Carlo Sampling (MCS) tussenliggende staatswaarden kan schatten, vereist het genereren van meerdere voltooiingen voor elk segment, wat leidt tot een verbijsterende computationele overhead voor fijnmazige credit assignment in lange contexten. Bestaande alternatieven, zoals het gebruik van judge-modellen voor stap-voor-stap analyse of het extraheren van intermediaire utiliteit uit modelstatistieken, introduceren vaak ruis of vereisen extra computationele middelen.

Methodologie: RREDCoT

De auteurs stellen RREDCoT (Reward REDistribution for Chain of Thoughts) voor, een methode die de principes van het RUDDER-algoritme aanpast aan de specifieke structuur van CoT-generatie. Het kerndoel is om de uiteindelijke beloning te herverdelen naar de intermediaire segmenten van het CoT-spoor om dichtere leersignalen te bieden zonder dat daar extra modellen of extra generatiestappen voor nodig zijn.

1. MDP-formulering

Het CoT-generatieproces wordt gemodelleerd als een Markov Decision Process (MDP), waarbij de staat $s_t$ bestaat uit de oorspronkelijke query en de sequentie van gegenereerde segmenten tot $t-1$. De actieruimte is gepartitioneerd in:

• $Y$ (Antwoord): Acties die de finale output triggeren.
• $U$ (Continuatie): Acties die verdere CoT-segmenten genereren.
  De directe beloning voor het genereren van een gedachte is nul; de beloning wordt pas gerealiseerd bij het generen van een correct definitief antwoord.

2. Optimale Beloningsherverdeling

RREDCoT afleiden een optimale beloningsherverdeling $\sigma$ gebaseerd op het verschil in verwachte rendementen tussen opeenvolgende staten. De methode maakt gebruik van het genererende taalmodel zelf om de waardefunctie te benaderen, waardoor de noodzaak voor een hulp-LSTM (zoals gebruikt in de originele RUDDER) of uitgebreide sampling wordt vermeden.

De herverdeling wordt berekend als:
$$\sigma_t \propto \hat{R}_{t+1} - \hat{R}_t + \hat{v}_{t+1} - \hat{v}_t$$
Waarbij:

• $\hat{R}_t$ de schatting van de directe beloning is (de waarschijnlijkheid van het referentie-antwoord gegeven het huidige spoor).
• $\hat{v}_t$ de geschatte waarde van de staat is (de verwachte utiliteit van toekomstige voltooiingen).

Om deze waarden efficiënt te schatten, gebruiken de auteurs een Probability Reward (PR) estimator via importance sampling over een set referentie-oplossingspaden ($Y^\star, U^\star$). Dit stelt het model in staat om te fungeren als een dynamische functie (wereldmodel) om de waarschijnlijkheid te schatten van het bereiken van een staat met een hoge utiliteit vanuit het huidige segment.

3. Hybride Segmentatiestrategie

Om credit assignment beheersbaar te maken, introduceert RREDCoT een hybride keyword-entropie segmentatiestrategie:

1. Initiële Splitsing: Het spoor wordt gesplitst door generieke keywords (bijv. nieuwe regels).
2. Iteratieve Samenvoeging: Aaneengesloten segmenten met de laagste gecombineerde entropie worden samengevoegd totdat een doel aantal segmenten is bereikt.
3. Ratio: Tokens met een hoge entropie vertegenwoordigen punten van hoge pluraliteit (beslismomenten) en dienen als natuurlijke "exitpunten" voor het schatten van directe bijdragen. Deze strategie zorgt ervoor dat segmenten zo ontkoppeld mogelijk zijn, wat de bias in de waardefunctie-schatting minimaliseert.

4. Integratie met RL-objectieven

De herverdeelde beloningen worden geïntegreerd in het standaard policy gradient objectief. De methode waarborgt return-equivalence, wat betekent dat de som van de herverdeelde beloningen gelijk is aan het oorspronkelijke episode-rendement, waardoor de optimale policy behouden blijft terwijl de convergentie wordt versneld.

Belangrijkste Bijdragen

1. RREDCoT Algoritme: Een hanteerbaar algoritme voor credit assignment en beloningsherverdeling voor CoT-sporen dat geen extra modellen of extra generatiestappen vereist, door het genererende model zelf te gebruiken voor waardeschatting.
2. Entropie-gebaseerde Segmentatie: Een nieuwe segmentatiestrategie die op RREDCoT is afgestemd, die een balans vindt tussen keyword-gebaseerde splitsing en entropie-gestuurde samenvoeging om de schatting van intermediaire bijdragen te optimaliseren.
3. Theoretische en Empirische Analyse: Een gedetailleerde analyse die de voorgestelde estimator vergelijkt met Monte Carlo sampling en diverse attributiemethoden (zoals Shapley-waarden en Leave-One-Out), waarbij wordt aangetoond dat attributiemethoden die niet geconditioneerd zijn op correcte oplossingen andere aspecten van generatie vastleggen dan beloningsherverdeling.

Experimentele Resultaten

De auteurs hebben RREDCoT geëvalueerd op verschillende benchmarks, waaronder de AIME, MATH en Minerva datasets.

• Prestaties bij Lange Contexten: Op de Numina-CoT dataset met generatielengtes tot 25k tokens vertoonde RREDCoT een superieur prestatieverloop vergeleken met standaard GRPO. Bijvoorbeeld, op het Qwen3-4B Instruct model behaalde RREDCoT een AIME24-score van 0,908 vergeleken met 0,850 voor GRPO.
• Kleine Schaal Verfijning: Bij toepassing op kleine redeneermodellen (1,5 miljard parameters) voor online verfijning, toonde RREDCoT competitieve of superieure resultaten vergeleken met modellen die getuned zijn met GRPO en hyperparameter tuning, met name op de AMC23 en MATH500 benchmarks.
• Variantie en Bias: De studie toonde aan dat hoewel afgekapte Monte Carlo sampling leidt tot een aanzienlijk verlies van geldige voltooiingen (wat bias introduceert), de estimator van RREDCoT goed overeenkomt met MC sampling-resultaten tegen een fractie van de computationele kosten.
• Correlatieanalyse: Het onderzoek wees uit dat gradiënt-gebaseerde en Leave-One-Out (LOO) attributiemethoden sterk met elkaar gecorreleerd zijn, maar minder met RREDCoT. Dit suggereert dat attributiemethoden andere signaal-eigenschappen vastleggen dan beloningsherverdeling, en dat het gebruik van attributie alleen voor het trainen van gewichten redundant of suboptimaal kan zijn.

Betekenis en Claims

Het artikel claimt dat RREDCoT de problemen van hoge variantie en vertraagde beloning aanpakt die inherent zijn aan de RL fine-tuning van redeneermodellen. Door beloningen te herverdelen naar intermediaire segmenten op basis van de eigen voorspellende capaciteiten van het model, versnelt de methode de convergentie en verbetert het de uiteindelijke prestaties zonder de computationele beperkingen van Monte Carlo sampling.

De auteurs benadrukken dat hun aanpak een hanteerbare benadering is van optimale beloningsherverdeling. Ze merken op dat de methode afhankelijk is van de beschikbaarheid van referentie-oplossingen en een zekere sub-doelstructuur (bijv. unieke oplossingen in wiskundige problemen). Hoewel de methode een computationele overhead van 1,5–2x introduceert vergeleken met naïeve GRPO, is het aanzienlijk efficiënter dan volledige Monte Carlo sampling. Het werk positioneert RREDCoT zowel als een versterker van het trainingssignaal als een analyse-instrument, en biedt een nieuw perspectief op credit assignment dat onderscheidend is van traditionele attributietechnieken.