How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum

1. Probleemstelling

Het artikel behandelt twee kritieke faalmodi bij het trainen van redeneringsmodellen (modellen die latente denkketens genereren voordat ze antwoorden) met uitsluitend supervisie op output-niveau:

1. Stalling bij koude start: Wanneer de initiële succeskans ($p_0$) zeer laag is, slagen standaard Reinforcement Learning from Verifiable Rewards (RLVR) en zijn varianten (zoals GRPO of Rao-Blackwellized REINFORCE) er vaak niet in om vooruitgang te boeken. Het gradiëntssein is te zwak om het regime van de "koude start" te ontvluchten.
2. Memorisatie van ruis: Omgekeerd neigen methoden die het model agressief dwingen om de trainingsverdeling te benaderen (zoals standaard Supervised Fine-Tuning of Maximum Likelihood Estimation) ernaar om labelfouten en ruis te memoriseren, wat de generalisatie en zelfconsistentie vermindert.

Bestaande benaderingen behandelen deze als aparte problemen. De auteurs betogen dat dit twee uiteinden zijn van een spectrum dat wordt beheerst door de "toewijding" van het model aan het supervisiessignaal. Zij stellen een unificerend theoretisch kader voor om de snelheid van het ontvluchten van koude start te balanceren tegen de robuustheid ten opzichte van ruis.

2. Methodologie: De $J_Q$-verliescontinuüm

De kernbijdrage is de definitie van een verliesfamilie, $J_Q$, afgeleid van de Tsallis $q$-logaritme. Deze familie interpoleert tussen twee polen:

• Exploitatiepool ($q=0$): Komt overeen met het maximaliseren van de verwachte nauwkeurigheid (equivalent aan RLVR met exact-match beloningen). Het verlies is begrensd ($1 - P_\theta$).
• Densiteitsschattingpool ($q=1$): Komt overeen met het maximaliseren van de log-marginaal-likelihood over latente trajecten (equivalent aan standaard SFT/ML). Het verlies is onbegrensd ($-\log P_\theta$).

Belangrijk theoretisch inzicht: Gradiëntversterking

Alle leden van de $J_Q$-familie delen dezelfde gradiëntrichting per voorbeeld, die alleen verschilt door een scalair versterkingsfactor:
$$\nabla_\theta \ell_q = P_\theta^{-q} \nabla_\theta \ell_0 = P_\theta^{1-q} \nabla_\theta \ell_1$$
Waarbij $P_\theta = p_\theta(y^*|x^*)$ de conditionele succeskans van het model is.

• De parameter $q$ (Toewijding): Bepaalt hoe sterk de gradiënt wordt versterkt voor "moeilijke" voorbeelden (lage $P_\theta$).
  • Lage $q$ (dicht bij 0): Minimale versterking. Het model concentreert zich op wat het al weet (ruis-robuust) maar ontvlucht de koude start langzaam ($\Omega(1/p_0)$ tijd).
  • Hoge $q$ (dicht bij 1): Enorme versterking voor voorbeelden met lage waarschijnlijkheid. Het model verkent agressief onbekende supervisie, ontvlucht de koude start snel ($\Theta(\log(1/p_0))$ tijd) maar riskeert het memoriseren van ruis.

Gradiëntschatters

Omdat $P_\theta$ onberekenbaar is (het impliceert het sommeren over alle latente trajecten), leiden de auteurs twee Monte Carlo-schatters af op basis van de duale factorisatie van de gradiënt:

1. GARL (Gradient-Amplified RL):

   • Mechanisme: Steekproeven van trajecten uit de prior $p_\theta(z|x^*)$ en versterking van de standaard RL-gradiënt met $(\bar{w}_M)^{-q}$.
   • Kenmerken: Lagere variantie, generaliseert RB-REINFORCE ($q=0$) en IWAE ($q=1$).
   • Gebruiksdoel: Essentieel voor koude-start scenario's waar posterior-steekproeven geen geldige trajecten opleveren.

2. PAFT (Posterior-Attenuated Fine-Tuning):

   • Mechanisme: Importance-resampling van trajecten uit de posterior (die overeenkomen met het antwoord) en verzwakking van de SFT-gradiënt met $(\bar{w}_M)^{1-q}$.
   • Kenmerken: Produceert semantisch coherente gradiënten (alleen updates op geldige redeneringen) maar heeft hogere variantie door resampling-ruis. Generaliseert de E-stap van EM ($q=1$).
   • Gebruiksdoel: Stabieler tijdens warm-start training, voorkomt de "instorting" die bij GARL op complexe datasets wordt waargenomen.

3. Belangrijkste bijdragen

1. Unificerend theoretisch kader: Het artikel biedt de eerste theoretische verantwoording die koude-start-stalling en ruis-memorisatie unificeert als een afweging die wordt gecontroleerd door de parameter $q$.
2. Analyse van ontsnappingssnelheid: Theoretische bewijzen (Stellingen 5.1 & 5.2) tonen aan dat de tijd om de koude start te ontvluchten schaalt als $\Omega(1/p_0)$ voor $q=0$, maar verbetert naar $\Theta(\log(1/p_0))$ voor $q=1$. Dit verklaart waarom standaard RLVR faalt wanneer $p_0$ klein is.
3. Duale schatters (GARL & PAFT): De afleiding van twee praktische, plug-and-play schatters die practitioners in staat stellen het niveau van "toewijding" af te stemmen zonder de modelarchitectuur te wijzigen.
4. Bias-variantie afweging: Analyse die aantoont dat terwijl hoge $q$ het leren versnelt, het een schatterbias introduceert ($O(q/MP_\theta^{q+1})$), wat noodzakelijke tussenliggende waarden van $q$ vereist voor optimale prestaties.

4. Empirische resultaten

De auteurs evalueerden GARL en PAFT op drie redeneringsbenchmarks (FinQA, HotPotQA, MuSiQue) met behulp van een Qwen 3 0.6B-model.

• Prestaties bij koude start:

  • Standaard GRPO en $q=0$ (RB-RLOO) faalden volledig (0% nauwkeurigheid) op taken met koude start.
  • GARL met $q=0.75$ slaagde erin de koude start te ontvluchten, met aanzienlijke nauwkeurigheid (bijvoorbeeld 38,3% maj@16 op FinQA versus 0% voor GRPO).
  • $q=1$ ontvluchtte de koude start maar leed aan hogere ruis-memorisatie, wat resulteerde in een lagere uiteindelijke nauwkeurigheid dan $q=0.75$.

• Prestaties bij warm start:

  • FinQA: Training was stabiel voor alle $q$. GARL bij $q=0.25$ behaalde de beste resultaten (38,7% maj@16), met +11,8 punten beter dan GRPO.
  • HotPotQA & MuSiQue: GARL instortte (validatienauwkeurigheid daalde naar nul) tijdens training bij alle geteste $q$-waarden, waarschijnlijk door corruptie van pad-termen of overfitting.
  • PAFT-stabiliteit: PAFT instortte niet op enkele benchmark. PAFT bij $q=0.75$ behaalde de beste stabiele resultaten op HotPotQA (47,9% maj@16, +14,4 boven GRPO) en MuSiQue (22,4% maj@16).

• Prompt-onafhankelijkheid: Opmerkelijk presteerde het koude-start GARL-model (getraind zonder taakspecifieke prompts) op alle metrieken beter dan het warm-start GRPO-model (getraind met prompts), wat suggereert dat sterke toewijding ($q \approx 0.75$) het model in staat stelt taakstructuur direct uit input-outputparen te ontdekken.

5. Betekenis en praktische implicaties

• Oplossen van de koude-start-flesnek: Het artikel bewijst dat de bottleneck in RLVR niet alleen gradiëntvariantie is (aangepakt door Rao-Blackwellization), maar het gebrek aan gradiëntversterking voor voorbeelden met lage waarschijnlijkheid. Het verhogen van $q$ lost dit op.
• Dynamische trainingsstrategie: De auteurs stellen een praktische recept voor:
  • Koude start: Gebruik GARL met hoge $q$ ($\approx 0.75$) om het model uit het regime met nul beloning te dwingen.
  • Warm start: Als training stabiel is (bijv. FinQA), gebruik GARL met lage $q$ ($\approx 0.25$) om bias te minimaliseren. Als training instabiel is (bijv. HotPotQA), schakel over naar PAFT met hoge $q$ ($\approx 0.75$) om stabiliteit te behouden via coherente gradiënten.
• Buiten RLVR: Dit kader biedt een principiële manier om te interpoleëren tussen Reinforcement Learning en Supervised Fine-Tuning, verder gaand dan de rigide "SFT dan RL"-pijplijn naar een continu spectrum van toewijding.

Kortom, het artikel demonstreert dat toewijding aan supervisie een instelbare hyperparameter is. Door $q$ aan te passen, kunnen practitioners de afweging controleren tussen de snelheid van leren (ontvluchten van koude start) en de robuustheid van leren (vermijden van ruis-memorisatie), wat leidt tot state-of-the-art prestaties op complexe redeneringstaken.