Technische Samenvatting: RASFT (Rollout-Adaptive Supervised Fine-Tuning voor Redeneren)

1. Probleemstelling

Supervised Fine-Tuning (SFT) is de standaardmethode voor het aanpassen van Large Language Models (LLMs) aan redeneertaken door offline expert-demonstraties te imiteren. De auteurs identificeren echter een kritieke beperking in dit paradigma: redeneren is geen eenvoudige taak van padimitatie. Een enkel probleem laat vaak meerdere geldige oplossingspaden toe, terwijl standaard SFT een enkele offline expert-traject behandelt als het rigide doelgedrag.

Deze rigide imitatie kan leiden tot twee problemen:

1. Overfitting op Oppervlakkige Vormen: Het model kan de specifieke demonstratie memoriseren in plaats van de onderliggende redeneerdistributie te leren.
2. Onderdrukking van Latente Vermogens: Pretrained LLM's bezitten vaak rijke, latente redeneerdistributies. Overmatige imitatie van een enkel expert-pad kan deze priors overschrijven, waardoor het eigen vermogen van het model om diverse, correcte redeneertrajecten te genereren, wordt verzwakt.

Bestaande SFT-varianten (bijv. DFT, ASFT, ProFiT) proberen dit te verzachten door leersignalen te herschalen of te verankeren aan referentiemodellen, maar zij blijven grotendeels "demonstratie-intern". Ze optimaliseren op basis van signalen binnen het offline traject in plaats van de supervisie te kalibreren op basis van het werkelijke vermogen van de huidige policy om het probleem op te lossen.

2. Methodologie: RASFT

De auteurs stellen Rollout-Adaptive Supervised Fine-Tuning (RASFT) voor, een policy-bewust framework dat dynamisch een balans vindt tussen expertbegeleiding en zelf gegenereerd redeneren op basis van de huidige prestaties van het model.

Kerncomponenten

1. Constructie van de Lokale Kandidaat-pool:
   Voor elk probleem-prompt $x_i$ construeert RASFT een pool $G_i$ die bevat:

   • Het offline expert-traject ($y^e_i$).
   • Geverifieerde correcte trajecten gegenereerd door de huidige policy ($\pi_\theta$) via on-policy rollouts.
   • Opmerking: Incorrecte rollouts worden uit de optimalisatietargets gefilterd, maar worden gebruikt om moeilijkheidsgraad in te schatten.

2. Probleemniveau Oplosbaarheidsschatting ($\zeta_i$):
   Het model genereert $K$ rollouts voor een gegeven prompt. Een taakspecifieke verifieerder (bijv. final-answer matching voor wiskunde, assertion tests voor code) bepaalt de correctheid. De oplosbaarheidsindex wordt berekend als de succesratio:
   $$\zeta_i = \frac{1}{K} \sum_{k=1}^{K} c_{i,k}$$
   waarbij $c_{i,k} \in \{0, 1\}$ de correctheid aangeeft. Deze score weerspiegelt hoe goed de huidige policy het probleem kan oplossen.

3. Adaptieve Weging:
   RASFT wijst gewichten toe aan trajecten in de kandidaat-pool op basis van $\zeta_i$:

   • Expert Traject Gewicht ($W_e$): Dynamisch aangepast. Wanneer $\zeta_i$ laag is (het model worstelt), ontvangt het expert-traject een hoger gewicht om sterke corrigerende begeleiding te bieden. Wanneer $\zeta_i$ hoog is (het model is betrouwbaar), wordt het gewicht gedempt om rigide fitting te voorkomen en het eigen redeneren van het model te laten domineren.
   • Zelf-gegenereerd Traject Gewicht ($W_r$): Vast voor geverifieerde correcte rollouts.

4. Policy-Geregulariseerde Objectief:
   Om excessieve drift van de pretrained distributie te voorkomen, introduceert RASFT een geknipte inverse ratio tussen een bevroren referentiemodel ($\pi_{ref}$) en de huidige policy ($\pi_\theta$). De uiteindelijke verliesfunctie combineert:

   • Genormaliseerde trajectgewichten ($\bar{W}_{i,j}$).
   • De geknipte inverse ratio ($Clip(r_{i,j}(\theta))$).
   • Token-niveau vertrouwen ($p_{\theta}$).

   Het objectief minimaliseert een gewogen sequence-to-sequence verlies:
   $$\mathcal{L}(\theta) = -\mathbb{E}_i \left[ \sum_{y_{i,j} \in G_i} \sum_{t=1}^{|y_{i,j}|} \omega_{i,j,t} \log p_{\theta, i,j,t} \right]$$
   waarbij $\omega_{i,j,t}$ het samengestelde gewicht is.

3. Belangrijkste Bijdragen

De paper vat de bijdragen als volgt samen:

• Identificatie van Beperking: Het benadrukt dat bestaande SFT-varianten een gebrek aan policy-bewustzijn hebben, waarbij ze niet het onderscheid maken tussen wanneer expert-imitatie noodzakelijk is versus wanneer dit een rigide pad-fitting wordt.
• Framework Voorstel: RASFT wordt geïntroduceerd als een rollout-adaptief SFT-framework dat gebruikmaakt van geverifieerde on-policy rollouts om de oplosbaarheid van problemen in te schatten, waarbij een dynamische balans wordt gevonden tussen expertbegeleiding en zelf-gegenereerde correcte trajecten.
• Empirische Validatie: Uitgebreide experimenten tonen aan dat RASFT beter presteert dan standaard SFT, SFT-varianten (DFT, ASFT, ProFiT) en representatieve Reinforcement Learning (RL) methoden (GRPO, LUFFY) over wiskundige en code-redeneertaken.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op zes wiskundige redeneerbenchmarks (MATH-500, Minerva, OlympiadBench, AIME 2024/2025, AMC 2023) en twee code-redeneerbenchmarks (HumanEval, MBPP) met modellen uit de Qwen2.5 en Llama-3.2 families.

• Prestatiewinst: RASFT behaalde consistent de beste gemiddelde prestaties.
  • Wiskunde: Op Qwen2.5-Math-1.5B behaalde het een relatieve winst van 10,9% (25,00 $\to$ 27,72) ten opzichte van de beste baseline.
  • Code: Op Llama-3.2-3B behaalde het een winst van 26,9% (24,93 $\to$ 31,63).
  • Vergelijking met RL: RASFT verbeterde de gemiddelde wiskunde-accuratesse met 15,9% (20,25 $\to$ 23,47) vergeleken met GRPO.
• Ablatie-studies:
  • Moeilijkheidsgraad Adaptiviteit: Het verwijderen van adaptieve weging veroorzaakte een daling in de gemiddelde score van 27,72 naar 25,53, wat bevestigt dat statische balans suboptimaal is.
  • On-Policy Rollouts: Het verwijderen van rollouts (terugkeren naar statische expert-gewichten) leidde tot uniforme degradatie, wat het belang van online feedback onderstreept.
  • Inverse Ratio: Het verwijderen van de inverse ratio verminderde de prestaties, wat de rol ervan bevestigt bij het voorkomen van overfitting op offline data en het behoud van pretrained priors.
  • Transfereerbaarheid: RASFT verbeterde de prestaties wanneer het werd geïntegreerd met standaard SFT en ProFiT, wat suggereert dat het complementair is aan token-niveau herschalingsmethoden.
• Trainingsdynamiek: RASFT behield stabiele trainingsdoelstellingen en een lagere dichtheid van parameter-updates in de latere stadia vergeleken met andere methoden, wat duidt op een betere preservatie van pretrained redeneer-priors.

5. Betekenis en Claims

De paper claimt dat RASFT een verschuiving vertegenwoordigt van statische demonstratie-fitting naar policy-adaptieve supervisie. De betekenis ligt in:

1. Brug tussen SFT en RL: Het incorporeert de voordelen van online exploratie (rollouts) en adaptieve wegingsmechanismen die typisch zijn voor RL-methoden, maar behoudt de stabiliteit en eenvoud van het SFT-framework.
2. Dynamische Kalibratie: Het slaagt erin de kracht van expert-supervisie te kalibreren op basis van het werkelijke vermogen van het model om een specifiek probleem op te lossen, waardoor de onderdrukking van de eigen redeneerdistributie van het model wordt vermeden.
3. Robuustheid: De methode is robuust over verschillende model-schalen en taakdomeinen, en laat met name significante winsten zien op moeilijke benchmarks (bijv. AIME, OlympiadBench) waar rigide imitatie faalt.

Beperkingen erkend door de auteurs:

• Computationele Kosten: RASFT is duurder dan standaard SFT vanwege de periodieke generatie en verificatie van on-policy rollouts.
• Afhankelijkheid van Verificatie: De methode is afhankelijk van betrouwbare automatische verificatiesignalen (bijv. eindantwoorden voor wiskunde, testcases voor code). Het uitbreiden hiervan naar open-ended redeneertaken zonder duidelijke correctheidssignalen blijft een uitdaging.