On the Role of Reasoning Patterns in the Generalization Discrepancy of Long Chain-of-Thought Supervised Fine-Tuning

Probleemstelling

Supervised Fine-Tuning (SFT) op lange Chain-of-Thought (CoT) trajecten is een fundamentele stap bij het bouwen van grote redeneringsmodellen (Large Reasoning Models - LRMs). Een veelgebruikte aanpak is het distilleren van redeneervermogen door studentmodellen te trainen op correcte CoT-trajecten gegenereerd door krachtige "leraar"-modellen.

Echter, de vraag welke leraar de beste generalisatie voor het studentmodel oplevert, blijft open. Het paper identificeert een opvallend paradox: een lagere trainingsverlies (loss) tijdens SFT garandeert niet noodzakelijk betere generalisatie.

De auteurs ontdekten een scherp contrast tussen twee populaire, open-source leraar-modellen: DeepSeek-R1-0528 en gpt-oss-120b. Hoewel beide modellen op dezelfde set van ~500.000 wiskundige problemen werden getraind en beide correcte antwoorden leverden, vertoonden studentmodellen getraind op DeepSeek-R1-data een beduidend lagere trainingsloss, maar presteerden ze veel slechter op downstream redeneringsbenchmarks dan modellen getraind op gpt-oss-data.

Methodologie

De auteurs voerden een gecontroleerde vergelijkende studie uit om de onderliggende oorzaken van deze generalisatie-discrepantie te ontrafelen:

1. Data Collectie & Controle:

   • Ze verzamelden ~500.000 complexe wiskundige problemen.
   • Voor elk probleem genereerden ze CoT-trajecten met zowel DeepSeek-R1 als gpt-oss-120b.
   • Alle trajecten werden geverifieerd op correctheid om factuele fouten uit te sluiten.
   • Ze trainden vier verschillende basismodellen (Qwen2.5-7B/32B, Llama3.1-8B, Qwen3-8B) onafhankelijk op beide datasets.

2. Multi-faceted Analyse:

   • Token-niveau Analyse: Onderzoek naar de verdeling van de SFT-loss. De auteurs analyseerden welke tokens de hoogste loss hadden (de "lange staart") en welke tokens de loss verlaagden.
   • Stap-niveau Gedragsanalyse: Ze gebruikten een ander LLM (DeepSeek-V3.2) om elke redeneerstap te annoteren in vier discrete gedragingen:
     • Propose: Een nieuw idee of alternatief pad voorstellen (divergent).
     • Deduce: Lineair doorvoeren van logica op basis van eerdere feiten (convergent).
     • Verify: Controleren van tussenstappen.
     • Backtrack: Teruggaan bij een fout.
   • Interventie-experimenten:
     • Willekeurige verwijdering: 10% van de redeneerstappen werd willekeurig uit de trainingsdata verwijderd om de redundantie te testen.
     • Data Filtering: Ze filterden DeepSeek-R1-data op basis van twee proxy-metrics om trajecten met veel vertakkingen te verwijderen en trainden de modellen opnieuw.

Belangrijkste Bevindingen & Resultaten

1. De Paradox van de Loss
Modellen getraind op DeepSeek-R1-data bereikten een zeer lage trainingsloss (ca. 0.2-0.3), terwijl gpt-oss-data een hogere loss had (ca. 0.6). Desondanks presteerden de gpt-oss-modellen aanzienlijk beter op benchmarks zoals AIME25 en BeyondAIME.

• Oorzaak: DeepSeek-R1 bevat een overvloed aan tokens met bijna nul loss (routineberekeningen), wat de gemiddelde loss kunstmatig verlaagt zonder dat de kern van het redeneren (logische overgangen) beter wordt geleerd.

2. Verschil in Redeneerpatronen
De analyse van de gedragstypen onthulde fundamentele verschillen:

• DeepSeek-R1: Neigt naar divergente exploratie. Het model vertakt zich vaak (hoge frequentie van "Propose"-stappen, vaak opvolgend op elkaar: Propose → Propose). Dit leidt tot veel redundante, oppervlakkige zoekpaden zonder diepe deductie.
• gpt-oss-120b: Neigt naar convergente deductie. Het model focust op lineaire, diepe logische ketens (hoge frequentie van "Deduce"-stappen).

3. Transfer naar Studentmodellen
Studentmodellen die op DeepSeek-R1-data zijn getraind, erven dit inefficiënte patroon. Ze blijven hangen in redundante vertakkingen en kunnen de juiste oplossing niet vinden, wat de generalisatie schaadt.

• Validatie: Bij het willekeurig verwijderen van stappen daalde de prestatie van gpt-oss-modellen sterk (wat aangeeft dat hun ketens dicht en afhankelijk zijn), terwijl DeepSeek-R1-modellen nauwelijks degradeerden of zelfs verbeterden (wat aangeeft dat hun data vol stond met overbodige stappen).

4. Oplossing: Filtering van Vertakkende Trajecten
De auteurs stelden een eenvoudige filteringstrategie voor: verwijder de trajecten uit de DeepSeek-R1-dataset die het meest vertakkend zijn (gemeten via het verschil in stap-aantal met gpt-oss of het voorkomen van vertakkingswoorden zoals "Perhaps", "Another").

• Resultaten: Na het filteren van de top 10-20% van de meest vertakkende trajecten verbeterden de prestaties van de DeepSeek-R1-modellen aanzienlijk:
  • +5.1% op AIME25.
  • +5.5% op BeyondAIME.
  • Gemiddeld +3.6% over vijf benchmarks.

Bijdragen

1. Identificatie van een Generalisatie-discrepantie: Het paper toont aan dat een lagere trainingsloss tijdens SFT op lange CoT-data niet synoniem is met betere redeneerprestaties, en dat de keuze van de leraar cruciaal is ondanks gelijke correctheid.
2. Structuur van Redenering: Het onthult dat de intrinsieke structuur van de data (divergente exploratie vs. convergente deductie) de generalisatie bepaalt. DeepSeek-R1 introduceert structurele redundantie die studentmodellen nadeelt.
3. Praktische Interventie: Het biedt een bewezen, effectieve methode om de generalisatie van SFT te verbeteren door het filteren van inefficiënte, vertakkende trajecten uit de trainingsdata, zonder dat er complexe nieuwe trainingstechnieken nodig zijn.

Significantie

Dit onderzoek is van groot belang voor de ontwikkeling van Large Reasoning Models. Het wijst erop dat kwaliteit van redeneerpatronen belangrijker is dan alleen het minimaliseren van trainingsverlies of het gebruik van de grootste datasets. Voor onderzoekers en ingenieurs die LLM's willen distilleren, biedt het een concrete richtlijn: niet alle "correcte" redeneerpaden zijn even leerzaam. Door te focussen op convergente, deductieve trajecten en redundante exploratie te elimineren, kunnen modellen efficiënter en effectiever worden getraind voor complexe redeneertaken.