Technische Samenvatting: Datarepetitie verslaat Dataschaling bij Long-CoT Supervised Fine-Tuning

Probleemstelling

De standaard intuïtie in machine learning stelt dat trainen met meer unieke samples leidt tot betere generalisatie, een principe dat de schaling van unieke corpora in de pretraining en post-training van grote taalmodellen (LLM's) heeft gedreven. Echter, hoogwaardige lange Chain-of-Thought (CoT) demonstraties voor reasoning-modellen zijn schaars, wat vaak kostbare menselijke annotatie of zorgvuldige distillatie uit grotere modellen vereist. Deze schaarste roept een kritische vraag op: is het onder een vast computationeel budget (totaal aantal gradiëntupdates) effectiever om te trainen op een grote dataset voor één epoch, of op een kleinere dataset voor meerdere epochs? Het artikel daagt de heersende aanname uit dat datadiversiteit altijd superieur is, door te onderzoeken of datarepetitie kan dienen als substituut voor dataschaling tijdens de supervised fine-tuning (SFT) fase van reasoning-modellen.

Methodologie

De auteurs voeren gecontroleerde experimenten uit om de effecten van datarepetitie versus dataschaling te isoleren, terwijl het totale update-budget constant wordt gehouden.

• Modellen: De experimenten maken gebruik van de base checkpoints van drie recente taalmodellen: Olmo3-7B, Qwen3-8B en Qwen3-4B. Deze modellen worden gebruikt vóór instructie-tuning om een zuiver startpunt voor SFT-dynamiek te garanderen.
• Datasets: De primaire dataset is "Dolci SFT 7B," een collectie gedistilleerde long-CoT demonstraties die wiskunde, coderen en instructie-opvolging beslaat. De auteurs creëren geneste trainingssplits variërend van 200 tot 51.200 samples, waarbij kleinere sets subsets zijn van grotere sets. Aanvullende experimenten gebruiken wiskunde-specifieke data gedistilleerd van Qwen3-0.6B en Qwen3-8B docenten, gepartitioneerd op basis van de correctheid van het uiteindelijke antwoord (positieve versus negatieve trajecten).
• Experimentele Grid: Het kernontwerp van het experiment varieert het aantal unieke samples ($N$) en het aantal trainingsepochs ($E$) zodanig dat het product $N \times E$ (het update-budget) constant blijft. Bijvoorbeeld, een budget van 51.200 updates wordt bereikt door te trainen op 51.200 samples voor 1 epoch, 3.200 samples voor 16 epochs, of 200 samples voor 256 epochs.
• Evaluatie: Modellen worden geëvalueerd op drie uitdagende reasoning benchmarks: AIME 2024, AIME 2025 en GPQA. De metrieken zijn:
  • Accuracy@n: Gemiddelde nauwkeurigheid over $n$ onafhankelijke generaties.
  • Pass@n: Het fractie van problemen die in ten minste één van de $n$ pogingen worden opgelost.
  • Termination Rate: Het fractie van generaties die succesvol eindigen met een end-of-sequence token.
  • Catastrophic Forgetting: Gemeten via MMLU-prestaties om het behoud van algemene kennis te beoordelen.
• Trainingsdynamiek: De studie volgt training token nauwkeurigheid (memorizatie), validatieverlies en predictie-entropie om het convergentiegedrag te begrijpen.

Belangrijkste Resultaten

1. Het Repetitievoordeel

In tegen tegenstelling tot standaard schalingwetten, laten de experimenten zien dat onder een vast update-budget, trainen voor meer epochs op kleinere datasets aanzienlijk beter presteert dan trainen op grotere datasets voor minder epochs.

• Prestatiewinst: Op het Olmo3-7B model met een budget van 51.200 updates, presteerde trainen voor 128 epochs op 400 samples 12–26 procentpunten beter op de AIME en GPQA benchmarks dan 1 epoch op 51.200 samples.
• Consistentie: Deze trend houdt stand bij verschillende modelgroottes (Olmo3-7B, Qwen3-8B, Qwen3-4B), verschillende benchmarks en verschillende databronnen (algemene Dolci dataset versus wiskunde-specifieke distillaties).
• Verzadigingspunt: De prestatiewinst door extra epochs begint te plateauvormen rond 32–64 epochs, wat suggereft dat er een verzadigingspunt is waar verdere repetitie afnemende meeropbrengsten oplevert.

2. Memorizatie als Stopcriterium

De auteurs identificeren een sterke correlatie tussen de memorizatie van de trainingsset en downstream prestaties.

• Token Nauwkeurigheid: Naarmate het aantal epochs toeneemt, nadert de nauwkeurigheid van het model op de trainingsset-tokens de 100% (volledige memorizatie).
• Convergentie Signaal: Verbeteringen in downstream prestaties plateauvormen precies wanneer het model een bijna perfecte token-niveau nauwkeurigheid op de trainingsdata bereikt. Dit suggereert dat training token nauwkeurigheid kan dienen als een praktisch, data-onafhankelijk stopcriterium voor epoch-schaling, ter vervanging van de noodzaak voor dure, ongerichte dataschaling.

3. Terminatie en Reasoning Structuur

Er bestaat een sterke correlatie tussen de terminatiegraad en nauwkeurigheid. Single-epoch modellen falen vaak in terminatie (24% termination rate), terwijl multi-epoch modellen (32 epochs) een hoge terminatiegraad bereiken (89%). Dit geeft aan dat repetitie helpt modellen niet alleen de reasoning patronen te internaliseren, maar ook de structurele conventie om lange reasoning chains te concluderen.

4. Robuustheid tegen Datakwaliteit en Fouten

• Docent Kwaliteit: Het repetitievoordeel blijft bestaan ongeacht of de gedistilleerde data afkomstig is van een zwakke (0.6B) of sterke (8B) docent-model. Echter, bij een zwakke docent kan het verhogen van het totale update-budget (dataschaling) leiden tot prestatieverslechtering, wat het "weak-to-strong" generalisatieprobleem weerspiegelt.
• Negatieve Trajecten: Verrassend genoeg leidt het trainen op onjuiste reasoning traces (negatieve trajecten) niet tot prestatievermindering en, in sommige gevallen (AIME'24, GPQA), levert het prestaties op die vergelijkbaar zijn met of zelfs iets beter zijn dan training op correcte trajecten. Dit suggereert dat blootstelling aan moeilijke reasoning pogingen, zelfs als ze gebrekkig zijn, het student-model ten goede komt.

5. Catastrophic Forgetting

Hoewel multi-epoch training op kleine datasets leidt tot overfitting (stijgend validatieverlies, dalende entropie), veroorzaakt het geen extra catastrophic forgetting vergeleken met single-epoch training op grote datasets. Sterker nog, epoch-schaling resulteert in minder degradatie op de MMLU benchmark dan dataschaling, wat een strikt betere afweging biedt tussen reasoning prestaties en kennisbehoud.

Betekenis en Claims

Het artikel stelt het "repetition advantage" voor als een contra-intuïtief fenomeen waarbij volledige memorizatie van een kleine dataset samenvalt met verbeterde generalisatie in long-CoT SFT.

• Praktische Heuristiek: De auteurs stellen een praktische aanpak voor voor reasoning SFT voor: schaal epochs totdat de training token nauwkeurigheid verzadigt, in plaats van het schalen van unieke data. Dit biedt een kosteneffectief alternatief voor het verwerven van enorme hoeveelheden unieke CoT data.
• Open Probleem: Het artikel kadert expliciet de verklaring van waarom memorizatie onder repetitie de generalisatie in deze specifieke context verbetert als een nieuw, openstaand probleem voor de gemeenschap. De auteurs merken op dat hoewel ze correlaten identificeren (memorizatie, terminatiegedrag), het definitieve causale mechanisme nog steeds begrepen moet worden.
• Paradigmaverschuiving: De bevindingen dagen de standaard industrie-praktijk van single-epoch training op de grootste beschikbare dataset uit, en suggereren dat het aantal epochs en de datasetgrootte behandeld moeten worden als eersteklas beslissingsvariabelen in reasoning SFT.

Het artikel concludeert dat voor reasoning-georiënteerde SFT, "meer unieke samples" niet altijd beter is; onder een vaststaand budget is "meer epochs" op kleinere, hoogwaardige datasets een superieure strategie.