Technische Samenvatting: Curriculum Learning voor Pretraining van LLM's: Een Analyse van Leerdynamieken

Probleemstelling

Pretraining van grote taalmodellen (LLM's) omvat doorgaans één enkele doorgang door enorme corpora, waarbij de volgorde van de data vaak willekeurig is. Hoewel curriculum learning (het ordenen van data van makkelijk naar moeilijk) een gevestigd concept is, blijven de effectiviteit en het mechanistische effect ervan op LLM-pretraining onduidelijk. Bestaande literatuur presenteert gemengde resultaten: sommige studies suggereren winst bij vaste rekenkrachtbudgetten, terwijl anderen afnemende meeropbrengsten bij schaalvergroting constateren. Er bestaat een kritieke ambiguïteit: veranderen curricula de volgorde van latente leerfasen die een model doorloopt, of veranderen ze primair welke data het model tegenkomt binnen een gedeelde reeks fasen? Bovendien is onbekend hoe data-ordening interacteert met beperkingen in modelcapaciteit, specifiek de "softmax-bottleneck", waarbij kleine modellen late in de training kunnen lijden onder spectrale verzadiging van de output-kop (degeneratie van de singuliere-waardenstructuur).

Methodologie

De auteurs voeren een gecontroleerde empirische studie uit met de Pythia-modelsuite (14M tot 1B parameters), getraind op 300 miljard tokens uit de dataset The Pile. Het kernontwerp van het experiment houdt de set van 2048-token trainingsteekproeven vast, waarbij uitsluitend de volgorde van deze steekproeven varieert.

Ontwerp van Curricula:
Er worden drie taalkundig gemotiveerde curricula getest, waarbij steekproeven in oplopende volgorde worden gesorteerd op basis van specifieke scores:

1. Leeftijd van Aankoop (AoA): Gebaseerd op de leeftijd waarop woorden doorgaans worden geleerd.
2. Woordfrequentie: Gebaseerd op SUBTLEX-US-frequentie met behulp van de Zipf-schaal.
3. Werkwoordvariatie (VV): Meet de diversiteit aan werkwoordtypes binnen een steekproef.
   Deze worden vergeleken met een Willekeurige ordeningsbaseline. Een Reverse-Order VV-controle wordt eveneens gebruikt om het belang van richtingsafhankelijkheid te testen.

Analyseraamwerk:
De studie hanteert drie primaire diagnostische lenzen om leerdynamieken te analyseren:

1. Analyse van Latente Fasen: Hidden Markov-modellen (HMM's) worden aangepast aan trainingsverlopen (met behulp van 14 checkpoint-niveau metrieken zoals gewichtsnormen en singuliere waarden) om discrete leerfasen te identificeren. Een gezamenlijk HMM wordt getraind over alle ordeningen heen om ervoor te zorgen dat fasen direct vergelijkbaar zijn.
2. Gradient Noise Scale (GNS): Meet het signaal-ruisverhouding van stochastische gradiënten. De auteurs veronderstellen dat curricula die voorbeelden met hoge variantie uitstellen, de GNS kunnen verlagen, wat de stabiliteit verbetert.
3. Singuliere Entropie: Een diagnose voor de "softmax-bottleneck". Het meet de concentratie van het singuliere-waardespectrum van de output-kop. Hoge entropie duidt op een verzadigd, gedegenereerd spectrum, terwijl lage entropie wijst op een meer uniforme verdeling.

Scope:
Experimenten omvatten vijf modelgroottes (14M, 31M, 70M, 160M, 410M) en een run met 1B parameters (Willekeurig vs. VV alleen vanwege rekenkrachtbeperkingen). Modellen worden getraind tot maximaal 300B tokens om late-stadium dynamieken waar te nemen die vaak worden gemist bij kortere trainingsregimes.

Belangrijkste Resultaten

1. Gedeelde Structuur van Latente Fasen
De HMM-analyse onthult dat trainingsverlopen onder verschillende data-ordeningen een consistente reeks latente fasen (P0 tot en met P4) delen. Curricula creëren geen nieuwe macro-fasen en veranderen niet de fundamentele overgangsstructuur. In plaats daarvan veranderen ze primair de fasebezetting (de tijd die in elke fase wordt doorgebracht) en de specifieke data-exposure binnen die fasen. Bijvoorbeeld, het frequentie-curriculum brengt meer tijd door in fase P2, terwijl AoA en VV meer tijd doorbrengen in P3.

2. Stabiliteitsdiagnostiek in Kleine Modellen
In kleinere modellen (14M–70M) vertoont willekeurige ordening aanzienlijk een hogere Gradient Noise Scale (GNS) en scherpere late-stadium pieken in singuliere entropie in vergelijking met de taalkundige curricula.

• GNS: Willekeurige ordening produceert ruisigere gradiënten ten opzichte van het signaal, met name in latere trainingsfasen.
• Singuliere Entropie: Willekeurige ordening leidt tot een "gepiekt" spectrum (hoge entropie) in modellen tot 160M parameters, wat wijst op verzadiging van de output-kop. Taalkundige curricula handhaven lagere entropie en vermijden deze verzadiging.
• Schaalafhankelijkheid: Deze stabiliteitsverschillen worden aanzienlijk kleiner bij 410M en zijn minimaal bij 1B, wat suggereert dat de effecten het meest uitgesproken zijn wanneer modelcapaciteit beperkt is.

3. Capabiliteits-specifieke Effecten
Ordeningseffecten op downstream-accuraatheid zijn schaars en capabiliteits-specifiek in plaats van globaal uniform:

• Werkwoordvariatie (VV): Verbeterd de nauwkeurigheid op wh-vragen (object-gap) en causatieven, met name in kleinere modellen.
• Frequentie: Presteert slechter dan Willekeurig op superlatieve kwantificatoren en NPI-scope probes.
• AoA: Toont geen consistente voordelen of regressies over verschillende probes heen.
• Richtingsafhankelijkheid: Het omkeren van de VV-volgorde (aflopend) verwijdert het late-trainingsaccuraatheidsvoordeel van het oplopende curriculum, wat bevestigt dat de richting van de ordening ertoe doet.

4. Verstrengeling van Domeinmengsels
Sorteren op taalkundige scores verandert onbedoeld de bron-domeinmengeling in de loop van de tijd (bijvoorbeeld, Frequentie plaatst GitHub-inhoud vroeg en Pile-CC laat). Hoewel de scores correleren met empirische steekproefverlies, merken de auteurs op dat de waargenomen effecten een vermenging zijn van taalkundige moeilijkheid, blootstelling aan bron-domeinen en hun interactie, in plaats van een pure isolatie van taalkundige moeilijkheid.

Betekenis en Claims

Het artikel claimt de mechanistische ambiguïteit van curriculum learning in LLM-pretraining op te lossen door aan te tonen dat:

• Curricula blootstelling veranderen, niet fasen: Het primaire effect van data-ordening is het veranderen van welke data wordt gezien tijdens specifieke, gedeelde leerfasen en hoe lang het model daarin blijft, in plaats van de volgorde van de fasen zelf te veranderen.
• Stabiliteit boven nieuwe capabiliteiten: In modellen met beperkte capaciteit verbeteren taalkundige curricula de trainingsstabiliteit (lagere GNS, verminderde spectrale verzadiging) in plaats van de leertrajecten fundamenteel te veranderen. Deze stabiliteit helpt specifieke capabiliteiten (zoals argumentstructuur) te behouden die anders zouden kunnen degraderen in kleine modellen die met willekeurige ordening zijn getraind.
• Schaalgevoeligheid: De voordelen van deze specifieke taalkundige curricula zijn schaalafhankelijk en het meest kritiek voor kleinere modellen waar de softmax-bottleneck een beperkende factor is. Bij grotere schalen nemen de ordeningseffecten op stabiliteit en prestatie af.

De auteurs concluderen dat hoewel deze curricula meetbare stabiliteitsvoordelen bieden voor kleinere modellen, ze geen nieuwe ontwikkelingsstadia creëren. De resultaten suggereren dat voor kleine modellen het beheren van de volgorde van data-exposure late-stadium verzadiging kan mitigeren, maar dat het effect een modulatie is van bestaande dynamieken in plaats van een transformatie van het leerproces.