Technische Samenvatting: Bewezen Steekproefefficiëntie van Curriculum Post-Training voor Transformer-Redenering

1. Probleemstelling

Hoewel curriculum learning (voortgang van makkelijke naar moeilijke taken) empirisch succes heeft bewezen in het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's) tijdens post-training, blijven de theoretische fundamenten onvolledig. Bestaande theoretische garanties voor curriculum learning zijn grotendeels van toepassing op pre-training of training-from-scratch scenario's met specifieke functieklassen (bijvoorbeeld convexe regressie, pariteit). Ze verklaren niet direct waarom curriculumstrategieën effectief zijn in post-training scenario's waarbij een sterk voorgeïmplementerd basismodel wordt fijngeschaald om expliciete Chain-of-Thought (CoT) redenering te generaliseren.

De centrale vraag die wordt behandeld is: Wanneer, waarom, hoe en in welke zin kunnen curriculumstrategieën in post-training theoretisch de prestaties verbeteren in vergelijking met directe post-training zonder curricula? Specifiek onderzoekt het artikel of curricula de "steekproefcomplexiteitsknelpunt" kunnen mitigeren die inherent is aan redeningstaken met schaarse beloningen, waarbij correcte redeneertrajecten zeldzaam zijn onder het basisbeleid.

2. Methodologie en Theoretisch Kader

2.1. Abstract Kader: Dekking en Steekproefcomplexiteit

De auteurs formaliseren curriculum post-training door "moeilijkheid" te definiëren via de dekkingcoëfficiënt ($\|\pi^* / \pi_{ref}\|_\infty$), die de zeldzaamheid meet van een correcte CoT onder het basisbeleid ($\pi_{ref}$) ten opzichte van het optimale doelpolitiek ($\pi^*$).

• Directe Post-Training: Vereist bemonstering evenredig met de volledige moeilijkheid van de doeltaak.
• Curriculum Post-Training: Breekt de taak op in $L$ tussenliggende subtaken.
• Kerninzicht (Corollarium 1): Curriculum post-training levert exponentiële verbeteringen in steekproefefficiëntie op dan en slechts dan als de cumulatieve moeilijkheid van de curriculumsstadia niet groter is (tot op constanten) dan de moeilijkheid van het uiteindelijke doel. Specifiek: als de steekproefcomplexiteit van elke fase schaalt als de $L/p$-de wortel van de totale complexiteit, schaalt de totale kost lineair met $L$, terwijl directe training exponentieel schaalt.

2.2. Modellering van Redenering: 2S-ART

Om dit kader te onderbouwen binnen transformer-architecturen, introduceert het artikel de 2-States Conditioned Autoregressive Reasoning Tree (2S-ART).

• Structuur: Redenering wordt gemodelleerd als een toestandsgeconditioneerd autoregressief proces waarbij het model een index $i_\ell$ selecteert uit een legale set $I_\ell$ en een redeneertoestand $z_\ell$ bijwerkt via een functie $\Phi_\ell(z_{\ell-1}, v_{i_\ell})$.
• Aanname Basismodel: Het voorgeïmplementeerde basismodel (PART) wordt gemodelleerd als een uniforme bemonsteraar over legale kinderen op elke diepte. Dit leidt tot een exponentiële afname in de waarschijnlijkheid van het genereren van een correcte CoT van lengte $\ell$ (schalend als $\Theta(d^{-(\ell+1)})$).
• Transformer Realisatie: De auteurs bewijzen dat een standaard transformer-architectuur dit probabilistische redeneerproces getrouw kan repliceren (Stelling 1), waarbij attentiemechanismen indices selecteren en Feed-Forward Netwerken (FFN's) de toestandsupdates uitvoeren (bijvoorbeeld XOR-operaties).

2.3. Curriculumstrategieën

Twee specifieke curriculumstrategieën worden binnen dit kader geanalyseerd:

1. Diepte-Verhogend Curriculum: Breidt progressief de redeneerhorizon uit (bijvoorbeeld training op CoT's van lengte 1, dan 2, enzovoort).
2. Hint-Afnemend Curriculum: Biedt gedeeltelijke correcte CoT-voorvoegsels (hints) en verkleint hun lengte geleidelijk, waardoor het model wordt gedwongen langere achtervoegsels te voltooien.

2.4. Leeromgevingen

De theorie wordt toegepast op twee omgevingen:

• RL Fine-tuning: Optimalisatie van een beleid met behulp van uitkomstgebaseerde beloningen (0/1 signalen) via REINFORCE.
• Test-Time Scaling: Identificeren van het juiste redeneerpad op het moment van inferentie met behulp van beloningsorakels.

3. Belangrijkste Bijdragen en Theoretische Resultaten

3.1. Algemeen Knelpunt Corollarium

Het artikel stelt Corollarium 1 vast, een algemene voldoende voorwaarde die aantoont dat als een curriculum een taak zodanig decomposeert dat de moeilijkheid van elke fase begrensd is door een wortel van de totale moeilijkheid, de steekproefcomplexiteit verschuift van exponentieel naar polynoom.

3.2. Exponentieel-naar-Polynoom Reductie in RL Fine-tuning (Stelling 2)

Voor de 2S-ART setting (specifiek geïmplementeerd met het Sparse Parity-probleem):

• Geen-Curriculum: Directe fine-tuning vereist een steekproefcomplexiteit $N_\epsilon \ge \tilde{\Omega}(d^{2k^*+2})$, waarbij $k^*$ de redeneerdiepte is en $d$ de invoerdimensie. Dit is een exponentieel knelpunt.
• Curriculum (Diepte/Hint): Zowel diepte-verhogende als hint-afnemende curricula reduceren de steekproefcomplexiteit tot $N_\epsilon \le \tilde{O}((k^*+1)d^2)$.
• Mechanisme: Curricula voorkomen dat het model wordt overweldigd door "schijnbare" CoT's (reward hacking) die door toeval het juiste eindantwoord opleveren maar onjuiste redeneerpaden volgen. Door te focussen op tussenstappen blijft het gradiëntsignaal informatief.

3.3. Exponentieel-naar-Polynoom Reductie in Test-Time Scaling (Stelling 3)

• Geen-Curriculum: Het identificeren van het grondwaarheidspad met uitsluitend terminale beloningen vereist $T_{data}, T_{comp} \ge \tilde{\Omega}(d^{2k^*})$ orakelqueries en modelsteekproeven.
• Curriculum: Het gebruik van een curriculum-orakel (dat tussenstappen valideert) reduceert de complexiteit tot $T_{data} \le \tilde{O}((k^*+1)d^2)$ en $T_{comp} \le \tilde{O}((k^*+1)d^3)$.

3.4. Empirische Validatie

• Synthetische Experimenten: Op de pariteitstaak convergeerden curriculummethoden met aanzienlijk minder steekproeven (bijvoorbeeld $n \approx 76$ versus $n \approx 1.6 \times 10^6$ voor directe training) en leerden ze de juiste attentie-afhankelijkheden (ouder-kind relaties), terwijl directe training faalde om informatieve signalen te onderscheiden van schijnbare correlaties.
• Grootschalige Experimenten: Geëvalueerd op Countdown, MATH en Blocksworld benchmarks met een Qwen2.5-1.5B-Instruct basismodel.
  • Beide curriculumstrategieën presteerden over het algemeen beter dan het basismodel en niet-curriculum GRPO fine-tuning.
  • Countdown: Hint-afnemend behaalde het beste overall gemiddelde.
  • MATH: Diepte-verhogend behaalde het beste overall gemiddelde.
  • Blocksworld: Winsten waren kleiner en meer afhankelijk van het specifieke curriculumtype, wat wijst op gevoeligheid voor taakstructuur.

4. Betekenis en Claims

Het artikel claimt de eerste geprincipeerde theoretische understanding te bieden van waarom curriculum post-training de steekproefefficiëntie verbetert voor transformer-redenering.

• Theoretische Kloof: Het overbrugt de kloof tussen empirische observaties van curriculum learning en rigoureuze theorie, en gaat voorbij aan "intuïtieve" voordelen naar bewezen exponentieel-naar-polynoom reducties in steekproefcomplexiteit.
• Mechanisme: Het identificeert dat het primaire voordeel voortkomt uit het overwinnen van de zeldzaamheid van correcte redeneertrajecten onder het basisbeleid. Door de taak te decomponeren, zorgen curricula ervoor dat het model de juiste afhankelijkheidsstructuur leert (bijvoorbeeld attentie op het juiste vorige token) voordat het de volledige complexiteit van het probleem ondergaat, waardoor het "reward hacking" fenomeen wordt vermeden waarbij modellen shortcuts leren die werken voor het eindantwoord maar falen in het generaliseren van het redeneerproces.
• Generaliteit: Hoewel de bewijzen zijn geïmplementeerd op 2S-ART (dekkend voor pariteit, countdown en grafen traverseren), betogen de auteurs dat het onderliggende op dekking gebaseerde mechanisme (Corollarium 1) suggereert dat deze voordelen kunnen worden uitgebreid naar andere post-training regimes en modelarchitecturen, inclusief diffusie-taalmodellen.

Het werk claimt niet dat curricula universeel superieur zijn voor alle taken of dat ze de behoefte aan grootschalige data elimineren; het demonstreert eerder dat wanneer een taak kan worden opgesplitst in een reeks subtaken met gecontroleerde moeilijkheidsverhogingen, curriculum post-training een bewezen pad biedt naar efficiënt leren dat directe training niet kan bereiken.