Technische Samenvatting: Kritieke Vensters voor Complexiteitscontrole in Transformers

Probleemstelling

Recente literatuur heeft vastgesteld dat Transformers compositieve generalisatie (redeneren) kunnen bereiken in plaats van memorisatie op specifieke taken door complexiteit te beheersen via kleine initialisatieschalen ($\gamma$) en gewichtsverval ($\lambda$). Echter, bestaande analyses behandelen deze hyperparameters als statische keuzes, waarbij wordt aangenomen dat de grootte van regularisatie de enige bepalende factor is voor de trajectorie van het model. Dit artikel onderzoekt een kritieke kloof: of het tijdstip van complexiteitscontrole ertoe doet. Specifiek wordt onderzocht of de beslissing tussen memorisatie- en redeneeroplossingen gedurende de hele training wordt genomen, of dat deze binnen een specifiek, identificeerbaar tijdsvenster wordt vastgesteld.

Methodologie

De auteurs hanteren een gecontroleerd experimenteel raamwerk dat is gebaseerd op de anchor-functietask (geïntroduceerd door Zhang et al., 2025), waarbij modellen permutaties van ankersymbolen moeten samenstellen.

• Architectuur: Kleine 2-laags en 4-laags pre-norm Transformers ($d_{model}=64$, 2 heads).
• Training: Volledige instrumentatie maakt per-stap Out-of-Distribution (OOD) nauwkeurigheidsmonitoring, condensatie-indicatoren en subspace-uitlijningen mogelijk.
• Kernvariabele: De auteurs variëren systematisch de temporale plaatsing van gewichtsverval ($\lambda$), terwijl het cumulatieve regularisatiebudget ($\int \lambda(t) dt$) en de initialisatieschaal ($\gamma$) constant worden gehouden.
• Experimenteel Ontwerp: Ze testen "venster"-schema's waarbij gewichtsverval alleen wordt toegepast tijdens specifieke intervallen (bijv. vroeg, midden, laat) van de training, en vergelijken deze met volledige training en baselines zonder regularisatie.
• Theoretische Analyse: Een gelineariseerd twee-laags attentiemodel wordt geanalyseerd om snelheidsvergelijkingen af te leiden voor "memorisatiemassa" en "redeneermassa", waarbij een scheiding in hun tijdschalen wordt voorspeld.

Belangrijkste Bijdragen en Resultaten

1. Het Bestaan van een Kritiek Venster

De primaire empirische bevinding is dat het lot van een Transformer (redeneren versus memoriseren) wordt beslist binnen een scherp, smal venster van training.

• Venstereffectiviteit: Het toepassen van gewichtsverval gedurende één enkel venster van 25% van de training (specifiek stappen 2.500–17.500 in een run van 20.000 stappen) levert OOD-nauwkeurigheid (0,93) op die vergelijkbaar is met gewichtsverval gedurende de volledige training (0,91).
• Ineffectiviteit Buiten het Venster: Het toepassen van hetzelfde gewichtsvervalbudget volledig voor dit venster (stappen 0–5.000) of volledig na dit venster resulteert in OOD-nauwkeurigheid op het niveau van toeval (~0,15), niet te onderscheiden van geen regularisatie.
• Budget versus Tijdstip: Wanneer het totale regularisatiebudget constant wordt gehouden, levert het plaatsen ervan in het midden van de training 5–9$\times$ hogere OOD-nauwkeurigheid op dan het plaatsen ervan vroeg. Dit toont aan dat wanneer regularisatie wordt toegepast kritischer is dan hoeveel wordt toegepast.

2. Scherpheid van de Temporele Grens

De overgang naar het kritieke venster is opmerkelijk abrupt.

• Het verschuiven van de vensterstart met slechts 100 optimalisatiestappen zorgt ervoor dat de gemiddelde OOD-nauwkeurigheid springt van toeval (0,15) naar het redeneergebied (0,61).
• Binnen 400 stappen bereikt het systeem het redeneerplateau (0,93). Dit suggereert een fase-overgang-achtig gedrag waarbij het vermogen van het model om naar redeneren te worden gestuurd pas actief is na een specifieke initialisatieperiode.

3. Initialisatieschaal en Bekkensverkleining

In tegenstelling tot de heersende aanbeveling dat kleinere initialisatie uniform beter is voor redeneren, vindt het artikel een genuanceerde relatie:

• Vensterpositie: Het kritieke venster verschuift naar een eerder tijdstip naarmate $\gamma$ toeneemt.
• Aantrekkingsbekken: Bij zeer kleine initialisatieschalen (bijv. $\gamma=0,5$) verkleint het aantrekkingsbekken voor de redeneeroplossing aanzienlijk. In runs met 12 zaden bereikte slechts 8/12 zaden OOD > 0,5 bij $\gamma=0,5$, terwijl 12/12 slaagde bij $\gamma=1,1$.
• Implicatie: Matige initialisatie ($\gamma \in [0,7, 1,1]$) biedt een breder aantrekkingsbekken voor redeneeroplossingen onder eindige trainingstijd, wat de heuristiek "kleiner is altijd beter" uitdaagt.

4. Takspecificiteit en Reikwijdte

Het fenomeen is niet universeel voor alle taken met vertraagde generalisatie:

• Grokking (Modulaire Aritmetica): Het kritieke venster verschijnt niet. Bij modulaire aritmetica bereikt correct afgestemd constant gewichtsverval grokking 5$\times$ sneller dan tijd-gelocaliseerde schema's.
• SCAN (add_prim_jump): Vanille 2-laags Transformers slagen er onder geen enkel schema in om het compositieve oplossingsbekken volledig te bereiken, wat aangeeft dat het fenomeen een verlieslandschap vereist waarin zowel memorisatie- als redeneerbekkens bereikbaar zijn.

5. Theoretisch Mechanisme: Twee-Tijdschalen Scheiding

De auteurs bieden een theoretische verklaring op basis van een gelineariseerd model dat aantoont dat memorisatie- en redenercircuits evolueren onder kwalitatief verschillende snelheidsvergelijkingen:

• Memorisatiesnelheid: $\mu_m = \Theta(1)$ (onafhankelijk van $\gamma$).
• Redeneersnelheid: $\mu_r = \Theta(\gamma^2)$.
• Mechanisme: Omdat redeneren veel langzamer evolueert dan memoriseren bij kleine $\gamma$, bestaat er een tijdsinterval waarin memoriseren verzadigd is maar redeneren zich nog ontwikkelt. Gewichtsverval dat tijdens dit interval wordt toegepast, onderdrukt selectief het verzadigde memorisatiepad terwijl het het redeneerpad laat groeien. Gewichtsverval dat voor dit interval wordt toegepast, krimpt beide paden evenredig (geen effect op de verhouding), en na dit interval toegepast, heeft het model zich al vastgelegd op memoriseren.

6. Robuustheid

• Diepte: Het fenomeen blijft bestaan in 4-laags modellen, hoewel het redeneerplateau lager is en de variatie tussen zaden hoger, wat overeenkomt met de theoretische voorspelling van bekkenverkleining naarmate de parametervariabiliteit toeneemt.
• Optimizer: Het fenomeen reproduceert onder vanille SGD met momentum. Opmerkelijk is dat onder SGD constant gewichtsverval aanzienlijk slechter presteert dan vensterschema's, terwijl AdamW dit effect gedeeltelijk maskeert via adaptieve preconditionering.

Betekenis en Beweringen

Het artikel claimt een eerder ongerapporteerde tijd-gelocaliseerde fase-overgang in compositieve generalisatie te karakteriseren. De betekenis hiervan ligt in:

1. Herformulering van Complexiteitscontrole: Het verschuift het paradigma van een statisch hyperparameterperspectief naar een dynamisch, temporair perspectief. Het "recept" om redeneren te induceren is niet alleen "kleine $\gamma$ + gewichtsverval", maar "kleine $\gamma$ + gewichtsverval toegepast tijdens het kritieke venster".
2. Correctie van Eerdere Aanbevelingen: Het biedt een kanttekening bij de aanbeveling van minimale initialisatie, en toont aan dat matige initialisatie superieur kan zijn voor stabiliteit (bekkengrootte) in eindige-tijd trainingsschema's.
3. Theoretische Uitlijning: Het biedt een theoretische verklaring op basis van twee tijdschalen die het bestaan, de positie en de breedte van het kritieke venster voorspelt, evenals de waargenomen bekkenverkleining.
4. Definiëren van Reikwijdte: Het maakt duidelijk dat dit mechanisme specifiek van toepassing is op settings waarin het model toegang heeft tot zowel memorisatie- als redeneerbekkens, en onderscheidt dit van andere generalisatieverschijnselen zoals grokking.

De auteurs concluderen dat complexiteitscontrole fundamenteel een temporair fenomeen is en dat bestaande statische raamwerken onvolledig zijn om uit te leggen hoe Transformers kiezen tussen redeneer- en memorisatieoplossingen.