Technische Samenvatting: Wat doet ertoe bij het lineariseren van taalmodellen?

Probleemstelling

Linearisatie is een primaire strategie geworden voor de ontwikkeling van efficiënte taalmodellen (LM's) door het $O(L^2)$ zelf-aandachtmechanisme van Transformers te vervangen door subkwadratische token-mixers (bijv. lineaire aandacht, gated recurrences). Hoewel deze aanpak ernaar streeft om de prestaties van grootschalige Transformers te behouden terwijl ze lineaire-tijd inferentie en een constante geheugenoverhead biedt, blijven er aanzienlijke hiaten bestaan in het begrip van dit veld.

De huidige literatuur lijdt onder heterogene evaluatievoorwaarden, variërend in modelgrootte, trainingsbudgetten en distillatie-doelstellingen. Bijgevolg is het onduidelijk welke specifieke inductieve biases (zoals gating, verval of delta-regel updates) het best geschikt zijn om de capaciteiten van een Transformer over te nemen. Bovendien blijft de schaalbaarheid van deze gelineariseerde modellen met betrekking tot het aantal parameters en het tokenbudget, evenals hun levensvatbaarheid voor downstream-taken zoals instructie-tuning en long-context retrieval, een open vraaggebied.

Methodologie

Om deze hiaten aan te pakken, stellen de auteurs een uniform empirisch kader voor om zeven representatieve subkwadratische architecturen te vergelijken: xLSTM, GLA, Gated DeltaNet, DeltaNet, RetNet, Kimi (KDA) en Linear Attention.

Experimentele Opzet

De studie isoleert de token-mixer als de primaire variabele door een driedelige distillatie-pipeline te gebruiken die student-modellen afstemt op een vooraf getraind Transformer-leraar (SmolLM2-familie), terwijl de leraar, de datadistributie en het trainingsrecept constant worden gehouden.

1. Token-mixer (Attention-Output) Afstemming: De token-mixer van de student wordt afgestemd op de aandacht-output van de leraar met behulp van een MSE-loss. Dit zorgt voor een dichte supervisiesignaal over de gehele mixing-pathway.
2. Hidden-State Afstemming: Tussenliggende verborgen representaties van de leraar en de student worden afgestemd via MSE-loss.
3. End-to-End Kennisdistillatie: De student wordt end-to-end getraind met standaard kennisdistillatie (Next-Token Prediction + KL Divergentie).

Evaluatiedimensies

De studie evalueert de modellen over drie verschillende experimentele assen:

1. Scaling Laws: Modellen worden getraind op drie parameterschalen (140M, 360M en 1.7B) op een vast budget van 3B tokens om prestatiehiërarchieën te observeren.
2. Asymptotische Volwassenheid: Modellen worden vastgezet op ~1.7B parameters en getraind op een uitgebreid budget van 10B tokens om te bepalen of prestatiekloven voortkomen uit ondergetraindheid of fundamentele architecturale limieten.
3. Downstream Adaptatie: De gedestilleerde studenten ondergaan instructie-tuning (Post-Training SFT) en instructie-bewuste distillatie om hun vermogen te beoordelen om instructies op te volgen en long-context retrieval uit te voeren (Needle-In-A-Haystack taken).

Belangrijkste Bijdragen en Resultaten

1. Stabiliteit van Prestatiehiërarchieën en Schalingsexponenten

De studie vindt dat prestatiehiërarchieën tussen architecturen opmerkelijk stabiel blijven over verschillende schalen (140M tot 1.7B).

• Gated Architecturen: Modellen met gating-mechanismen (xLSTM, Gated DeltaNet) presteren consequent beter dan niet-gated baselines (Linear Attention, RetNet).
• Het Crossover Punt: Een cruciale bevinding is een "crossover" bij de 1.7B schaal. Terwijl xLSTM leidt bij kleinere schalen, komt Gated DeltaNet als beste uit de bus bij 1.7B (94.2% herstel van de leraar-prestaties). Dit suggereert dat foutcorrigerende update-regels (Delta-regel) superieure schalingsexponenten bezitten vergeleken met puur additieve alternatieven naarmate de modelcapaciteit toeneemt.
• Intrinsieke Tekortkomingen: De prestatiekloof tussen Linear Attention en gated modellen wordt groter met de schaal (van ~14% bij 140M naar ~20% bij 1.7B), wat aangeeft dat de tekortkomingen van additieve lineaire aandacht intrinsiek zijn aan de architectuur en niet kunnen worden overwonnen door enkel het aantal parameters te vergroten.

2. State Resolution als Fundamentele Bottleneck

Het uitbreiden van de training naar 10B tokens laat zien dat relatieve prestatiekloven vroeg worden gevestigd en aanhouden, zelfs wanneer modellen de asymptotische limieten naderen.

• Volwassenheid: De prestaties plateaueren voor gated modellen na 6–7B tokens, terwijl niet-gated modellen eerder op een lager niveau verzadigen. Dit bevestigt dat de kloven niet te wijten zijn aan ondergetraindheid, maar fundamentele limieten vertegenwoordigen in hoe verschillende mixers informatie comprimeren.
• Retrieval Capaciteiten: In Needle-In-A-Haystack (NIAH) taken lijden de meeste architecturen aan een instorting van de state resolution naarmate de sequentielengte toeneemt. Linear Attention en RetNet falen bijna volledig voorbij 512 tokens.
• Superioriteit van Gated Delta-Rule: Gated DeltaNet is de enige architectuur die significante retrieval-precisie behoudt bij uitgebreide contexten (bijv. 81.8% nauwkeurigheid bij 2k tokens), wat aantoont dat de gated delta-regel een effectiever mechanisme biedt voor gerichte state-updates en het voorkomen van state-verzadiging.

3. Instructie Adaptatie en Distillatie

De studie evalueert of instructie-tuning de architecturale zwakheden kan compenseren.

• Versterking van Verschillen: Post-training instructie-tuning verbetert de prestaties voor alle architecturen, maar versterkt bestaande verschillen. Sterkere modellen (Gated DeltaNet, xLSTM) profiteren aanzienlijk, terwijl zwakkere modellen beperkte winst laten zien.
• Distillatie Beperkingen: Instructie-bewuste distillatie (trainen op een instructie-getunede leraar) biedt geen consistent voordeel ten opzien van standaard post-training tuning, en in sommige gevallen verslechtert het de long-context retrieval prestaties.
• Conclusie over Adaptatie: Instructie-adaptatie verandert de fundamentele architecturale beperkingen die tijdens de linearisatie zijn opgelegd niet. Het vermogen om informatie selectief te behouden en te overschrijven blijft de dominante factor die de downstream prestaties bepaalt.

Betekenis en Claims

Het artikel betoogt dat voor succesvolle linearisatie architecturale inductieve biases de primaire beperking zijn die niet simpelweg kan worden overwonnen door de training-compute te schalen of het distillatie-tokenbudget te vergroten.

• Design Hiërarchie: De studie stelt een duidelijke hiërarchie vast voor subkwadratisch design, waarbij foutcorrigerende update-regels (Delta-regel) gecombineerd met gating (specifiek head-wise of scalaire gating) doorslaggevender zijn voor succes dan additieve accumulatie of channel-wise gating.
• State Resolution: Het onderzoek stelt dat state resolution een fundamentelere bottleneck is dan het distillatie-budget. Modellen die hun interne state-precisie niet kunnen beheren (het voorkomen van verzadiging), falen effectief in het schalen of het afhandelen van lange contexten, ongeacht de duur van de training.
• Reproduceerbaarheid: Om verdere research te faciliteren, brengen de auteurs alle base, instructie-getunede en instructie-gedistilleerde modellen publiekelijk uit, om de reproduceerbaarheid van deze bevindingen te waarborgen.

De auteurs concluderen dat hoewel subkwadratische modellen stabiel getraind kunnen worden, de keuze van de token-mixer de bovengrens van de prestaties bepaat, waarbij gated delta-rule formuleringen momenteel de meest robuuste weg bieden naar efficiënte, long-context in staat beschikbare taalmodellen.