Technische Samenvatting: Taylor-Calibrate

Probleemstelling

Hybride lineaire aandachtmodellen bieden een veelbelovend pad naar efficiënte inferentie met lange contexten door de kwadratische softmax-aandacht te vervangen door een vastformaat recurrente of state-space geheugen (bijv. Gated DeltaNet, GDN). Hoewel een praktische aanpak om dergelijke modellen te verkrijgen het converteren van vooraf getrainde Transformers is in plaats van vanaf nul trainen, zijn huidige conversiemethoden broos.

Bestaande pipelines kopiëren doorgaans de query-, key-, value- en output-projecties van de leraar ($W_Q, W_K, W_V, W_O$), maar laten de nieuw geïntroduceerde recurrente dynamiek (decay-tijdschalen, write gates en output gates) over aan willekeurige initialisatie of standaard heuristieken. Dit creëert een mismatch in het "dynamische regime": de geconverteerde student begint vaak met een slechte zero-shot kwaliteit omdat de recurrente staat de historie ofwel te agressief wist, ofwel ongestructureerde ruis injecteert. Bijgevolg moet de daaropvolgende distillatie een aanzienlijk deel van het tokenbudget besteden aan het louter repareren van deze initialisatie, in plaats van het leren van het resterende gedrag van de leraar.

Methodologie: Taylor-Calibrate

De auteurs stellen Taylor-Calibrate voor, een lichtgewicht, tweefasige initialisatiemethode voor GDN-gebaseerde hybride distillatie. De kerninzicht is dat hybride transfer niet louter een projectie-kopieerprobleem is, maar een initialisatieprobleem voor recurrente dynamiek. De methode maakt gebruik van een Taylor-expansie met lage orde van softmax-aandacht om kalibratiestatistieken van de leraar af te leiden, die vervolgens worden toegewezen aan GDN-parameters.

Fase 1: Taylor-afgeleide Analytische Kalibratie

Deze fase gebruikt de aandachtstatistieken van de leraar om de schalen voor de value-projectie, decay-bias, write gates en output gates in te stellen voordat er enige training plaatsvindt.

1. Value Schaal ($W_V$): De output-amplitude van de leraar wordt gematcht met de value-pad van de student met behulp van een per-head Ordinary Least Squares (OLS) herschalingsfactor ($\sigma^*_h$).
2. Decay Bias ($dt_{bias}$): De gemiddelde aandachtsafstand ($d_h$) van de leraar wordt gebruikt om de recurrente decay-tijdschaal in te stellen. De methode gaat ervan uit dat het recurrente geheugen na ongeveer $d_h$ tokens met de helft moet zijn afgenomen, wat leidt tot een gesloten vorm initialisatie: $dt_{bias,h} = \text{softplus}^{-1}(\ln 2 / d_h)$.
3. Write Gate ($b_{proj}$): De entropie van de aandachtverdeling van de leraar wordt genormaliseerd naar een concentratiescore ($c_h$). Deze wordt in kaart gebracht naar een doel-write gate waarschijnlijkheid ($\beta^*_h = 0.3 + 0.4c_h$). De overeenkomstige rij in de write-projectiematrix wordt herschaald zodat de gemiddelde pre-sigmoid logit overeenkomt met $\text{logit}(\beta^*_h)$.
4. Output Gate ($g_{proj}$): Om te voorkomen dat de output gate de recurrente staat aanvankelijk overstemt, wordt deze geïnitialiseerd als een kleine, RMS-gematchte perturbatie ($\alpha^*_\ell$) relatief aan de output-schaal van de leraar.

Fase 2: Per-laag Gradiënt-uitlijning

Analytische kalibratie stelt de juiste schalen in, maar kan niet de exacte richtingen bepalen die nodig zijn om de niet-lineaire output van de leraar te matchen. De tweede fase voert een korte, lokaal-per-laag uitlijningsstap uit op een kleine kalibratie-corpus.

• Het doel is om de gekwadrateerde fout te minimaliseren tussen de GDN-output van de student en de output van de leraar voor dezelfde input.
• Deze stap werkt zowel de getransfereerde projecties als de nieuw geïnitialiseerde recurrente parameters bij.
• Cruciaal is dat deze uitlijning de gate-parameters roteert naar richtingen die leraar-achtige outputs produceren zonder hun magnitude drastisch te vergroten, wat het model effectief overgaat van de analytische prior naar de specifieke leraar-dynamiek.

Belangrijkste Bijdragen

1. Herformulering van Conversie: Het artikel formuleert de conversie van hybride lineaire aandacht als een initialisatieprobleem voor recurrente dynamiek, en betoogt dat het kopiëren van projecties onvoldoende is zonder de geheugen- en gating-mechanismen te kalibreren.
2. Taylor-Calibrate Algoritme: Een tweefasige methode die analytische Taylor-afgeleide kalibratie (gebruikmakend van de aandachtstatistieken van de leraar om decay, write en output gates in te stellen) combineert met een korte, lokaal-per-laag uitlijningsstap.
3. Empirische Validatie: Evaluatie over vier leraar-modellen (Qwen2.5-1.5B/3B, Llama-3.2-3B, Qwen3-8B) en drie laag-selectiebeleid toont aan dat Taylor-Calibrate de naïeve conversie-baselines aanzienlijk overtreft.

Resultaten

Het artikel rapporteert substantiële verbeteringen in zowel zero-shot prestaties als trainingsefficiëntie:

• Zero-Shot Kwaliteit: Taylor-Calibrate produceert substantieel sterkere zero-shot studenten. In een representatieve ablatie (Qwen2.5-3B) verbeterde de methode de initiële perplexiteit met 88× vergeleken met een baseline die alleen projecties kopieert.
• Trainingsefficiëntie: De methode stelt geconverteerde modellen in staat om de gematchte recovery-doelen te bereiken met 4,9× tot 9,2× minder trainingstokens dan naïeve conversie. Dit geeft aan dat een groot deel van het recovery-budget in standaardmethoden wordt besteed aan het corrigeren van een slechte initialisatie.
• Recovery Dynamiek: Trainingscurves laten zien dat Taylor-Calibrate start vanaf een lagere loss en een gunstiger optimalisatietraject behoudt. Terwijl short-context prestaties (Avg) snel herstellen, blijft long-context retrieval (RULER) een langzamer proces, hoewel de verbeterde initialisatie ook hiervoor een beter startpunt biedt.
• Ablatie Inzichten: De studie bevestigt dat Fase 1 (analytische kalibratie) een gecontroleerde geheugen-tijdschaal instelt, terwijl Fase 2 (uitlijning) essentieel is voor het activeren en oriënteren van de gates om de leraar-outputs te matchen. Geen van beide fasen alleen is voldoende voor optimale prestaties.

Betekenis en Claims

Het artikel claimt dat initialisatie een kritiek, vaak over het hoofd gezien onderdeel is van architectuurtransfer, naast laag-selectie en distillatie. Door de "dynamische regime" van de leraar expliciet via Taylor-geleide statistieken over te dragen naar de student, transformeert Taylor-Calibrate mislukte zero-shot hybriden in bruikbare studenten.

De auteurs positioneren dit werk als een stap naar een efficiëntere en meer principiële conversie van grote taalmodellen. Ze merken op dat hoewel de methode momenteel specif kind aan Gated DeltaNet, de bredere boodschap — dat transfer van lineaire aandacht het initialiseren van dynamische parameters vereist, en niet alleen projectiegewichten — van toepassing is op andere efficiënte sequence mixers. Het artikel concludeert dat het uitbreiden van deze kalibratievisie naar andere architecturen en het verfijnen van head-wise conversiestrategieën natuurlijke vervolgstappen zijn voor toekomstig werk.