Riepilogo Tecnico: Taylor-Calibrate

Problema

I modelli di attenzione lineare ibrida offrono una strada promettente per l'inferenza efficiente a lungo contesto, sostituendo l'attenzione softmax quadratica con una memoria ricorrente o a spazio di stato a dimensione fissa (ad esempio, Gated DeltaNet, GDN). Sebbene un approccio pratico per ottenere tali modelli sia la conversione di Transformer pre-addestrati piuttosto che l'addestramento da zero, i metodi di conversione attuali sono fragili.

Le pipeline esistenti tipicamente copiano le proiezioni di query, key, value e output del teacher ($W_Q, W_K, W_V, W_O$), ma lasciano la nuova dinamica ricorrente (scale temporali di decadimento, gate di scrittura e gate di output) alla casualità dell'inizializzazione o a euristiche standard. Ciò crea un disallineamento del "regime dinamico": lo studente convertito spesso parte con una qualità zero-shot scarsa perché la memoria ricorrente cancella la storia in modo troppo aggressivo o inietta rumore non strutturato. Di conseguenza, il distillamento a valle deve spendere una parte significativa del budget di token semplicemente per riparare questa inizializzazione, invece di apprendere il comportamento rimanente del teacher.

Metodologia: Taylor-Calibrate

Gli autori propongono Taylor-Calibrate, un metodo di inizializzazione leggero in due fasi per la distillazione ibrida basata su GDN. L'intuizione centrale è che il trasferimento ibrido non è solo un problema di copia delle proiezioni, ma un problema di inizializzazione per la dinamica ricorrente. Il metodo sfrutta una visione basata sull'espansione di Taylor di ordine inferiore dell'attenzione softmax per derivare statistiche di calibrazione dal teacher, che vengono poi mappate sui parametri GDN.

Fase 1: Calibrazione Analitica Derivata da Taylor

Questa fase utilizza le statistiche dell'attenzione del teacher per impostare le scale per la proiezione dei valori, il bias di decadimento, i gate di scrittura e i gate di output prima di qualsiasi addestramento.

1. Scala del Valore ($W_V$): L'ampiezza dell'output del teacher viene fatta corrispondere al percorso del valore dello studente utilizzando un fattore di riscalamento per ogni testa tramite Minimi Quadrati Ordinari (OLS) ($\sigma^*_h$).
2. Bias di Decadimento ($dt_{bias}$): La distanza media di attenzione ($d_h$) del teacher viene utilizzata per impostare la scala temporale di decadimento ricorrente. Il metodo assume che la memoria ricorrente debba decadere della metà dopo circa $d_h$ token, portando a un'inizializzazione in forma chiusa: $dt_{bias,h} = \text{softplus}^{-1}(\ln 2 / d_h)$.
3. Gate di Scrittura ($b_{proj}$): L'entropia della distribuzione dell'attenzione del teacher viene normalizzata in un punteggio di concentrazione ($c_h$). Questo viene mappato in una probabilità target del gate di scrittura ($\beta^*_h = 0.3 + 0.4c_h$). La riga corrispondente nella matrice di proiezione di scrittura viene riscalata in modo che il logit medio pre-sigmoid match con $\text{logit}(\beta^*_h)$.
4. Gate di Output ($g_{proj}$): Per evitare che il gate di output sovrasti inizialmente lo stato ricorrente, esso viene inizializzato come una piccola perturbazione accoppiata alla scala RMS ($\alpha^*_\ell$) rispetto alla scala di output del teacher.

Fase 2: Allineamento del Gradiente per Layer

La calibrazione analitica imposta le scale corrette, ma non può determinare le direzioni esatte necessarie per corrispondere all'output non lineare del teacher. La seconda fase esegue un breve passaggio di allineamento locale per layer su un piccolo corpus di calibrazione.

• L'obiettivo è minimizzare l'errore quadratico tra l'output GDN dello studente e l'output del teacher per lo stesso input.
• Questo passaggio aggiorna sia le proiezioni trasferite che i nuovi parametri ricorrenti inizializzati.
• Fondamentalmente, questo allineamento ruota i parametri dei gate verso direzioni che producono output simili al teacher senza aumentare drasticamente la loro grandezza, effettuando efficacemente la transizione del modello dal prior analitico alla specifica dinamica del teacher.

Contributi Chiave

1. Riformulazione della Conversione: Il documento riformula la conversione di attenzione lineare ibrida come un problema di inizializzazione per la dinamica ricorente, sostenendo che copiare le proiezioni è insufficiente senza calibrare la memoria e i meccanismi di gating.
2. Algoritmo Taylor-Calibrate: Un metodo in due fasi che combina la calibrazione analitica derivata da Taylor (utilizzando le statistiche dell'attenzione del teacher per impostare decadimento, gate di scrittura e gate di output) con un breve passaggio di allineamento locale per layer.
3. Validazione Empirica: La valutazione su quattro modelli teacher (Qwen2.5-1.5B/3B, Llama-3.2-3B, Qwen3-8B) e tre policy di selezione dei layer dimostra che Taylor-Calibrate supera significativamente i baseline di conversione ingenui.

Risultati

Il documento riporta miglioramenti sostanziali sia nelle prestazioni zero-shot che nell'efficienza dell'addestramento:

• Qualità Zero-Shot: Taylor-Calibrate produce studenti zero-shot sostanzialmente più forti. In un'ablazione rappresentativa (Qwen2.5-3B), il metodo ha migliorato la perplessità iniziale di 88× rispetto a un baseline che copia solo le proiezioni.
• Efficienza dell'Addestramento: Il metodo consente ai modelli convertiti di raggiungere i target di recupero corrispondenti con da 4,9 a 9,2 volte meno token di addestramento rispetto alla conversione ingenua. Ciò indica che una grande frazione del budget di recupero nei metodi standard è spesa per correggere la cattiva inizializzazione.
• Dinamiche di Recupero: Le curve di addestramento mostrano che Taylor-Calibrate parte da una perdita più bassa e mantiene una traiettoria di ottimizzazione più favorevole. Mentre le prestazioni a contesto breve (Avg) si recuperano rapidamente, il recupero del lungo contesto (RULER) rimane un processo più lento, sebbene la migliore inizializzazione fornisca un punto di partenza migliore anche per questo recupero.
• Insight dalle Ablazioni: Lo studio conferma che la Fase 1 (calibrazione analitica) imposta una scala temporale di memoria controllata, mentre la Fase 2 (allineamento) è essenziale per attivare e orientare i gate per corrispondere agli output del teacher. Nessuna delle due fasi da sola è sufficiente per prestazioni ottimali.

Significato e Rivendicazioni

Il documento sostiene che l'inizializzazione è una componente critica, spesso trascurata, del trasferimento di architettura, insieme alla selezione dei layer e al distillamento. Esplicitamente trasferendo il "regime dinamico" del teacher allo studente tramite le statistiche guidate da Taylor, Taylor-Calibrate trasforma gli ibridi zero-shot falliti in studenti utilizzabili.

Gli autori pongono questo lavoro come un passo verso una conversione più efficiente e strutturata dei grandi modelli linguistici. Notano che, sebbene il metodo sia attualmente specifico per Gated DeltaNet, il messaggio più ampio — che il trasferimento dell'attenzione lineare richiede l'inizializzazione dei parametri dinamici, non solo dei pesi di proiezione — si applica ad altri mixer di sequenze efficienti. Il documento conclude che estendere questa visione di calibrazione ad altre architetture e affinare le strategie di conversione per testa è una naturale direzione per il lavoro futuro.