Riepilogo Tecnico: Deriva dell'Attenzione nel Decodifica Speculativa Autoregressiva

Enunciato del Problema

La decodifica speculativa accelera l'inferenza dei Modelli Linguistici di Grandi Dimensioni (LLM) utilizzando un modello "drafter" leggero per prevedere i token futuri, che vengono poi verificati da un modello "target" più grande. Sebbene efficace, i modelli drafter attuali (in particolare EAGLE-3 e le testine di previsione multi-token) mostrano una fragilità significativa in presenza di variazioni di deployment, come perturbazioni dei template e input a contesto lungo. I praticanti spesso devono riaddestrare i drafter per motori di inferenza o prompt specifici per mantenere le prestazioni, suggerendo un'instabilità architetturale sottostante.

Il documento identifica un fenomeno precedentemente non segnalato chiamato Deriva dell'Attenzione. Mentre un drafter genera una sequenza di token speculativi, il suo meccanismo di attenzione si sposta progressivamente lontano dal "sink di attenzione" (un token di ancoraggio stabile, tipicamente vicino all'inizio del prompt) e si concentra sempre più sui propri token appena generati. Questa deriva è correlata a un degrado dei tassi di accettazione, in particolare negli scenari a contesto lungo e quando i template di input si discostano dalle distribuzioni di addestramento.

Metodologia e Analisi

Gli autori indagano le cause profonde della deriva dell'attenzione attraverso una combinazione di osservazione empirica e analisi architetturale su più famiglie di modelli (Llama 3.1, Qwen 3/3.5 e GPT-oss).

1. Osservazione Fenomenologica

Utilizzando mappe di calore dell'attenzione e metriche quantitative, gli autori dimostrano che:

• Migrazione del Sink: Nei modelli con sink di attenzione forti (ad es. Llama, Qwen), l'attenzione del drafter verso il token sink diminuisce man mano che la catena di speculazione si approfondisce, mentre l'attenzione verso il token draftato più recente aumenta.
• Universalità: Questa deriva è osservata sia nei drafter EAGLE-3 (addestrati a posteriori su target congelati) che nelle testine MTP (addestrate congiuntamente al target), suggerendo che sia una proprietà delle architetture autoregressive che consumano i propri output.
• Assenza del Sink: Anche nei modelli progettati per sopprimere i sink (ad es. GPT-oss con attenzione gating o bias apprendibili), si verifica una forma di deriva in cui l'attenzione si concentra sui token ricorrenti del template piuttosto che sull'inizio del prompt.

2. Analisi delle Cause Profonde: Magnitudine dello Stato Nascosto

Il documento fa risalire la deriva dell'attenzione al percorso residuo non normalizzato tra i passaggi di speculazione nelle architetture pre-norm standard:

• Crescita Monotona: Nei transformer pre-norm, le connessioni residue accumulano magnitudine senza normalizzazione. Gli autori dimostrano che la magnitudine dello stato nascosto del drafter ($\|h^*_k\|$) cresce in modo monotono con la profondità della speculazione ($k$).
• Accumulo di Strati vs Autoregressione: Questa crescita fa sì che il drafter si comporti meno come un predittore autoregressivo autonomo e più come una sequenza di strati transformer aggiuntivi impilati sopra il target. Al passo $k$, il drafter approssima efficacemente il modello target alla profondità $N+k$, anziché prevedere il token successivo basandosi su una distribuzione stabile.
• Input Squilibrati: Gli stati nascosti fusi provenienti dal modello target ($h_{FC}$) sono spesso dominati da strati più profondi con magnitudini maggiori, esacerbando ulteriormente il disallineamento di scala quando vengono immessi nel drafter.

3. Interventi Proposti

Per contrastare l'accumulo di magnitudine e stabilizzare il processo di drafting, gli autori propongono due modifiche architetturali:

1. Post-Norm sugli Stati Nascosti del Drafter: Applicare RMSNorm agli stati nascosti del drafter dopo la connessione residua (tra i passaggi di speculazione) previene la crescita monotona della magnitudine. Questo costringe il drafter a imparare una regola autoregressiva invariante rispetto alla profondità, anziché raffinamenti specifici per la profondità.
2. RMSNorm per Stato Nascosto: Aggiungere livelli RMSNorm prima di fondere gli stati nascosti del target ($h_{low}, h_{mid}, h_{high}$) nell'input del drafter per bilanciare la magnitudine del segnale in ingresso.

Gli autori valutano inoltre l'Attenzione Gated (soppressione della dipendenza da un sink fisso) come intervento separato. Scoprono che, sebbene il gating elimini il sink, non previene la crescita della magnitudine, e combinare gating con post-norm può portare a una sovraregolazione (collasso dell'entropia).

Risultati Chiave

L'architettura post-norm proposta è stata valutata rispetto all'attuale stato dell'arte pre-norm EAGLE-3 su vari benchmark e condizioni:

• Perturbazione del Template: In caso di perturbazioni del template (ad es. rimozione di template di chat o token di inizio sequenza), il drafter post-norm ha migliorato la lunghezza di accettazione fino a 2× rispetto al pre-norm. I modelli pre-norm hanno subito crolli catastrofici (fino al 52% di perdita), mentre i modelli post-norm sono rimasti resilienti (massimo 5% di perdita).
• Compiti a Contesto Lungo: Su compiti a contesto lungo (LongBench, chat multi-turno con attenzione a finestra scorrevole), il post-norm ha migliorato la lunghezza di accettazione di 1,18×. In contesti a contesto lungo con attenzione completa, i modelli pre-norm sono collassati a un'accettazione quasi nulla, mentre il post-norm ha mantenuto prestazioni utilizzabili.
• Benchmark Standard: Su sette benchmark standard (chat multi-turno, matematica, coding), il post-norm ha mostrato un miglioramento coerente di 1,10× nella lunghezza di accettazione.
• Efficienza di Addestramento: I drafter post-norm generalizzano a profondità di inferenza oltre il loro orizzonte di addestramento. Questo permette di addestrare con profondità "train-time-test" (TTT) più brevi (ad es. riducendo da 8 a 4 passaggi), tagliando il tempo di addestramento di circa un terzo senza sacrificare le prestazioni.
• Robustezza al Rumore: Le architetture post-norm tollerano significativamente più rumore negli stati nascosti (58% di ritenzione dell'accettazione a rumore $\alpha=0.5$ contro il 5% per il pre-norm), suggerendo una migliore robustezza alla quantizzazione e agli spostamenti di distribuzione.

Significato e Affermazioni

Il documento afferma che la Deriva dell'Attenzione è una modalità di fallimento critica e precedentemente non segnalata nella decodifica speculativa, che deriva dall'interazione tra percorsi residui non normalizzati e feedback autoregressivo.

• Diagnosi: Gli autori sostengono che la deriva dell'attenzione è un sintomo di un problema più profondo: l'accumulo della magnitudine dello stato nascosto, che causa al drafter di imparare trasformazioni dipendenti dalla profondità anziché una previsione di token stabile.
• Soluzione: Affermano che semplicemente correggere il sink di attenzione (ad es. tramite gating) è insufficiente; è necessario affrontare la dinamica sottostante della magnitudine. L'architettura post-norm proposta è presentata come una soluzione semplice ed efficace che stabilizza il processo di drafting.
• Generalizzazione: I risultati suggeriscono che il post-norm dovrebbe essere considerato una scelta architetturale predefinita per i drafter di decodifica speculativa, in particolare per i sistemi di produzione che richiedono robustezza contro prompt variabili e contesti lunghi.

Il documento conclude che nominare e caratterizzare la "deriva dell'attenzione" fornisce una diagnosi utile per la robustezza del drafter, e che gli interventi architetturali mirati all'accumulo di magnitudine sono essenziali per una decodifica speculativa affidabile.