Riepilogo Tecnico: La Struttura di Instradamento e Filtraggio dell'Attenzione

Enunciato del Problema

Le architetture Transformer standard allocano le risorse di attenzione in modo uniforme su tutti i livelli, assegnando dimensioni identiche delle teste e complessità computazionale ($O(N^2)$) a ogni livello, indipendentemente dalla specifica funzione svolta da tale livello. Questa uniformità persiste perché non esiste una misurazione principiale per guidare un'allocazione non uniforme. Le recenti architetture ibride (ad esempio, Nemotron-H, Jamba, Griffin) tentano di risolvere il problema attraverso estese ricerche di iperparametri per trovare i rapporti ottimali tra livelli quadratici e lineari, ma questi rapporti sono specifici della scala e mancano di trasferibilità.

La questione centrale identificata è che la matrice di interazione dell'attenzione $QK^\top$ intreccia due funzioni computazionali distinte all'interno di un'unica matrice non vincolata:

1. Instradamento (Routing): Una componente antisimmetrica che dirige il flusso di informazioni tra le posizioni (trasporto conservativo).
2. Filtraggio: Una componente simmetrica che scala la rilevanza reciproca tra i token (controllo del guadagno).

Nell'attenzione standard, queste funzioni competono per la stessa capacità matriciale. L'analisi empirica di 1.776 teste su cinque modelli preaddestrati (varianti di GPT-2, BERT-base, Pythia-410M) rivela che il filtraggio domina il budget spettrale, mentre l'instradamento opera a un rango basso, ben al di sotto della capacità allocata dal kernel dei pesi. Inoltre, tutte le teste di attenzione standard risultano dinamicamente instabili (avendo autovalori con parti reali positive), affidandosi pesantemente alla Normalizzazione a Livello (LN) per contenere tale instabilità, il che oscura la vera struttura spettrale del meccanismo di instradamento.

Metodologia

Per disintrecciare queste funzioni e rivelare la struttura spettrale sottostante, gli autori introducono l'Attenzione S–D, una parametrizzazione diagnostica che separa per costruzione l'instradamento e il filtraggio:

• Instradamento ($S$): Modellato come una matrice antisimmetrica appresa ($S = -S^\top$). Ciò garantisce che gli autovalori siano puramente immaginari, rappresentando un trasporto di informazioni conservativo e a somma zero (rotazione tra modalità).
• Filtraggio ($D$): Modellato come una matrice diagonale positiva appresa ($D = \text{diag}(d_1, \dots, d_N)$). Ciò rappresenta un filtraggio dissipativo in cui ogni token possiede un coefficiente di smorzamento scalare.

La matrice di interazione è definita come $L = S - D$. Gli autori dimostrano che per ogni $S$ antisimmetrica reale e $D$ diagonale semidefinita positiva, la parte reale di ogni autovalore soddisfa $\text{Re}(\lambda) \le 0$. Ciò garantisce la stabilità architetturale senza la necessità di Normalizzazione a Livello.

Gli autori addestrano modelli S–D a diverse scale (da 7M a 355M parametri) su OpenWebText, incluse configurazioni con e senza Normalizzazione a Livello, per osservare come l'instradamento si auto-organizza quando non è vincolato dall'intreccio o dall'equalizzazione indotta dalla normalizzazione.

Risultati e Scoperte Chiave

1. La Cascata Spettrale

Quando l'instradamento e il filtraggio sono disintrecciati e la normalizzazione viene rimossa, l'instradamento si auto-organizza in una cascata spettrale (una gerarchia di rango) attraverso la profondità:

• Livello 0: Converge a un rango effettivo di 2 (un singolo piano di rotazione per la ridistribuzione ampia delle informazioni).
• Livelli Intermedi: Mantengono un plateau a basso rango (rango effettivo $\approx 2$–$3$).
• Livelli Terminali: Si espandono a ranghi superiori (fino a 10+ piani di rotazione indipendenti), con il rango finale determinato dalla dimensione della testa piuttosto che dalla profondità.
• Invarianza di Scala: Questo modello di cascata ascendente vale per tutte le scale testate (da 7M a 355M). All'aumentare delle dimensioni del modello, cresce la frazione di livelli che operano al rango spettrale minimo (dal 33% a 18M parametri al 92% a 355M).

2. Collasso del Filtraggio

Nell'architettura S–D disintrecciata, la componente di filtraggio collassa in un singolo scalare per testa. Truncare la componente di filtraggio a uno scalare medio per testa comporta un costo di perplessità trascurabile (+0,3 PPL), mentre la rimozione completa dell'instradamento causa un fallimento catastrofico. Ciò contrasta con l'attenzione standard, dove il filtraggio domina e l'instradamento è a basso rango.

3. Chirurgia Spettrale Azionabile

La cascata spettrale consente una semplificazione "chirurgica" dell'architettura:

• Linearizzazione: I primi 7 livelli di un modello S–D da 125M possono essere linearizzati (sostituiti con un'attenzione lineare causale ELU+1) con una degradazione della perplessità inferiore al 5%. Al contrario, l'attenzione standard collassa sotto la stessa intervento già al livello 3.
• Riallocazione dei Parametri: Allineando le dimensioni delle teste ($d_{head}$) al rango spettrale misurato (ad esempio, $d_{head}=8$ per i livelli iniziali, $d_{head}=64$ per i livelli terminali), gli autori hanno ridotto i parametri di attenzione del 47–65% con un aumento della perplessità compreso tra +3,9% e +8,4%.
• Inversione: Il documento dimostra un'inversione strutturale: nell'attenzione standard, il truncamento del filtraggio è proibitivo e quello dell'instradamento è economico; in S–D, il truncamento dell'instradamento è proibitivo e quello del filtraggio è gratuito.

Significato e Affermazioni

Il documento afferma che il suo contributo principale è la misurazione, non l'architettura stessa. Il significato risiede nel rendere il "budget spettrale" dell'attenzione leggibile e azionabile:

• Diagnosi: La parametrizzazione S–D funge da strumento diagnostico per misurare la vera capacità di instradamento richiesta a ogni livello, rivelando che l'attenzione standard alloca capacità eccessiva ai livelli a basso rango.
• Guida per le Architetture Ibride: La cascata spettrale fornisce una metrica continua e misurabile per determinare quali livelli richiedono un'attenzione quadratica completa e quali possono essere sostituiti con meccanismi lineari o a basso rango. Ciò sposta la progettazione di architetture ibride dalla "ricerca" (scansione di rapporti) alla "misurazione" (prescrizione basata sul rango).
• Rivalutazione dell'Attenzione Lineare: I risultati suggeriscono che il fallimento storico dell'attenzione lineare semplice (ad esempio, ELU+1) fu dovuto a una cattiva allocazione (applicazione a livelli ad alto rango) piuttosto che a limiti intrinseci di capacità. Il documento mostra che l'attenzione lineare funziona efficacemente nel "plateau" a basso rango identificato dalla cascata.

Gli autori concludono che la cascata spettrale è la soluzione naturale dell'ottimizzatore quando vengono rimossi l'intreccio e la normalizzazione, e che questa struttura può guidare la costruzione di architetture Transformer più efficienti e non uniformi.