Riepilogo Tecnico: Residui di Attenzione Delta

Enunciato del Problema

Le connessioni residue standard nei transformer profondi accumulano tutti i precedenti output dei sottolivelli tramite coefficienti additivi fissi ($h_l = h_{l-1} + f(h_{l-1})$). Sebbene ciò fornisca autostrade per i gradienti, manca di un meccanismo per aggregare selettivamente le informazioni attraverso la profondità. I Residui di Attenzione (Kimi, 2025) hanno proposto di sostituire l'aggregazione fissa con un'attenzione softmax appresa sugli output dei livelli precedenti per abilitare un instradamento selettivo tra i livelli.

Tuttavia, questo documento identifica una modalità di fallimento critica nei Residui di Attenzione standard: il collasso dell'instradamento dovuto alla ridondanza della sorgente. Nei Residui di Attenzione, le rappresentazioni sorgente ($s_i$) sono stati nascosti cumulativi ($h_i = \sum v_j$). All'aumentare della profondità, gli stati cumulativi adiacenti condividono un ampio prefisso comune, causando una crescita della loro similarità a coppie. Questa ridondanza riduce il contrasto nei candidati di instradamento, forzando i pesi dell'attenzione softmax verso una distribuzione quasi uniforme. Sperimentalmente, il peso massimo di instradamento nei livelli profondi degrada a circa 0,2, rendendo il meccanismo inefficace nella selezione di stati informativi ed effettuando di fatto una media su tutte le sorgenti.

Metodologia: Residui di Attenzione Delta

Per affrontare la ridondanza della sorgente, gli autori propongono i Residui di Attenzione Delta, che instradano sui delta (il cambiamento introdotto da ciascun sottolivello) piuttosto che sugli stati cumulativi.

Meccanismo Principale

Invece di instradare su $s_i = h_i$, il metodo instrada su $v_i = h_{i+1} - h_i$, rappresentando il contributo specifico di un sottolivello. Ciò è implementato tramite una formulazione di instradamento additivo:
$$\hat{h}_l = \tilde{h}_l + \sum_i \alpha_{i \to l} \cdot v_i$$
Dove:

• $\tilde{h}_l$ è il flusso residuo corrente (preservato di default).
• $v_i$ sono le sorgenti delta (output per sottolivello).
• $\alpha_{i \to l}$ sono pesi di attenzione appresi calcolati tramite softmax su delta normalizzati.

Varianti di Granularità

Il principio è applicato a due granularità:

1. Delta AttnRes: Instrada su ogni singolo output di sottolivello (Attenzione e MLP), fornendo $2L$ sorgenti per $L$ livelli.
2. Delta Block: Aggrega gli output dei sottolivelli consecutivi all'interno di un blocco in un singolo delta di blocco ($\Delta_b$), riducendo il numero di sorgenti a $\approx L/B$ per efficienza.

Vantaggi Chiave di Progettazione

1. Diversità Strutturale: A differenza degli stati cumulativi che convergono verso relazioni quasi lineari, i delta sono strutturalmente diversi perché gli output di attenzione e MLP occupano sottospazi diversi e catturano diversi livelli di astrazione. Ciò mantiene un alto contrasto di instradamento (peso massimo $\approx 0,6$).
2. Preservazione del Residuo: La formulazione additiva preserva il flusso residuo, assicurando che nessuna informazione vada persa ai confini del blocco (a differenza dell'instradamento di sostituzione che scarta il flusso).
3. Inizializzazione Sicura: Con pesi di query inizializzati a zero, i pesi di instradamento diventano uniformi e l'output di instradamento diventa una perturbazione limitata. Ciò riduce il meccanismo a una mappa identità all'inizializzazione, consentendo il fine-tuning di modelli preaddestrati senza disturbare il flusso residuo appreso.

Contributi Chiave

1. Identificazione del Collasso dell'Istradamento: Il documento dimostra che la ridondanza della sorgente nei Residui di Attenzione a stato cumulativo causa un degrado della nitidezza dell'instradamento a $\sim 0,2$ nei livelli profondi, portando a distribuzioni di attenzione quasi uniformi.
2. Residui di Attenzione Delta: Una nuova architettura che instrada sui delta invece che sugli stati cumulativi. Ciò mantiene un instradamento nitido ($\sim 0,6$) e supera costantemente sia i residui standard che i Residui di Attenzione attraverso scale da 220M a 7,6B di parametri.
3. Compatibilità con il Fine-Tuning: La formulazione additiva permette di convertire i transformer preaddestrati esistenti in Residui di Attenzione Delta tramite fine-tuning standard, superando il problema della "valle del paesaggio di perdita" in cui i modelli non riescono a sfruttare i pesi tra i livelli durante il fine-tuning.

Risultati Sperimentali

Gli autori hanno valutato il metodo su modelli con architettura Qwen3 addestrati da zero su FineWeb-Edu e sottoposti a fine-tuning su compiti downstream.

• Addestramento da Zero:

  • Prestazioni: I metodi Delta hanno superato costantemente le baseline. Alla scala di 1044M, Delta AttnRes ha raggiunto una perplessità di validazione di 29,13 (vs 29,70 per la baseline, -1,9% di miglioramento). Alla scala di 7,6B, Delta Block ha raggiunto 16,00 PPL (vs 17,43 per la baseline, -8,2% di miglioramento).
  • Fallimento delle Alternative: I Residui di Attenzione standard (AttnRes) sono degradati significativamente a scale più grandi (es. +6,9% peggio della baseline a 1044M) a causa della perdita di informazioni cumulativa derivante dall'instradamento di sostituzione e dai reset periodici.
  • Efficienza: Sebbene Delta AttnRes per sottolivello offra la migliore perplessità, comporta un elevato sovraccarico di memoria. Delta Block (raggruppamento a livello di blocco) offre un default pratico, abbinando la qualità di Delta AttnRes con costi di memoria e throughput significativamente inferiori (es. 26% di sovraccarico di memoria vs 3,5x per Delta AttnRes completo a 1044M).

• Fine-Tuning:

  • Durante il fine-tuning di un modello Qwen3-0,6B preaddestrato, Delta Block ha raggiunto una 55,6% di accuratezza media su 8 benchmark downstream, superando la baseline standard (55,0%) e AttnRes (54,1%).
  • Crucialmente, Delta Block ha evitato il grande picco di perdita osservato in AttnRes all'inizializzazione, convergendo in modo fluido grazie alle sue proprietà di inizializzazione sicura.

• Analisi dell'Istradamento:

  • Le visualizzazioni confermano che Delta Block mantiene un instradamento nitido (peso massimo $\sim 0,6$–$1,0$) per tutta la profondità, mentre AttnRes collassa a $\sim 0,2$ nei livelli profondi.
  • I livelli profondi nei modelli Delta concentrano selettivamente i pesi su specifici output iniziali (inclusi gli embedding dei token), mentre AttnRes distribuisce l'attenzione in modo diffuso.

Significato e Affermazioni

Il documento afferma che i Residui di Attenzione Delta risolvono il problema fondamentale della ridondanza della sorgente nell'instradamento tra livelli. Instradando su "cosa è cambiato" (delta) invece che su "cosa si è accumulato" (stati cumulativi), il metodo abilita un instradamento selettivo ad alto contrasto che scala efficacemente verso reti profonde.

Gli autori sottolineano che questo approccio è ortogonale ad altri miglioramenti architetturali. Il suo significato principale risiede in:

1. Scalabilità: Abilita connessioni tra livelli più profonde ed efficaci senza il degrado osservato nei precedenti metodi di residui basati su attenzione.
2. Praticità: La formulazione additiva e l'inizializzazione sicura permettono l'integrazione senza soluzione di continuità dell'instradamento tra livelli in checkpoint preaddestrati esistenti tramite fine-tuning, una capacità precedentemente ostacolata dall'instabilità di inizializzazione.
3. Efficienza: La variante Delta Block fornisce una soluzione ad alte prestazioni e basso sovraccarico adatta all'addestramento su larga scala, bilanciando l'espressività dell'instradamento con i vincoli computazionali.