Sintesi Tecnica: Pesi di Contributo: Un'Analisi Geometrica dei Transformer con Auto-Attenzione

1. Definizione del Problema

L'analisi dei pesi di attenzione ($\alpha_{ij}$) è diventata un approccio standard per interpretare il flusso di informazioni nei Large Language Models (LLM). Tuttavia, questo approccio si basa sull'assunto implicito che una grande massa di attenzione equivalga a importanza funzionale. Gli autori sostengono che questa visione sia incompleta perché trascura le proprietà geometriche dei vettori di valore che vengono aggregati. Nello specifico, i pesi di attenzione da soli non riescono a tenere conto di:

1. L'entità (norma) dei vettori di valore.
2. L'allineamento direzionale tra i vettori di valore e l'output finale.

Trascurare questi fattori porta a conclusioni fuorvianti, come la misinterpretazione degli "attention sink" (token iniziali che ricevono molta attenzione ma contribuiscono poco all'output) e la sovrastima dell'importanza dei token ad alta attenzione. Le misure esistenti "value-aware" incorporano norme o distanze, ma spesso perdono l'effetto critico dell'interferenza inter-token (costruttiva o distruttiva) causata dall'allineamento direzionale.

2. Metodologia

2.1. Framework Teorico

Il paper riformula la Multi-Head Attention (MHA) non semplicemente come una somma pesata di token grezzi, ma come una somma pesata di vettori di valore proiettati.
Dato un input sequence, l'output di un layer $l$ alla posizione $i$ è espresso come:
$$o^{(l)}_i = \sum_{h=1}^H \sum_{j=1}^i \alpha^{(l,h)}_{ij} \tilde{v}^{(l,h)}_j$$
dove $\tilde{v}^{(l,h)}_j = x_j W^{(l,h)}_V W^{(l,h)}_O$ rappresenta il vettore di valore proiettato. Gli autori postulano che l'influenza di un token dipenda da tre fattori:

1. Forza di Selezione: Il peso di attenzione $\alpha_{ij}$.
2. Magnitudo: La norma del vettore di valore proiettato $\|\tilde{v}_j\|$.
3. Allineamento Direzionale: La similarità del coseno tra il valore proiettato e la direzione dell'output, $\cos(o_i, \tilde{v}_j)$.

2.2. Pesi di Contributo

Per quantificare fedelmente l'importanza del token, gli autori introducono i Pesi di Contributo ($c_{ij}$), una metrica basata sulla proiezione definita come il prodotto scalare normalizzato del vettore di valore pesato e della direzione dell'output:
$$c_{ij} = \frac{\langle o_i, \alpha_{ij} \tilde{v}_j \rangle}{\|o_i\|^2} = \alpha_{ij} \frac{\|\tilde{v}_j\|}{\|o_i\|} \cos(o_i, \tilde{v}_j)$$
Questa metrica decompone l'influenza del token nel prodotto tra peso di attenzione, magnitudo relativa e allineamento direzionale.

• Intra-head: Misura il contributo all'interno di una singola testa.
• Inter-head: Misura il contributo attraverso tutte le teste proiettando i vettori pesati specifici della testa sull'output combinato multi-head.
• Proprietà: A differenza dei pesi di attenzione (che sono non negativi e sommano a 1), i pesi di contributo possono essere negativi (indicando interferenza distruttiva) e sommano a 1 lungo la dimensione della sequenza.

2.3. Valutazione Sperimentale

Gli autori valutano la fedeltà dei pesi di contributo rispetto alle metriche esistenti (attenzione raw, attenzione pesata per il valore, attenzione pesata per il valore e normalizzata rispetto all'output) utilizzando:

• Interventi Causali: Mascheramento dei valori proiettati dei token classificati per importanza e misurazione del cambiamento della perplexity ($\Delta$PPL) su task di linguaggio (GSM8K, FineWeb-Edu) e task downstream (MMLU, Winogrande, BoolQ).
• Metriche:
  • Comprensività (Comprehensiveness): Calo delle prestazioni quando vengono rimossi i token ad alta importanza (maggiore calo = metrica migliore).
  • Sufficienza (Sufficiency): Calo delle prestazioni quando vengono rimossi i token a bassa importanza (minore calo = metrica migliore).
• Modelli: Mistral-7B, LLaMA-3.1-8B, Qwen3-8B, e Deepseek-7B.

3. Risultati Chiave e Contributi

3.1. Fedeltà dei Pesi di Contributo

I pesi di contributo superano costantemente le metriche basate sull'attenzione nell'identificare i token semanticamente critici.

• Comprensività: La rimozione dei token identificati come importanti dai pesi di contributo causa un calo significativamente maggiore delle prestazioni del modello (maggiore $\Delta$PPL) rispetto alla rimozione dei token identificati dall'attenzione raw o dall'attenzione pesata per il valore.
• Sufficienza: I modelli mantengono un'accuratezza più elevata quando vengono rimossi i token a bassa importanza (come definiti dai pesi di contributo), mantenendo le prestazioni di base a tassi di rimozione più elevati.
• Progressione Geometrica: Lo studio dimostra una chiara gerarchia di fedeltà: Attenzione Raw < Attenzione Pesata per il Valore < Attenzione Pesata per il Valore e Normalizzata rispetto all'Output < Pesi di Contributo. Ciò conferma che l'incorporazione dell'allineamento direzionale (similarità del coseno) è il fattore più significativo nel migliorare l'accuratezza della metrica.

3.2. Ruolo Meccanicistico della Geometria del Valore

Il paper decompone i contributi dei token per rivelare comportamenti distinti per diversi tipi di token:

• Sink Tokens (Token Iniziali): Il loro contributo non è guidato dai pesi di attenzione. Invece, è dominato dalla geometria del valore (norma relativa e similarità del coseno). I token iniziali esibiscono un anti-allineamento (similarità del coseno negativa) con i successivi token semantici.
• Tail Tokens (Token di Coda): Il loro contributo è determinato congiuntamente dai pesi di attenzione e dall'allineamento direzionale.

3.3. Reinterpretazione degli Attention Sink

Gli autori sfidano la visione degli attention sink come "repository" passivi per l'attenzione in eccesso. Invece, rivelano gli sink come soppressori attivi di informazione:

• Interferenza Distruttiva: I sink tokens possiedono vettori di valore che sono sistematicamente anti-allineati con i token semantici. Questo crea un'interferenza distruttiva, sopprimendo attivamente la norma dell'output.
• Relazione Convessa: La relazione tra il tasso di sink (massa di attenzione sul primo token) e la norma dell'output è convessa, non monotona. La norma minima dell'output si verifica a un tasso di sink intermedio ($\alpha < 1$), non quando il sink cattura tutta l'attenzione.
• Contrasto alla Deriva Semantica (Semantic Drift): Opponendosi alla direzione semantica dei token non-sink, i sink annullano la deriva semantica introdotta dall'accumulo di molti piccoli e deboli pesi di attenzione dai token non critici. Gli interventi che rimuovono la norma del vettore del sink portano al collasso degli output delle teste a bassa norma verso il cono semantico, aumentando rumore e perplexity.

4. Significato e Claim

Il paper sostiene che i Pesi di Contributo forniscano una misura più fedele dell'importanza funzionale del token tenendo conto dell'intera geometria della somma dei vettori di attenzione.

• Insight Meccanicistico: Il lavoro sposta la comprensione degli attention sink da assorbitori passivi a soppressori attivi che stabilizzano le rappresentazioni opponendosi alla deriva semantica attraverso l'opposizione direzionale.
• Generalizzabilità: Sebbene gli esperimenti si concentrino su modelli decoder-only, gli autori affermano che i pesi di contributo dipendono solo dalla struttura del meccanismo di attenzione e sono applicabili a qualsiasi architettura basata sull'attenzione (es. modelli encoder-only, ViT).
• Limitazioni: Lo studio si concentra su transformer decoder-only e dataset specifici (GSM8K, FineWeb-Edu). Gli autori notano che, sebbene la loro metrica sia robusta tra i domini, i comportamenti geometrici specifici (come l'anti-allineamento dei sink) sono osservati nei modelli valutati.

Gli autori concludono che l'analisi della geometria del valore è essenziale per una comprensione meccanicistica fedele dei transformer, passando dal paradigma "attenzione-come-spiegazione" a un'interpretazione "consapevole della geometria".