Sintesi Tecnica: Una Visione Unificata dei Sink di Attenzione

Definizione del Problema

I sink di attenzione — token che attirano una massa di attenzione sproporzionata rispetto a molti query, apparendo come strisce verticali nelle mappe di attenzione — sono onnipresenti nei Transformer basati su softmax, in particolare nei Vision Transformers (ViT) e nei Large Language Models (LLM). Sebbene questi pattern siano ben documentati, i loro meccanismi computazionali sottostanti rimangono ambigui. Il problema centrale affrontato da questo lavoro è che pattern di sink visivamente identici possono riflettere algoritmi fondamentalmente diversi. Le attuali strategie di mitigazione, come i meccanismi di gating e i token di registro, sono spesso applicate in modo euristico senza un framework unificato per distinguere perché un sink esista. Di conseguenza, gli interventi progettati per "correggere" i sink potrebbero involontariamente rimuovere computazioni utili o non affrontare la vera fonte di instabilità.

Metodologia

Gli autori propongono un framework unificante che decompone i sink di attenzione in due distinte ipotesi computazionali, derivando diagnostiche specifiche e misurabili per ciascuna di esse.

1. Due Ipotesi per i Sink di Attenzione

Il paper postula che i sink derivino da uno di due meccanismi:

• NOP (No-Operation) Adattivo: Il sink agisce come un meccanismo di soppressione. Quando una testa di attenzione non ha informazioni utili da contribuire per un determinato token, essa instrada l'attenzione verso un token "null" per eseguire efficacemente un'operazione di identità sul residuo (residual stream).
  • Firma: Il token sink presenta norme di valore trascurabili ($\|v_s\| \approx 0$).
  • Meccanismo: Per innescare ciò, il modello apprende un meccanismo di gating, evidenziato da un valore singolare dominante nella matrice di interazione query-key ($W_Q W_K^\top$) o da enormi norme di attivazione nella posizione del sink.
• Broadcast (Diffusione): Il sink agisce come un hub di comunicazione. Esso aggrega informazioni globali e le ridistribuisce agli altri token.
  • Firma: Il token sink possiede norme di valore non trascurabili e induce output di attenzione a basso rango (approssimativamente rank-1).
  • Meccanismo: Il token sink scrive un payload condiviso nel residual stream, aumentando la similarità delle rappresentazioni dei token attraverso la sequenza.

2. Validazione Sintetica

Per isolare questi meccanismi, gli autori hanno addestrato modelli sintetici minimi su due task specifici:

• Smorzamento Condizionale (Task NOP): Un transformer a singola testa addestrato per sopprimere gli aggiornamenti per i token allineati con un vettore specifico. I risultati hanno mostrato la convergenza verso un sink con norme di valore quasi nulle e un picco spettrale nella matrice di interazione.
• Global Broadcast Task (Task di Diffusione Globale): Un transformer a due strati addestrato per distribuire l'informazione di un token specifico a tutte le altre posizioni. I risultati hanno mostrato una soluzione modulare in cui uno strato agisce come hub di broadcast (aggiornamento rank-1, alte norme di valore) e lo strato successivo agisce come identità.

3. Diagnostica Empirica su Modelli Pre-addestrati

Gli autori hanno applicato queste diagnostiche a ViT pre-addestrati (DINOv2, OpenCLIP) e a modelli con token di registro. Hanno analizzato:

• Rapporti delle Norme dei Valori: Confronto tra la norma del vettore di valore del token sink e la media.
• Rango Stabile (Stable Rank): Misurazione del rango della matrice di aggiornamento indotta dall'attenzione.
• Transizioni per Strato: Tracciamento di quali token fungano da sink attraverso i diversi livelli della rete.

Risultati Chiave

1. Coesistenza dei Meccanismi

L'analisi di ViT pre-addestrati rivela che entrambi i meccanismi coesistono all'interno dello stesso modello ma sono specializzati:

• Specializzazione degli Strati: Negli strati iniziali, il token [CLS] funge spesso da sink. Negli strati più profondi, questo ruolo transita verso specifici token di patch.
• Specializzazione delle Teste: Il comportamento di sink non è uniforme tra tutte le teste; teste specifiche agiscono come sink per quasi l'80% degli input, mentre teste adiacenti non lo fanno.
• Regimi Duali: Quando proiettati sugli assi diagnostici, i sink si separano in due cluster distinti:
  • Sink NOP: Trovati principalmente negli strati da iniziali a medi, caratterizzati da norme di valore soppresse (< 0.2x della baseline).
  • Sink di Broadcast: Trovati principalmente negli strati più profondi, caratterizzati da norme di valore standard e aggiornamenti rigorosi di tipo rank-1.

2. Reinterpretazione dei Token di Registro

Lo studio investiga i token di registro (token appresi aggiunti alla sequenza di input), che erano stati originariamente proposti per assorbire la massa di attenzione per il broadcasting.

• Riproposizionamento: Le diagnostiche rivelano che i token di registro non sono usati esclusivamente per il broadcasting. La maggior parte dei sink di registro presenta la firma NOP (norme di valore soppresse), indicando che il modello li riutilizza come "cestini della spazzatura" per sopprimere gli aggiornamenti, non solo come "tazze di caffè" per l'informazione globale.
• Implicazione: Né il gating (che mira al NOP) né i registri (che mirano al broadcast) da soli sono sufficienti ad affrontare tutti i comportamenti di sink.

3. Mitigazione Sinergica

Gli autori hanno testato la combinazione di Gated Attention (che permette alle teste di sopprimere gli output, affrontando il NOP) e Register Tokens (che forniscono un substrato per il broadcasting).

• Guadagni nella Predizione Densa: Nei modelli ViT-L addestrati con LeJEPA, la combinazione di gating e registri ha prodotto le migliori prestazioni sui task di predizione spaziale densa (ADE20K e Pascal VOC 2012), superando i baseline e le varianti a singola mitigazione.
• Stabilità della Classificazione: L'accuratezza globale della classificazione (ImageNet-1k) è rimasta ampiamente invariata tra le varianti, suggerendo che la mitigazione dei sink migliora principalmente le rappresentazioni locali a livello di patch piuttosto che la comprensione globale dell'immagine.
• Conferma del Meccanismo: L'approccio combinato ha avuto successo nel sopprimere i sink NOP (riducendo le norme dei token) e nel reindirizzare i sink di broadcast verso i token di registro.

Significato e Rivendicazioni

Il paper sostiene che la firma visiva di un sink di attenzione è computazionalmente ambigua e che un intervento efficace richiede prima l'identificazione dell'algoritmo sottostante.

• Unificazione: Il lavoro fornisce un inquadramento unificato che separa le ipotesi "NOP" e "Broadcast", offrendo diagnostiche operative (norme di valore e rango stabile) per distinguerle.
• Complementarietà: Dimostra che il gating e i token di registro sono complementari perché mirano a regimi computazionali diversi. La loro combinazione produce una maggiore stabilità e prestazioni nei task che richiedono rappresentazioni spaziali ad alta fedeltà.
• Intuizione Meccanicistica: Le scoperte suggeriscono che gli "artefatti" come i sink di attenzione sono spesso primitive computazionali reali (sia di soppressione che di coordinazione globale) piuttosto che puramente fallimenti patologici.

Gli autori concludono che, sebbene le loro diagnostiche e la strategia di mitigazione combinata migliorino la predizione densa, la questione più ampia di come progettare l'attenzione per supportare il broadcasting senza indurre sink patologici rimane un'area aperta per la ricerca futura.