Sintesi Tecnica: Comprendere la Selettività dell'Attenzione Sparsa nei Modelli Foundation a Lungo Contesto tramite Valutazione Controfattuale

1. Definizione del Problema

I meccanismi di attenzione sparsa (ad esempio, Block Sparse Flash Attention, espulsione della KV-cache) sono infrastrutture standard per i modelli linguistici a lungo contesto, selezionati per la loro capacità di ridurre i costi computazionali quadratici. Tuttavia, gli attuali framework di valutazione si affidano a metriche aggregate come il throughput, l'uso della memoria e l'accuratezza nei benchmark. Gli autori sostengono che queste metriche non riescano a rilevare un fenomeno critico: la sparsificazione altera l'influenza comportamentale di contenuti specifici sull'output del modello.

Un modello sparso distribuito può mantenere l'accuratezza aggregata pur amplificando contemporaneamente contenuti fuorvianti e sopprimendo contenuti correttivi, con questi spostamenti che si annullano a vicenda nell'aggregato. Inoltre, le diagnostiche standard come i pesi dell'attenzione sono insufficienti perché sono endogene alla decisione di pruning e spesso falliscono i test di fedeltà (faithfulness). Il documento affronta la domanda non ancora trattata: In che modo la selezione dei blocchi cambia l'influenza causale di un contenuto specifico sull'output del modello rispetto a un controfattuale denso corrispondente?

2. Metodologia

Il documento propone un Audit Controfattuale Calibrato sul Denso per isolare la componente di influenza del contenuto specifica della sparsificazione. La metodologia consiste in tre bracci sperimentali convergenti:

A. Validazione Causale: BSFA Route Replay

Prima dell'audit principale, gli autori stabiliscono la causalità utilizzando il BSFA (Block Sparse Flash Attention) Route Replay su quattro architetture (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B, Qwen3-8B).

• Meccanismo: Il modello è costretto a elaborare diverse rotte di evidenza (Gold vs. Wrong) sotto l'attenzione sparsa nativa.
• Controllo: Tutte le interazioni utilizzano lo stesso percorso kernel per eliminare i confondimenti del percorso del kernel.
• Metrica: Il cambiamento nel margine della risposta "wrong-minus-gold" forzando una rotta errata rispetto a una rotta corretta.

B. L'Audit Controfattuale Controllato

Il protocollo principale misura l'effetto marginale del contenuto in condizioni sparse rispetto a quelle dense utilizzando sonde sentinella corrispondenti.

• Sentinel Cards: Ogni prompt contiene tre carte da 128 token: Gold (G) (etichetta corretta), Poison (P) (etichetta errata target) e Benign (B) (solo riempitivo). G e P differiscono esattamente per un token in un indice congelato.
• Simmetria a Sei Layout: Tutte le sei permutazioni delle tre carte vengono utilizzate per rimuovere i confondimenti di slot e ordine.
• Routing Forzato: Un passaggio di cattura naturale registra la rotta del selettore. I passaggi di routing forzato corrispondenti aggiungono ancoraggi specifici (G, P, B o Neutral R) alla rotta mantenendo fisso lo scaffold del prompt.
• Calibrazione del Denso: Un "Braccio Denso" esegue gli stessi prompt e layout con l'attenzione eager patchata a un rapporto di compressione $c=0$ (nessun pruning). Questo fornisce una baseline entro il medesimo kernel.
• Metrica Primaria ($\Delta$): La quantità calibrata è definita come $\Delta = H^{sparse}_3 - H^{dense}_3$, dove $H_3 = M_P - M_B$ (la differenza di margine tra Poison e Benign).
  • $\Delta > 0$: L'attenzione sparsa amplifica la sonda più dell'attenzione densa.
  • $\Delta < 0$: L'attenzione densa amplifica la sonda più dell'attenzione sparsa.
• Controllo del Percorso Kernel: Una validazione a $c=0$ conferma che la sostituzione della rotta e la sostituzione del token producono risultati identici entro una discrepanza trascurabile (0.044 logits), validando il metodo di sottrazione.

C. Espulsione della KV-Cache (KVPress)

Per testare la generalità strutturale, l'audit viene ripetuto utilizzando l'espulsione a livello di token (Expected Attention e SnapKV) con passaggi di evidenza avvelenati reali, invece della selezione a livello di blocco.

D. Ablazione Meccanicistica

Un'ablazione dell'attenzione cross-block isola un blocco sonda da tutta la comunicazione cross-block per misurare la "perdita di integrazione".

3. Risultati Chiave

Validazione Causale

• BSFA Route Replay: Attraverso 16 celle modello-task-rapporto, forzare una rotta di evidenza errata ha aumentato il margine della risposta errata in 13 celle, con zero flip di etichetta nella riproduzione dell'identità. Ciò conferma che il routing sparso cambia causalmente l'influenza del contenuto.

Pattern Competitivi

L'audit rivela due pattern competitivi che determinano l'effetto netto:

1. Concentrazione del Segnale: Il selettore trattiene preferenzialmente i blocchi portatori di segnale (Gold/Poison) rispetto ai blocchi di riempimento (Benign). Le tracce di rotta naturale mostrano $G \approx P \gg B$ in tutte le coppie modello-task.
2. Perdita di Integrazione: Scartare i blocchi interrompe i percorsi di attenzione cross-block. Un'ablazione che isola un blocco sonda ha fatto collassare la sua influenza da 4.48 logits a esattamente zero, confermando che la connettività cross-block è necessaria affinché il contenuto influenzi l'output.

Rapporto di Compressione come Variabile di Controllo

Uno sweep sistematico attraverso i rapporti di compressione ($c \in \{0.25, 0.50, 0.75\}$) rivela che l'equilibrio tra concentrazione del segnale e perdita di integrazione è governato dal rapporto di compressione:

• Qwen3-8B su SCBench-KV: Mostra un inversione completa del segno. $\Delta$ si muove da $-0.31$ (amplificazione densa) a $c=0.25$ a $+0.93$ (forte amplificazione sparsa) a $c=0.75$.
• Qwen3-8B su SciFact: Mostra una seconda inversione di segno, muovendosi da $+0.19$ a $-0.08$ (verso l'amplificazione densa) all'aumentare della compressione.
• Llama-3.1-8B: Si muove monotonicamente verso lo zero (riducendo l'entità dell'amplificazione densa) ma rimane negativa.
• Tendenza Generale: Tre delle quattro coppie modello-task si muovono verso un $\Delta$ più positivo a compressioni più elevate, suggerendo che una compressione aggressiva sposti l'equilibrio verso la concentrazione del segnale nonostante la perdita di integrazione.

Convergenza

Tre metodi indipendenti (BSFA route replay, controllo block-top-k, ed espulsione della KV-cache) convergono sulla conclusione che la sparsificazione cambia l'influenza del contenuto in modi che l'accuratezza aggregata non può rilevare.

4. Significato e Rivendicazioni

Il documento sostiene di fornire il primo framework che auditi come lo scarto dei blocchi cambi l'influenza di un contenuto specifico sull'output del modello. La sua importanza risiede in:

1. Dimostrare la Causalità: Provare che il routing sparso non è solo una scorciatoia computazionale ma un intervento comportamentale che altera quale evidenza influenza la risposta.
2. Innovazione Metodologica: Introdurre un audit controfattuale calibrato sul denso che isola gli effetti specifici della sparsificazione utilizzando sonde corrispondenti, simmetria a sei layout e una baseline densa all'interno dello stesso kernel.
3. Identificare Meccanismi Competitivi: Fornire prova causale diretta per la Concentrazione del Segnale (ritenzione dei blocchi di segnale) e la Perdita di Integrazione (interruzione dei percorsi cross-block), mostrando che l'effetto netto dipende dal rapporto di compressione.
4. Limiti delle Metriche Aggregate: Stabilire che i benchmark di accuratezza aggregata sono insufficienti per la valutazione dell'attenzione sparsa perché gli spostamenti di contenuto positivi e negativi possono annullarsi a vicenda, mascherando cambiamenti comportamentali significativi.
5. Generalizzabilità: Il protocollo è applicabile a qualsiasi modello che esponga l'identità dei blocchi ed è stato validato su quattro modelli foundation open-weight ampiamente diffusi (classe di parametri 7B–8B).

Gli autori concludono che, sebbene l'accuratezza aggregata possa rimanere stabile, la distribuzione dell'influenza cambia sotto la sparsificazione, potenzialmente amplificando i contenuti fuorvianti o sopprimendo i contenuti correttivi a seconda del rapporto di compressione. Ciò richiede nuovi protocolli di valutazione che tengano conto degli spostamenti specifici del contenuto piuttosto che fare affidamento solo sulle prestazioni aggregate.