Sintesi Tecnica: Head Pursuit: Sondare la Specializzazione dell'Attenzione nei Transformer Multimodali

Problematica

I modelli generativi su larga scala, che includono sia i modelli linguistici unimodali (LLM) che quelli visivo-linguistici multimodali (VLM), hanno raggiunto prestazioni straordinarie in compiti diversifici. Tuttavia, i loro meccanismi interni sono compresi solo parzialmente. Sebbene gli strumenti di interpretabilità precedenti, come il Logit Lens, abbiano rivelato informazioni semantiche negli stati nascosti, essi vengono spesso applicati in modo euristico a singoli esempi, rendendo difficile generalizzare le scoperte o quantificare l'importanza di componenti specifiche (come le teste di attenzione) nel plasmare l'output del modello. È necessario un metodo fondato per identificare quali teste di attenzione si specializzano in specifici attributi semantici o visivi e per determinare se la manipolazione di queste teste permetta un controllo mirato sul comportamento del modello senza ulteriore addestramento.

Metodologia

Gli autori propongono un framework chiamato Head Pursuit, che reinterpreta la pratica di sondare le attivazioni intermedie attraverso la lente dell'elaborazione di segnali sparsi. La metodologia principale prevede i seguenti passaggi:

1. Decomposizione Sparsa tramite SOMP: Gli autori impiegano la Simultaneous Orthogonal Matching Pursuit (SOMP), un algoritmo greedy per approssimare segnali ad alta dimensione con combinazioni lineari sparse di elementi di base.

   • Input: Per una data testa di attenzione $h$ nel layer $l$, viene analizzata la matrice di attivazione $H_{h,l}$ (che rappresenta $n$ campioni).
   • Dizionario: Invece di apprendere un dizionario dalle attivazioni, il metodo utilizza la matrice di unembedding $D$ del modello come dizionario fisso. Ogni riga di $D$ corrisponde a un token del vocabolario, fornendo un collegamento diretto a concetti semantici interpretabili dall'uomo.
   • Processo: SOMP seleziona iterativamente atomi del dizionario (token) che correlano massimamente con i residui della testa attraverso tutti i campioni del dataset. Ciò produce una matrice di coefficienti sparsi $W^*$ tale che $H \approx W^*D$.
   • Generalizzazione: A differenza del Logit Lens, che proietta un singolo vettore residuo, SOMP opera su più campioni simultaneamente e seleziona molteplici direzioni del dizionario, fornendo una caratterizzazione robusta e a livello di dataset del ruolo funzionale di una testa.

2. Selezione e Classificazione delle Teste:

   • Per identificare le teste rilevanti per un concetto target specifico (ad esempio, "colori", "tossicità", "numeri"), il dizionario di unembedding viene ristretto ai token associati a quel concetto.
   • Viene applicata la SOMP a questo dizionario specifico per il concetto.
   • Le teste vengono classificate in base alla frazione di varianza nelle loro attivazioni spiegata dalla ricostruzione SOMP. Un'elevata spiegazione della varianza indica una forte specializzazione per quel concetto.

3. Intervento:

   • Una volta identificate le top-$k$ teste specializzate, gli autori intervengono riscalando il contributo delle loro rappresentazioni al flusso residuo.
   • Intervento Inibitorio: Il segno delle rappresentazioni della testa viene invertito ($\alpha = -1$) per sopprimere l'attributo target.
   • Intervento di Potenziamento: Le rappresentazioni della testa vengono amplificate ($\alpha > 1$) per promuovere la generazione dell'attributo target.
   • Questo intervento viene eseguito durante il passaggio in avanti (forward pass) senza aggiornare i pesi del modello.

Contributi Chiave

1. Inquadramento Teorico: Il documento inquadra il Matching Pursuit (MP) e la sua variante multi-campione SOMP nel contesto dell'interpretabilità dei modelli generativi, stabilendo una connessione formale con strumenti standard come il Logit Lens, pur generalizzandoli per gestire simultaneamente più campioni e molteplici direzioni semantiche.
2. Scoperta della Specializzazione: Il metodo rivela schemi coerenti di specializzazione delle teste sia nei transformer unimodali (Mistral-7B) che in quelli multimodali (LLaVA-NeXT, Gemma3, Qwen2.5-VL). Si scopre che teste specifiche generano in modo affidabile gruppi di token semanticamente coerenti (ad esempio, nomi di paesi, mesi, numeri, sentimenti).
3. Controllabilità: Gli autori dimostrano che intervenire su una frazione molto piccola di teste (anche solo l'1% del totale) può sopprimere o potenziare in modo affidabile concetti mirati. Ciò suggerisce che gli strati di attenzione contengono una struttura lineare altamente interpretabile e manipolabile.

Risultati

Gli autori hanno validato il loro approccio su diversi compiti:

• Risposta a Domande (TriviaQA): Invertire i segni di sole 8 teste specializzate (lo 0,8% del modello) dedicate ai "nomi di paesi" ha degradato significativamente le prestazioni sulle domande relative ai paesi, pur avendo un impatto minimo su altre domande. La selezione casuale delle teste o la selezione basata su Logit Lens non hanno mostrato questo effetto mirato.
• Mitigazione della Tossicità: Utilizzando una lista ristretta di parole chiave tossiche per selezionare le teste, gli autori sono riusciti a ridurre la frequenza delle generazioni tossiche nei dataset RealToxicityPrompts (RTP) e Thoroughly Engineered Toxicity (TET). Invertire 32 teste specializzate ha ridotto le generazioni tossiche di circa il 30-50% rispetto ai baseline, mentre gli interventi casuali spesso aumentavano la tossicità.
• Classificazione di Immagini (LLaVA): Invertire le top-32 teste selezionate tramite SOMP per dataset specifici (ad esempio, MNIST, SVHN) ha interrotto significativamente l'accuratezza della classificazione. Lo studio ha scoperto che dataset con semantica correlata (ad esempio, compiti di riconoscimento di cifre) condividono insiemi sovrapposti di teste specializzate, confermando la sovrapposizione funzionale tra i domini.
• Image Captioning (Flickr30k):
  • Inibizione: Invertire 16 teste specializzate per attributi come "colori", "sentiment" o "quantità" ha quasi completamente rimosso queste parole chiave dalle didascalie, mantenendo alti i punteggi CIDEr (qualità della didascalia).
  • Potenziamento: Amplificare queste teste ($\alpha=5$) ha aumentato la presenza dei concetti target di oltre il 60% con solo un marginale degrado della qualità della didascalia.

Significato e Rivendicazioni

Il documento afferma che gli strati di attenzione nei grandi modelli generativi possiedono uno spazio lineare strutturato e allineato ai concetti. Questa scoperta supporta l'ipotesi che i concetti di alto livello siano rappresentati in sottospazi residui approssimativamente lineari.

La significatività di questo lavoro risiede nel fornire strumenti semplici e privi di addestramento per comprendere ed editare modelli su larga scala. Identificando che un piccolo numero di unità può esercitare un ampio controllo semantico, gli autori offrono un'alternativa fondata agli interventi euristici basati su prompt o al fine-tuning. Questo approccio consente:

• Interpretabilità: Decomporre il comportamento del modello in un piccolo insieme di elementi interpretabili.
• Controllo: Soppressione o potenziamento mirato di specifici attributi (ad esempio, tossicità, specifici concetti visivi) con un impatto minimo sulle capacità generali del modello.

Gli autori rimangono modesti riguardo ai limiti, osservando che il metodo assume la linearità (che potrebbe non catturare tutte le strutture non lineari), dipende dalla qualità del dizionario semantico e utilizza un semplice riscalamento globale piuttosto che uno steering fine-grained. Suggeriscono che il lavoro futuro potrebbe esplorare interventi specifici per posizione o l'applicazione di queste tecniche ai compiti di generazione di immagini.