Sintesi Tecnica: Rivelare le Strategie di Elaborazione dei Modelli Linguistici tramite la Fattorizzazione Fisher Non Negativa per Esempio

Definizione del Problema

Comprendere le euristiche e gli algoritmi che costituiscono il comportamento di un modello linguistico è fondamentale per un dispiegamento sicuro e affidabile. Sebbene i lavori precedenti sui circuiti Transformer abbiano identificato con successo grafi computazionali interpretabili per comportamenti specifici e pre-specificati (ad esempio, l'identificazione dell'oggetto indiretto), tali approcci richiedono che i ricercatori definiscano preventivamente i comportamenti di interesse, introducendo un bias e rischiando l'omissione di strategie di modello non intuitive.

Metodi non supervisionati recenti, come il clustering del gradiente, tentano di scoprire i comportamenti del modello raggruppando gli esempi in base ai gradienti della perdita rispetto ai parametri del modello. Tuttavia, questi metodi soffrono di due limitazioni primarie:

1. Assunzione Monogenica: Operano sotto l'assunto che un singolo modulo interno guidi il comportamento per ogni esempio. Nella realtà, i comportamenti dei modelli sono spesso "poligenici", il che significa che sono influenzati simultaneamente da molteplici fattori (ad esempio, contesti ambigui che coinvolgono molteplità di possibili continuazioni). Il clustering del gradiente forza l'assegnazione di un singolo fattore, fallendo nel catturare questa complessità.
2. Ambito Limitato dei Gradienti: I gradienti di una singola log-probabilità (o perdita) catturano solo una stretta porzione della distribuzione predittiva del modello. Essi sono influenzati verso la classe specifica che viene predetta, rendendoli poco adatti a catturare fattori che influenzano le predizioni attraverso diverse classi, particolarmente in sceni ad alta entropia o multi-classe.

Metodologia: NPEFF

Gli autori introducono NPEFF (Non-Negative Per-Example Fisher Factorization), un metodo di interpretabilità progettato per scoprire fattori comportamentali poligenici senza pre-specificarli.

1. Matrici Fisher per Esempio (PEF)

Invece di utilizzare i gradienti della perdita, NPEFF utilizza la matrice Per-Example Fisher (PEF), $F(x)$, definita come:
$$F(x) = \mathbb{E}_{y \sim p_\theta(y|x)} [\nabla_\theta \log p_\theta(y|x) \nabla_\theta \log p_\theta(y|x)^T]$$
La PEF è una matrice PSD (positiva semi-definita) che mette in relazione le perturbazioni dei parametri con i cambiamenti nell'intera distribuzione predittiva del modello. A differenza dei gradienti, che si concentrano su un singolo esito, la PEF cattura la sensibilità attraverso tutte le potenziali predizioni, rendendola adatta all'analisi di comportamenti poligenici dove molteplici fattori influenzano la distribuzione.

2. Computazione Efficiente tramite Proiezioni Casuali

Le matrici PEF sono computazionalmente intrattabili per i modelli moderni a causa delle loro dimensioni (quintilioni di voci). Per affrontare questo problema, gli autori utilizzano proiezioni casuali (Achlioptas, 2003) per approssimare la PEF. Costruiscono una rappresentazione matriciale a basso rango (LRM-PEF) e applicano proiezioni casuali per ridurre la dimensionalità. Fondamentalmente, dimostrano che queste proiezioni possono essere "invertite" utilizzando tecniche di compressed sensing (Donoho, 2006) per recuperare vettori sparsi nello spazio dei parametri, permettendo l'identificazione di specifiche direzioni del modello corrispondenti ai fattori comportamentali.

3. Decomposizione Non Negativa

Il nucleo di NPEFF è un algoritmo di decomposizione che approssima un insieme di PEF come una combinazione non negativa di matrici PSD di rango 1:
$$\min \sum_{i=1}^m \| G_i^T G_i - \sum_{j=1}^C W_{ij} h_j h_j^T \|_F^2 \quad \text{soggetto a} \quad W_{ij} \geq 0$$
In questa formulazione, $h_j h_j^T$ rappresenta la "pseudo-Fisher" del componente $j$, e $W_{ij}$ sono coefficienti non negativi. Questa formulazione permette a ciascun esempio di essere spiegato da una combinazione pesata di molteplici fattori, modellando direttamente la poligenicità. L'algoritmo alterna l'aggiornamento dei coefficienti (usando aggiornamenti moltiplicativi simili alla NMF) e l'aggiornamento dei vettori pseudo-Fisher (usando il gradiente discendente).

4. Variante G-NPEFF

Per ridurre i costi computazionali, gli autori propongono G-NPEFF, che applica lo stesso algoritmo di decomposizione a matrici di rango 1 costruite dal gradiente della log-probabilità della classe/token predetto. Sebbene sia più economico, si è dimostrato che G-NPEFF è meno efficace nel catturare fattori poligenici all'aumentare delle classi, poiché rimane influenzato verso la classe dominante predetta.

Contributi Chiave e Risultati

1. Scoperta di Fattori Poligenici Interpretabili

Attraverso valutazioni umane e di LLM su compiti come l'analisi del sentiment (SST2), l'identificazione del topic (Yahoo Answers Topics) e la classificazione dell'intento (CLINC150), gli autori dimostrano che i componenti di NPEFF corrispondono a temi interpretabili (ad esempio, "domande riguardanti una rapida perdita di peso" o "descrizioni positive di attori").

• Poligenicità: A differenza del clustering del gradiente, che recupera quasi esclusivamente comportamenti "monogenici" (a fattore singolo), NPEFF recupera con successo una frazione significativa di fattori poligenici. Ciò è evidenziato da un'alta percentuale di componenti che sono sintonizzati sui label di ground-truth ma non sulle predizioni specifiche del modello (LnP-tuned), indicando che catturano fattori che influenzano la distribuzione oltre la top predizione.
• Confronto: NPEFF supera i baseline, inclusi il clustering del gradiente, gli autoencoder sparsi (SAE) e la SVD su gradienti/attivazioni, nell'identificare questi comportamenti sfumati e multi-fattore.

2. Validazione Causale tramite Perturbazioni dei Parametri

Gli autori validano l'importanza causale dei componenti NPEFF ricostruendo i vettori nello spazio dei parametri dai pseudo-Fisher proiettati tramite compressed sensing. Applicano perturbazioni lungo queste direzioni e osservano che:

• Le perturbazioni interrompono significativamente le predizioni del modello sugli esempi dove il componente ha un coefficiente elevato.
• La perturbazione è selettiva, influenzando gli esempi target molto più degli esempi casuali.
• Ciò conferma che le direzioni scoperte da NPEFF sono causalmente legate all'elaborazione di specifici fattori comportamentali da parte del modello.

3. Analica dell'In-Context Learning (ICL)

Gli autori applicano NPEFF per analizzare l'ICL. Costruiscono un classificatore lineare basato sulle sintonizzazioni zero-shot dei componenti NPEFF. Questo classificatore raggiunge un'accuratezza comparabile a un ICL a 6-shot e produce predizioni molto simili.

• Risultato: Ciò suggerisce che gran parte del guadagno di performance dall'ICL derivi dal fatto che il modello ri-pesa i suoi esistenti fattori comportamentali zero-shot per adattarsi alla formulazione del task, piuttosto che apprendere comportamenti interamente nuovi dal contesto.

4. Efficienza e Scalabilità

• G-NPEFF: Il paper mostra che per task con poche classi, G-NPEFF performa in modo simile al pieno NPEFF, offrendo un'alternativa conveniente.
• Ablazioni: Gli esperimenti sulle dimensioni delle proiezioni casuali e sul numero di componenti indicano che il metodo è robusto. Anche con un'aggressiva riduzione della dimensionalità, la decomposizione mantiene una quantità significativa di informazioni sul comportamento del modello.

Significato e Rivendicazioni

Il paper sostiene che NPEFF rappresenti un metodo nuovo e ben adatto per scoprire fattori di comportamenti di modello poligenici, colmando una lacuna critica lasciata dai metodi di clustering basati sul gradiente.

• Novità Metodologica: Utilizzando matrici Per-Example Fisher e una decomposizione non negativa su matrici PSD di rango 1, NPEFF fornisce un framework che rispetta la natura multi-fattore dell'elaborazione del linguaggio.
• Interpretabilità Causale: La capacità di mappare i componenti nuovamente verso direzioni nello spazio dei parametri e di interromperli selettivamente fornisce una forte evidenza causale che questi componenti rappresentano reali strategie di elaborazione utilizzate dal modello.
• Utilità Pratica: Il metodo consente di scomporre comportamenti complessi (come l'ICL) nei loro fattori costituenti, offrendo una via verso una modifica più mirata del modello e interventi di sicurezza.

Gli autori rimangono modesti riguardo all'ambito del loro lavoro, notando che, sebbene NPEFF identifichi le direzioni nello spazio dei parametri importanti per specifici comportamenti, la costruzione degli algoritmi espliciti o dei circuiti computazionali corrispondenti a queste direzioni rimane compito della futura ricerca sui circuiti Transformer. Avvertono inoltre che, sebbene il loro codice di perturbazione permetta la perturbazione, la modifica sofisticata del comportamento del modello su larga scala comporta il rischio di rimuovere accidentalmente comportamenti rari ma contestualmente appropriati.