Riepilogo Tecnico: Steering dell'Attenzione Guidato da Varietà (MAGS)

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) possiedono spesso la conoscenza sottostante necessaria per compiti di ragionamento complessi, ma falliscono frequentemente nell'esprimere questa capacità in modo affidabile durante la generazione. Sebbene il campionamento ripetuto dello stesso modello e prompt possa produrre sia soluzioni corrette che errate, le annotazioni a livello di processo indicano che gli errori sorgono tipicamente in fasi intermedie del ragionamento piuttosto che da una mancanza terminale di conoscenza.

I metodi esistenti di steering delle attivazioni a tempo di inferenza tentano di correggere questi comportamenti applicando vettori di correzione fissi e pre-calcolati al flusso residuo o agli output dell'attenzione. Tuttavia, questi approcci soffrono di una discrepanza strutturale critica rispetto ai compiti di ragionamento:

1. Perturbazione Indiscriminata: Applicano correzioni in modo uniforme, indipendentemente dallo stato corrente del modello. Ciò rischia di corrompere passaggi che sono già corretti, fallendo nel contempo di intercettare errori che non si sono ancora manifestati.
2. Natura Statica: Mancano di meccanismi per rilevare quando una traiettoria di ragionamento sta deviando verso uno stato di errore, trattando tutti i passaggi di generazione come ugualmente bisognosi di correzione.

L'ipotesi centrale di questo lavoro è che gli errori di ragionamento si manifestino come una deriva strutturata in un sottospazio a bassa dimensione degli spazi di output di singole teste di attenzione. Le traiettorie corrette e quelle errate occupano regioni geometricamente separabili, e la transizione da un comportamento corretto a uno errato segue una direzione specifica a basso rango.

Metodologia: Steering dell'Attenzione Guidato da Varietà (MAGS)

MAGS è un'intervento adattivo e consapevole della traiettoria a tempo di inferenza che guida gli output delle teste di attenzione solo quando viene rilevata una deviazione da una "varietà di correttezza". Il metodo opera in tre fasi:

1. Costruzione della Varietà di Errore Contrastiva

Durante una fase di addestramento, il sistema analizza coppie contrastive di tracce di ragionamento (stesso problema, una soluzione corretta, una errata) per apprendere la struttura geometrica degli errori.

• Vettori di Differenza per Testa: Per ogni testa di attenzione $(l, h)$, il sistema calcola l'attivazione media per le tracce corrette ($\mu_c$) e quelle errate ($\mu_e$). Il vettore di differenza $\delta = \mu_e - \mu_c$ isola lo spostamento direzionale attribuibile agli errori, annullando le caratteristiche specifiche del problema.
• Apprendimento del Sottospazio: Impilando questi vettori di differenza su più problemi ed eseguendo l'Analisi delle Componenti Principali (PCA), MAGS estrae una base a bassa dimensione $B$ (i primi $k$ vettori singolari). Questa base definisce il "sottospazio di errore"—le direzioni nello spazio di output della testa dove la deviazione da corretto a errato presenta la massima varianza.
• Riferimento Globale: Un baricentro globale $\mu_c$ viene calcolato da tutte le tracce corrette per fungere da punto di riferimento durante l'inferenza.

2. Rilevamento dell'Errore Basato sulla Prossimità

Durante l'inferenza, MAGS monitora l'output delle teste di attenzione selezionate in tempo reale.

• Punteggio di Prossimità: Per ogni passo di token $t$, il sistema calcola la norma quadrata della proiezione dell'output della testa centrato sul sottospazio di errore appreso:
  $$d_t = \| B(a_t - \mu_c) \|^2$$
  Un punteggio elevato indica che l'attivazione della testa è deviata significativamente verso la varietà di errore.
• Attivazione Dinamica: Una soglia per testa $\tau$ viene calibrata sulle tracce corrette (ad esempio, impostata su un percentile elevato dei punteggi delle traiettorie corrette). Una correzione viene applicata solo se $d_t > \tau$. Ciò garantisce che i passaggi già sulla traiettoria corretta rimangano indisturbati.

3. Correzione Mirata

Quando un trigger si attiva, MAGS applica una correzione in loco all'output della testa di attenzione prima che venga passato alla proiezione di output del livello:
$$\tilde{a}_t = a_t - \alpha B^\top B (a_t - \mu_c)$$
dove $\alpha \in (0, 1]$ è un iperparametro di forza di steering.

• Interpretazione Geometrica: Questa operazione proietta la deviazione $(a_t - \mu_c)$ sul sottospazio di errore e la sottrae, eliminando efficacemente la componente di errore mentre preserva tutte le informazioni nel complemento ortogonale (le dimensioni $(d_h - k)$ non correlate alla varietà di errore).
• Preservazione delle Informazioni: Il metodo garantisce che le informazioni non correlate alla varietà di errore siano preservate, evitando la "sovracorrezione" osservata nei metodi statici.

Estensione Multi-Obiettivo (MAGSu)

Per gestire obiettivi conflittuali (ad esempio, validità sintattica vs affinità di legame chimico), gli autori propongono MAGSu, che apprende varietà indipendenti per ogni obiettivo e applica correzioni attraverso insiemi disgiunti di teste, prevenendo interferenze tra gli obiettivi di steering.

Contributi Chiave

1. Validazione dell'Ipotesi: Il documento fornisce prove empiriche che gli errori di ragionamento si manifestano come deriva strutturata in sottospazi a bassa dimensione di specifiche teste di attenzione. Esperimenti diagnostici mostrano che le traiettorie corrette e quelle errate sono altamente separabili da questi sottospazi, con segnali di errore sparsi e concentrati in teste specifiche.
2. Meccanismo di Intervento Adattivo: MAGS introduce un trigger dinamico basato sulla prossimità che applica correzioni solo quando una testa deriva nel sottospazio di errore. Ciò contrasta con i metodi statici che applicano vettori fissi indipendentemente dallo stato di attivazione corrente.
3. Superiorità Empirica: Il metodo supera costantemente i baseline non steerati e gli approcci di steering statici esistenti (ITI, Angular Steering) su diverse benchmark.

Risultati Sperimentali

Gli autori hanno valutato MAGS su tre famiglie di modelli (Llama-3.1-8B-Instruct, Gemma-4-E4b-it e GPT-OSS-20B) attraverso tre domini:

• Ragionamento Matematico (MATH-500, GSM8K): MAGS ha ottenuto i guadagni più significativi su MATH-500, migliorando l'accuratezza del +5,2% rispetto al baseline Llama non steerato e del +3,4% rispetto al baseline Gemma non steerato. Il miglioramento è stato più pronunciato in compiti con derivazioni multi-step dove è probabile l'accumulo di errori.
• Generazione di Codice (HumanEval, MBPP): MAGS ha migliorato HumanEval pass@1 di circa 4 punti rispetto ai baseline non steerati. In modo notevole, i metodi statici (ITI, Angular Steering) hanno degradato le prestazioni sulla generazione di codice, probabilmente a causa dell'interruzione della coerenza sintattica, mentre MAGS ha evitato ciò sopprimendo le correzioni sui passaggi corretti.
• Generazione Molecolare (SMILES): In un compito multi-obiettivo che richiedeva sia validità sintattica che alta affinità di legame, MAGSu ha migliorato con successo entrambe le metriche simultaneamente. Al contrario, ITI ha migliorato la validità ma ha degradato significativamente l'affinità di legame, dimostrando l'interferenza causata da obiettivi intrecciati nello steering statico.
• Fluidità e Sovraccarico: MAGS ha mantenuto livelli di perplessità comparabili ai baseline non steerati, indicando che non distorce la distribuzione di generazione. Il sovraccarico computazionale è trascurabile, dominato da operazioni $O(K \cdot k \cdot d_h)$ per passo, dove $K$ è il numero di teste monitorate.

Significato e Affermazioni

Il documento afferma che MAGS riformula lo steering delle attivazioni come un problema di rilevamento della deriva piuttosto che come un compito di correzione costante. Identificando una base a basso rango che prevede l'insorgenza di errori, MAGS fornisce una struttura geometrica interpretabile che manca ai metodi basati su grandezza scalare.

Gli autori affermano che:

1. Le Varietà di Correttezza sono Generali: L'esistenza di sottospazi a bassa dimensione che separano comportamenti corretti e errati sembra essere una caratteristica generale della geometria dell'attenzione degli LLM, applicabile attraverso ragionamento, codifica e generazione scientifica.
2. La Consapevolezza della Traiettoria è Critica: La correzione indiscriminata interrompe passaggi di ragionamento validi. La capacità di intervenire solo quando viene rilevata una deviazione è il principale motore delle prestazioni superiori di MAGS e della sua robustezza alla sensibilità degli iperparametri.
3. Vincoli Geometrici Prevengono la Sovracorrezione: Proiettando le attivazioni indietro sul complemento del sottospazio di errore, MAGS preserva le capacità intrinseche del modello rimuovendo solo le componenti specifiche dell'errore.

Il lavoro conclude che, sebbene MAGS richieda un insieme di tracce contrastive per il fitting della varietà, offre una soluzione robusta e a basso sovraccarico per migliorare la coerenza del ragionamento negli LLM, superando le interventi statici che non tengono conto della natura dinamica della traiettoria di generazione.