Sintesi Tecnica: Evidenze di Correzione dell'Errore Specifico per Feature in LLM

Definizione del Problema

Le rappresentazioni interne dei Large Language Models (LLM) rimangono scarsamente comprese. Un'ipotesi prevalente è che gli LLM utilizzino la sovrapposizione (superposition) per rappresentare più feature di quante siano le loro dimensioni, e potenzialmente eseguano il calcolo in sovrapposizione (computation in superposition, CiS). Il lavoro teorico (Hänni et al., 2024) prevede che, affinché la CiS funzioni, la rete debba implementare una correzione dell'errore che privilegi specifiche "direzioni di feature" rispetto a direzioni generiche per sopprimere il rumore di interferenza. Tuttavia, questa previsione manca di validazione empirica. Senza direzioni di feature di verità fondamentale (ground-truth), è difficile testare se gli LLM trattino certe direzioni come privilegiate. Questo articolo propone un test empirico per determinare se gli LLM esibiscano una Correzione dell'Errore Specifico per Feature (FSEC) — una proprietà per la quale il modello è meno sensibile alle perturbazioni lungo le direzioni non-feature rispetto alle direzioni feature.

Metodologia

Gli autori propongono un test empirico basato sulla perturbazione per misurare la geometria dei plateau di attivazione (regioni in cui piccole perturbazioni producono una risposta a valle trascurabile).

1. Configurazione della Perturbazione:

   • Le attivazioni dello stream residuo a uno strato precoce ($\ell=2$) vengono perturbate ruotando il vettore di attivazione verso una direzione target $d$, mantenendo costante la norma del vettore (perturbazione a norma corrispondente).
   • La risposta a valle viene misurata allo strato penultimo come la distanza $L_2$ tra gli stream residui perturbati e quelli non perturbati.
   • L'angolo di rottura del plateau ($\alpha$) è definito come l'angolo di perturbazione minimo necessario per superare una specifica soglia di risposta.

2. Tipi di Direzione:

   • Direzioni Candidate Feature: Costruite tramite prompt contrastivi (es. genere, sentimento, lingue), MELBO (ottimizzazione non supervisionata per la risposta a valle) e colonne del decoder di Sparse Autoencoder (SAE).
   • Direzioni di Baseline: Direzioni isotrope casuali, direzioni PCA e direzioni di differenza casuale (differenze di attivazioni non accoppiate).

3. Il Test della Superellisse:

   • Gli autori perturbano le attivazioni lungo miscele di due direzioni ($d_1, d_2$) variando un angolo di miscelazione $\phi$.
   • Modellano l'angolo di rottura del plateau $\alpha(\phi)$ come funzione delle proiezioni sulle due direzioni.
   • La risposta è modellata come una norma $L_p$ della decomposizione: $R(v) = F(\sum w_i |\hat{f}_i^\top v|^p)$.
   • Previsione Teorica:
     • Se il modello risponde solo all'ampiezza della perturbazione (isotropia), il confine è un'ellisse ($p=2$).
     • Se il modello privilegia singole direzioni di feature (FSEC), il confine si gonfia verso l'esterno, formando una superellisse con $p > 2$. Ciò indica che una miscela di feature richiede una perturbazione maggiore per rompere il plateau, implicando che la rete sopprime l'interferenza dalle direzioni miscelate.

Contributi Chiave

1. Proposta della FSEC come Test: Gli autori formalizzano la FSEC come un test per la computazione in sovrapposizione, modellando la risposta dell'LLM alle perturbazioni tramite l'esponente $p$ della decomposizione della norma $L_p$.
2. Evidenza Empirica: Forniscono la prima evidenza empirica che le direzioni di feature candidate sono privilegiate rispetto alle loro miscele.
3. Replicazione Cross-Model: I risultati sono replicati su sei diversi modelli (Gemma-2-9B, Qwen3-1.7B, Llama-3.1-8B, Mistral-7B-v0.3, Aya-Expanse-8B e Yi-1.5-9B).
4. Validazione su Modello Toy: La metodologia è validata su una rete di denoising toy con direzioni feature di verità fondamentale note, confermando che viene recuperato $p > 2$ per le vere feature e che questo degrada a $p \approx 2$ man mano che le direzioni vengono ruotate lontano da esse.

Risultati

• Direzioni Contrastive: Attraverso 318 coppie di direzioni contrastive (coprendo concetti come ricchezza, genere e lingue), l'esponente della superellisse adattata è costantemente $p > 2$ (media $p \approx 2.42$, mediana $2.30$).
• Direzioni MELBO e SAE: Anche queste direzioni candidate feature producono $p > 2$ (media MELBO $2.21$; media SAE $2.28$), sebbene leggermente inferiori alle direzioni contrastive.
• Baseline: Le direzioni PCA, casuali e di differenza casuale si raggruppano tutte intorno a $p \approx 2$ (medie compresi tra $2.03$e$2.05$), indicando che non sono privilegiate.
• Analisi di Rotazione: Quando le direzioni contrastive vengono ruotate verso direzioni ortogonali casuali, l'esponente $p$ diminuisce monotonicamente da $\approx 2.4$ a $\approx 2.0$, dimostrando che $p$ traccia l'allineamento con le direzioni delle feature.
• Robustezza: I risultati sono validi attraverso varie ablazioni, inclusi diversi strati di perturbazione, strati di misurazione, metriche di risposta (distanza coseno, divergenza KL) e posizioni dei token.

Significato e Rivendicazioni

L'articolo sostiene di fornire la prima evidenza empirica a supporto dell'ipotesi che gli LLM implementino la correzione dell'errore specifico per feature, una condizione necessaria per la computazione in sovrapposizione.

• Interpretazione di $p > 2$: Gli autori sostengono che $p=2$ (una forma quadratica) non può privilegiare un gran numero di direzioni di feature rispetto ad altre a causa dei gradi di libertà limitati nella dimensione del modello. Al contrario, $p > 2$ permette alla rete di essere altamente sensibile a specifiche direzioni di feature pur sopprimendo l'interferenza dalle loro miscele.
• Limite Inferiore: Gli autori notano con modestia che il valore misurato di $p \approx 2.3$ per gli LLM è probabilmente un limite inferiore. Poiché le loro direzioni candidate (contrastive, MELBO, SAE) sono approssimazioni imperfette delle vere feature di ground-truth, il disallineamento diluisce la sensibilità direzionale, influenzando $p$ verso 2. I loro esperimenti con modelli toy supportano questo punto, mostrando come anche un moderato disallineamento riduca $p$ dall'intervallo delle ground-truth ($3\text{--}3.4$) all'intervallo osservato negli LLM.
• Limitazioni: L'articolo afferma esplicitamente che, sebbene $p > 2$ sia una condizione necessaria per la FSEC, non è sufficiente a provare che una direzione sia una feature (esperimenti preliminari suggeriscono che massimizzare solo $p$ non recupera le feature). Inoltre, l'esistenza di plateau di attivazione non prova definitivamente la correzione dell'errore; potrebbero derivare da altri meccanismi di robustezza. Tuttavia, il trattamento differenziato delle direzioni ($p > 2$ per le feature vs $p \approx 2$ per le baseline) rimane un'osservazione robusta di un trattamento preferenziale.

In conclusione, l'articolo stabilisce una metrica quantitativa ($p$) che distingue le direzioni candidate feature dalle non-feature, offrendo un forte supporto empirico al quadro teorico della sovrapposizione e della correzione dell'errore negli LLM.