Riepilogo Tecnico: Dimensionalità Causale delle Rappresentazioni dei Transformer

Enunciato del Problema

Gli Autoencoder Sparsi (SAE) sono diventati lo strumento standard per decomporre i flussi residui dei transformer in dizionari di caratteristiche interpretabili e monosemantiche. Un'assunzione prevalente nel campo è che la capacità rappresentazionale (il numero di caratteristiche che si attivano su qualsiasi input) scala linearmente con la capacità causale (il numero di caratteristiche la cui perturbazione modifica effettivamente il comportamento del modello). Se ciò fosse vero, aumentare semplicemente la larghezza degli SAE espanderebbe proporzionalmente l'insieme delle caratteristiche causalmente rilevanti disponibili per l'interpretazione meccanica.

Questo articolo sfida tale assunzione, sostenendo che le capacità rappresentazionali e causali divergono significativamente man mano che gli SAE scalano. Gli autori ipotizzano che il campo manchi di una caratterizzazione sistematica della relazione tra la larghezza degli SAE e l'influenza causale, rendendo necessaria una nuova metrica per quantificare la struttura causale intrinseca dei livelli dei transformer.

Metodologia

1. Definizione della Dimensionalità Causale ($\kappa$)

Gli autori introducono la dimensionalità causale, indicata come $\kappa(L, M, T)$, definita come il rango effettivo del prodotto esterno della Jacobiana attesa al livello $L$:
$$\kappa(L, M, T) = \text{eff-rank}(\Sigma_L), \quad \text{dove } \Sigma_L = \mathbb{E}_{x \sim T} [J_L(x)^\top J_L(x)]$$
Qui, $J_L(x)$ è la Jacobiana dell'output del modello rispetto al flusso residuo al livello $L$. $\kappa$ rappresenta il numero effettivo di direzioni nel flusso residuo che influenzano causalmente l'output. Gli autori dimostrano che $\kappa \le \min(d, |V|)$, dove $d$ è la dimensione del modello e $|V|$ è la dimensione del vocabolario.

2. Stima tramite Scansione della Larghezza SAE e Attribution Patching

Poiché il calcolo esatto di $\Sigma_L$ è intrattabile (richiedendo $d$ passaggi all'indietro per input), gli autori propongono un stimatore coerente utilizzando l'Attribution Patching (AtP) accoppiato a una scansione della larghezza SAE:

• Attribution Patching: Utilizzato come proxy del primo ordine per l'influenza causale. Il punteggio per una caratteristica $i$ è $AtP_i = \mathbb{E} [|\frac{\partial \mathcal{L}}{\partial f_i} \cdot f_i(x)|]$, che misura l'impatto della caratteristica sulla perdita.
• Scansione della Larghezza: Gli autori addestrano SAE su Gemma-2-2B (Livello 12) su sette larghezze che variano da 16.384 a 1.048.576 caratteristiche.
• Metrica: Contano il numero di caratteristiche $N_{causal}(m)$ che superano una soglia assoluta calibrata $\epsilon$ (impostata al 98° percentile dei punteggi AtP alla larghezza di riferimento).
• Coerenza: Sotto le ipotesi di copertura, fedeltà e assenza di caratteristiche inattive, $N_{causal}(m)$ converge a un conteggio spettrale che delimita inferiormente $\kappa$.

3. Controlli Sperimentali

Lo studio impiega controlli rigorosi per isolare il segnale causale:

• $\ell_0$ Abbinato: Controllo del numero medio di caratteristiche attive tra le diverse larghezze per evitare confusione dovuta alla deriva della sparsità.
• Invarianza di Scala: Confronto tra Gemma-2-2B e Gemma-2-9B a profondità relative abbinate.
• Invarianza Architetturale: Test di SAE con TopK, JumpReLU e ReLU standard.
• Ablazioni: Un'ablazione a quattro celle di codificatore/decodificatore per distinguere tra selezione delle caratteristiche e filtraggio della sparsità.
• Verità Terrena Sintetica: Test del recupero di direzioni causali note in un modello giocattolo.

Risultati Chiave

1. Il Cuneo Rappresentazionale-Causale

Su Gemma-2-2B Livello 12, aumentando la larghezza SAE di 64 volte (da 16k a 1M) si è ottenuto:

• Crescita Rappresentazionale: Il conteggio delle caratteristiche attive ($N_{repr}$) è aumentato di 15,6 volte.
• Crescita Causale: Il conteggio delle caratteristiche causalmente attive ($N_{causal}$) è aumentato solo di 4,35 volte.
  Questa divergenza, definita cuneo rappresentazionale-causale, dimostra che la capacità rappresentazionale cresce linearmente mentre la capacità causale satura in modo sub-lineare.

2. Stima di $\kappa$

L'adattamento di una curva di saturazione alla traiettoria $N_{causal}(m)$ produce una stima della dimensionalità causale:

• $\hat{\kappa} \approx 1.990$ (con un ampio intervallo di confidenza dovuto ai limiti hardware sulla larghezza degli SAE, ma un rapporto robusto).
• $\hat{\kappa} / d_{model} \approx 0,86$: Il modello utilizza causalmente quasi tutte le sue dimensioni rappresentazionali su testo generico, ma questo numero è limitato e non cresce con la larghezza degli SAE.
• Rapporto di Partecipazione: Un limite inferiore $\kappa_{PR} \approx 280$ indica uno spettro a coda pesante dell'influenza causale.

3. Invarianza e Struttura

• Invarianza di Scala: Nonostante un aumento di 3,46 volte dei parametri (Gemma-2-2B vs 9B), il conteggio causale a profondità relative abbinate è rimasto identico ($N_{causal} = 328$). Ciò suggerisce che $\kappa$ è determinato dalla diversità dei compiti, non dal numero di parametri.
• Attenuazione della Profondità: Su otto livelli, la soglia di attribuzione assoluta richiesta per identificare il 2% superiore delle caratteristiche è diminuita di 20 volte dal Livello 1 al Livello 23, indicando che la forza del segnale causale si attenua con la profondità.
• Invarianza Architetturale: La crescita sub-lineare di $N_{causal}$ è stata confermata attraverso le architetture TopK, JumpReLU e ReLU standard.

4. Insight Meccanico: Il Codificatore come Filtro

Una scoperta critica dall'ablazione a quattro celle è che sostituire il codificatore addestrato con una proiezione ortogonale casuale ha inflazionato $N_{causal}$ di 9,27 volte.

• Implicazione: Il codificatore addestrato agisce principalmente come un filtro di sparsità (sopprimendo le caratteristiche di fondo) piuttosto che come un selettore di caratteristiche.
• Conseguenza: Il lavoro di interpretazione focalizzato sulle etichette delle caratteristiche del codificatore potrebbe essere fuorviante; la struttura del decodificatore e l'instradamento delle caratteristiche soppresse sono probabilmente più critici.

5. Validazione e Controlli

• Privilegio Geometrico: Le caratteristiche causali non hanno mostrato alcuna distinzione geometrica (magnitudine o similarità coseno) rispetto alle caratteristiche non causali nello spazio del decodificatore.
• Recupero Sintetico: AtP non è riuscito a recuperare le direzioni causali di verità terrena in un modello giocattolo (Recall = 0), confermando che AtP misura i pattern di attivazione instradati attraverso il decodificatore, non un recupero diretto di una base causale.
• Recupero Specifico per Compito: Su circuiti di compiti specifici (Marks et al., 2025), il 5% superiore delle caratteristiche AtP ha recuperato il 98,2% della verità terrena, supportando una "struttura stratificata" in cui un nucleo ad alto AtP è condiviso tra i compiti, circondato da un alone specifico per il compito.

Significato e Affermazioni

L'articolo stabilisce $\kappa$ come una proprietà misurabile e intrinseca al modello dei livelli dei transformer. I suoi contributi principali sono:

1. Definizione Teorica: Definire la dimensionalità causale come il rango effettivo della Jacobiana causale e dimostrare i suoi limiti superiori.
2. Caratterizzazione Empirica: Dimostrare che la capacità causale è recuperabile in modo sub-lineare dalla larghezza degli SAE ed è invariante rispetto alla scalatura del modello, contraddicendo l'assunzione che SAE più ampi espandano linearmente l'interpretabilità causale.
3. Riformulazione Meccanica: Identificare il codificatore addestrato come un filtro di sparsità, suggerendo che l'"insieme causale" è definito dalla soppressione del rumore da parte del codificatore piuttosto che dalla selezione di concetti specifici.
4. Implicazione Pratica: Le attuali larghezze degli SAE (ad es. 1M) catturano solo circa il 72% della dimensionalità causale stimata ($\hat{\kappa}$), implicando che per un'enumerazione causale completa sarebbero necessari SAE significativamente più ampi (circa 2,6M), attualmente proibitivi dal punto di vista computazionale.

Gli autori concludono che il "cuneo" è una proprietà fondamentale delle rappresentazioni dei transformer, guidata dalla saturazione delle dimensioni del sottospazio causale, e che gli sforzi di interpretazione devono tenere conto di questa scalatura non lineare e del ruolo specifico del codificatore nel filtrare le caratteristiche di fondo.