Sintesi Tecnica: La Dimensione Non Conta: Autoencoder Sparsi con Scoring Cosinusoidale

1. Definizione del Problema

Gli Autoencoder Sparsi (SAE) sono strumenti standard per l'interpretabilità meccanicistica, progettati per decomporre le attivazioni dei modelli in un dizionario di feature interpretabili dall'uomo. Gli SAE standard rilevano le feature tramite uno score di prodotto interno, $\langle w_i, x \rangle$, che scala sia con l'allineamento direzionale dell'input $x$ sia con la magnitudo dell'input $\|x\|$.

Questa geometria di scoring è fondamentalmente incompatibile con le moderne architetture transformer che impiegano la normalizzazione pre-sublayer (specificamente RMSNorm). In questi modelli, il sublayer legge l'attivazione normalizzata $x/\|x\|$, scartando efficacemente l'informazione sulla magnitudo prima del calcolo. Tuttavia, l'encoder dell'SAE, agganciato al residual stream, osserva ancora la magnitudo completa. Di conseguenza, lo score del prodotto interno confonde l'allineamento del contenuto con la norma del token.

Sotto la selezione BatchTopK (il meccanismo di sparsità standard), questo disallineamento crea una pressione di selezione patologica: i token ad alta norma gonfiano le pre-attivazioni per tutte le feature simultaneamente, indipendentemente dal loro allineamento direzionale. Questi token rivendicano sproporzionatamente gli slot del dizionario, causando l'apprendimento di "rilevatori di norma" (feature che si attivano in base alla magnitudo del token) da parte dell'SAE, anziché "rilevatori di contenuto". Ciò produce dizionari dominati da feature che codificano una quantità che il modello stesso ignora, minando l'affidabilità del probing sparso, del controllo delle feature (feature steering) e dell'analisi dei circuiti.

2. Metodologia

Gli autori propongono di sostituire lo score dell'encoder del prodotto interno standard con uno score cosinusoidale a esponente appreso. La nuova pre-attivazione $s_i(x)$ è definita come:

$$s_i(x) = e^b \|x_c\|^a \cdot \cos(x_c, w_i) + b_{enc,i}$$

Dove:

• $x_c = x - b_{dec}$ è l'input centrato sulla bias del decoder.
• $w_i$ sono le righe dell'encoder normalizzate a unità.
• $a$ è un esponente apprendibile che controlla la dipendenza dalla magnitudo dell'input.
• $b$ è un parametro di scala apprendibile.
• Il termine $e^b \|x_c\|^a$ interpola tra la pura similarità del coseno ($a=0$) e il prodotto interno ($a=1$).

L'articolo investiga due regimi di parametri:

1. $a$ Globale: Un singolo scalare esponente condiviso tra tutte le feature.
2. $a_i$ per Feature: Un'estensione in cui ogni feature apprende il proprio esponente ($a_i = a_{base} + \delta_i$), permettendo l'eterogeneità nella dipendenza dalla norma.

Scelte di Design Chiave:

• Normalizzazione a Unità: Le righe dell'encoder sono normalizzate a unità in ogni passaggio in avanti per garantire che lo score sia una vera similarità del coseno quando $a=0$.
• Inizializzazione: $a$ è inizializzato a 0 (puro coseno) e $b$ a $\log \sqrt{d_{model}}$.
• Stabilità: Per prevenire cascate "vincitore prende tutto" (winner-take-all) in cui le feature con gradienti iniziali leggermente più alti aumentano i propri esponenti per dominare i token ad alta norma, la variante per feature utilizza una parametrizzazione base+delta ($a_i = a_{base} + \delta_i$). Questo ancora la scala globale pur permettendo offset individuali delle feature.

3. Contributi Chiave

Architettura

L'articolo introduce gli SAE con scoring cosinusoidale, un sostituto "drop-in" per lo standard encoder che rimuove l'assunzione predefinita che la magnitudo sia un segnale utile per il rilevamento delle feature. Permettendo all'ottimizzatore di apprendere l'esponente di dipendenza dalla norma $a$, l'architettura può recuperare il prodotto interno se la magnitudo è realmente utile, ma di default si orienta verso uno scoring basato solo sulla direzione.

Risultati Empirici

Gli esperimenti su Qwen3-8B (Livello 18, 500M di token) e Gemma-2-2B dimostrano che gli SAE con scoring cosinusoidale ottengono:

• Ricostruzione Corrispondente: La frazione di varianza spiegata (FVE) e la preservazione del comportamento del modello (punteggi KL/CE) sono statisticamente indistinguibili dagli SAE standard.
• Guadagni Significativi di Interpretabilità: A parità di ricostruzione, la variante coseno per feature migliora l'accuratezza del top-1 dello sparse-probing del +14,9% attraverso otto dataset di SAEBench.
• Scoperta di Feature: Il miglioramento non è dovuto a una migliore codifica di feature condivise, ma piuttosto alla scoperta di nuove, interpretabili feature. Gli SAE standard non riescono a imparare queste feature perché i loro slot del dizionario sono occupati da rilevatori di norma.
• Geometria Appresa: L'addestramento spinge costantemente l'esponente appreso $a$ verso lo zero. Nel regime globale, $a \approx 0,26$; nel regime per feature, la media $a_i \approx 0,08$. Nessuna feature si avvicina mai al limite del prodotto interno ($a=1$), confermando che la direzione, e non la magnitudo, è il segnale utile.

Identificazione del Meccanismo

L'articolo isola la causa del fallimento del classico SAE: il forward-pass della selezione TopK sotto inflazione della norma.

• Il Ripesaggio dei Gradienti Fallisce: I tentativi di equalizzare le magnitudo dei gradienti tra i quartili della norma nell'SAE standard (tramite ripesatura della perdita) colmano solo il 1,9–6,8% del divario di performance. Questo conferma che il problema è la geometria di selezione (quali feature vincono la competizione TopK), non il flusso del gradiente nel backward-pass.
• Feature Condizionate dalla Norma: Gli SAE standard allocano la maggior parte della loro capacità a feature che si attivano prepotentemente sui token ad alta norma (86% delle attivazioni nel quartile superiore). Queste feature codificano la magnitudo, non il contenuto.
• Patologia della Ricostruzione: Sui token ad alta norma, gli SAE standard ricostruiscono con una norma di output 9,5 volte maggiore rispetto all'input, mentre gli SAE con scoring cosinusoidale mantengono un rapporto di 1$\times$, allineandosi con la lettura effettiva del modello.

4. Significato e Rivendicazioni

L'articolo sostiene che lo scoring cosinusoidale dovrebbe essere il default per l'apprendimento del dizionario su rappresentazioni normalizzate. Il modo di fallimento identificato — dove gli SAE con prodotto interno contano sistematicamente meno le feature di contenuto a favore dei rilevatori di norma — probabilmente influenza qualsiasi SAE addestrato su siti post-RMSNorm.

• Impatto Pratico: La modifica proposta è una minima variazione architettonica (aggiunta di uno o due parametri scalari) che produce dizionari più interpretabili senza costi di ricostruzione.
• Ambito e Limitazioni:
  • Il vantaggio è più pronunciato sotto RMSNorm. Sui modelli LayerNorm (es. Pythia, Falcon), il beneficio diminuisce o scompare negli strati profondi, suggerendo che la sottrazione della media di LayerNorm preservi una struttura correlata alla magnitudo che lo scoring del prodotto interno può sfruttare.
  • Sentiment è l'unico compito in cui l'SAE standard supera la variante coseno, coerentemente con l'ipotesi che la magnitudo porti un segnale rilevante per il compito nell'analisi del sentiment.
  • I risultati sono robusti attraverso livelli e modelli ma non sono universali; l'entità del guadagno scala con la dimensione e la profondità del modello.

Gli autori concludono che il principio "la dimensione non conta" è valido: per le rappresentazioni normalizzate, la magnitudo dell'attivazione è rumore per il rilevamento delle feature, e la geometria dello score dell'encoder deve riflettere questo per recuperare concetti significativi e riconoscibili dall'uomo.