Riepilogo Tecnico: C2R (Cross-sample Consistency Regularization)

1. Definizione del Problema

Gli Autoencoder Sparsi (SAE) sono uno strumento primario per interpretare i Large Language Models (LLM) decomponendo le attivazioni dense in feature sparse e comprensibili all'uomo. Tuttavia, man mano che gli SAE scalano verso dizionari più grandi, esibiscono due patologie pervasive che compromettono l'affidabilità dei latenti appresi:

• Feature Splitting (Frammentazione delle Feature): Concetti coerenti di alto livello vengono frammentati in molteplici latenti non atomici e ridondanti (ad esempio, un singolo concetto di "Matematica" che si divide in separati latenti di "Algebra" e "Geometria"). Ciò oscura i veri concetti funzionali utilizzati dal modello e spreca la capacità del dizionario.
• Feature Absorption (Assorbimento delle Feature): Specifici latenti catturano attivazioni che dovrebbero appartenere a feature generali, creando eccezioni arbitrarie (ad esempio, un latente "inizia con S" che non si attiva su "short" o "small" perché latenti specifici per il token assorbono il segnale). Ciò distorce il pattern semantico previsto.

Gli autori sostengono che questi problemi derivino da un'assegnazione inconsistente dei latenti tra i campioni. Gli obiettivi di sparsità standard (come la regolarizzazione $\ell_1$ o i vincoli TopK) operano su una base per singolo campione. Senza vincoli cross-sample, l'ottimizzatore può minimizzare la penalità di sparsità distribuendo un singolo concetto semantico su più latenti disgiunti o permettendo a specifici latenti di "rubare" attivazioni da quelli generali, purché l'errore di ricostruzione rimanga basso per quel singolo campione.

2. Metodologia: C2R

Per affrontare questi fallimenti, l'articolo introduce C2R (Cross-sample Consistency Regularization). Questo metodo impone che ogni feature semantica sia rappresentata in modo coerente da un unico latente attraverso l'intero batch.

Fondamento Teorico

C2R si basa sulla disuguaglianza di Minkowski e sulla convessità stretta della norma $\ell_2$. L'intuizione centrale è che per vettori non allineati $u$ e $v$, la somma delle loro norme è strettamente superiore alla norma della loro somma:
$$\|u\|_2 + \|v\|_2 > \|u + v\|_2$$
Nel contesto degli SAE, se una feature semantica è divisa tra più latenti, la somma delle norme $\ell_2$ delle loro attivazioni attraverso un batch sarà superiore rispetto al caso in cui la feature fosse consolidata in un singolo latente. C2R sfrutta questo aspetto per penalizzare la frammentazione dell'informazione semantica.

L'Obiettivo C2R

Il metodo estende l'analisi a coppie all'intero dizionario, identificando coppie di latenti ridondanti e penalizzando la loro co-attivazione.

1. Rilevamento della Ridondanza: Per ogni latente $i$, l'algoritmo identifica il suo vicino più prossimo $j^*(i)$ nello spazio dei pesi del decoder basandosi sulla similarità del coseno. Questo mira a coppie che probabilmente rappresentano frammenti divisi o variazioni assorbite.
2. Penalità Gated (a porta): La perdita di regolarizzazione è pesata dalla similarità del coseno rettificata al quadrato ($\rho^2$) tra i pesi del decoder della coppia. Questo funge da gate:
   • Se i latenti sono distinti (ortogonali), $\rho \approx 0$, e non viene applicata alcuna penalità.
   • Se i latenti sono ridondanti (alta allineamento), $\rho$ è grande, e la penalità viene applicata.
3. Formulazione della Loss:
   $$L_{C2R}(X) = \frac{1}{k} \sum_{i=1}^{k} \rho_{i, j^*(i)}^2 \cdot \left( \|Z_{:,i}\|_2 + \|Z_{:,j^*(i)}\|_2 \right)$$
   Dove $Z_{:,i}$ rappresenta il batch di attivazioni per il latente $i$. L'obiettivo di addestramento totale aggiunge questo termine alla loss standard dell'SAE:
   $$L(X) = L_{SAE}(X) + \lambda_{C2R} L_{C2R}(X)$$

Dinamiche del Gradiente

Il gradiente di C2R fornisce due forze simultanee:

• Pressione di Coerenza (Consistency Pressure): Scala con la similarità ($\rho^2$) per minimizzare la somma delle norme, spingendo le attivazioni divise verso un singolo latente.
• Ortogonalità Implicita: Scala con l'ampiezza dell'attivazione ($S$) per minimizzare la similarità del coseno tra i pesi del decoder. A differenza dei vincoli di ortogonalità uniformi, questa scala la penalità in base alla frequenza della feature, evitando la distruzione prematura di feature rare o in fase di sviluppo.

3. Contributi Chiave

L'articolo delinea tre contributi principali:

1. Diagnosi Teorica: Un'analisi formale unificata che identifica la mancanza di coerenza cross-sample negli obiettivi di sparsità per singolo campione come la causa radice del feature splitting e dell'assorbimento.
2. Obiettivo Principato: La proposta di C2R, una nuova regolarizzazione che utilizza la geometria del decoder e le statistiche a livello di batch per imporre una selezione di latenti coerente, distinguendo tra vera polisemanticità e ridondanza dannosa.
3. Validazione Empirica: Dimostrazione che C2R mitiga significativamente lo splitting e l'assorbimento preservando la fedeltà della ricostruzione, superando i baseline allo stato dell'arte come Batch TopK, Matryoshka SAEs e OrtSAE.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Gemma-2-2B (e validati su Qwen3-8B e Llama-3-8B) utilizzando il framework SAEBench.

• Mitigazione delle Patologie: C2R ha ottenuto i tassi più bassi di assorbimento e splitting delle feature tra i metodi che mantenevano un'alta fedeltà di ricostruzione. Sebbene i Matryoshka SAEs mostrassero punteggi di splitting/assorbimento inferiori, essi soffrivano di una significativa degradazione nella qualità della ricostruzione.
• Fedeltà di Ricostruzione: A differenza dei Matryoshka SAEs, i modelli potenziati da C2R hanno mantenuto alti punteggi di "Loss Recovered" e "KL Divergence", indicando che il comportamento originale dell'LLM è stato preservato.
• Interpretabilità e Disentanglement: C2R non ha influenzato negativamente il punteggio "AutoInterp" (comprensibilità umana delle feature) o i punteggi di "Disentanglement" (controllo causale degli attributi).
• Composizione delle Feature: C2R ha prodotto la minima similarità del coseno massima tra i pesi del decoder, indicando un set di feature più atomico e distinto.
• Task a Valle (Downstream Tasks): Nei compiti di intervento causale (Rimozione della Correlazione Spuria e Perturbazione del Probe Mirato), C2R ha superato TopK, Batch TopK e OrtSAE, ottenendo prestazioni comparabili ai Matryoshka SAEs.
• Robustezza: Il metodo è rimasto efficace attraverso diversi seed casuali, scale del modello (8B), layer e composizioni di dati di addestramento (OpenWebText vs. The Pile).

5. Significato e Claim

L'articolo sostiene che C2R fornisca una soluzione fondata al compromesso tra atomicità delle feature e fedeltà del modello. Imponendo la coerenza tra i campioni, affronta il limite fondamentale dell'ottimizzazione per singolo campione negli SAE.

Gli autori sottolineano che il loro approccio:

• Migliora l'Interpretabilità dei Latenti: Consolidando i concetti frammentati e rimuovendo le eccezioni arbitrarie, il dizionario risultante riflette meglio la natura gerarchica delle feature dei modelli linguistici.
• Preserva le Prestazioni: Fondamentalmente, questi miglioramenti sono ottenuti senza degradare la capacità dell'SAE di ricostruire le attivazioni del modello originale, un punto di fallimento comune nei precedenti tentativi di SAE strutturali.
• Offre Garanzie Teoriche: Sotto specifiche condizioni (empiricamente soddisfatte nell'88,1% delle coppie di assorbimento), il metodo fornisce una garanzia teorica contro lo splitting e l'assorbimento derivata dalla disuguaglianza di Minkowski.

Il lavoro posiziona C2R come un regolarizzatore general-purpose compatibile con varie architetture SAE (TopK, Batch TopK, OrtSAE, AbsTopK), offrendo una strada robusta per l'analisi degli interni dei grandi modelli linguistici.