From Geometric Recovery to Causal Validation: A Reproducible Audit of Sparse Autoencoder Features, from Superposition Geometry to Causal Inertness

Sintesi Tecnica: Dal Recupero Geometrico alla Validazione Causale

Definizione del Problema
Il campo dell'interpretabilità meccanicistica si affida pesantemente ai Sparse Autoencoders (SAE) per decomporre le rappresentazioni neurali in sovrapposizione in feature interpretabili. Le attuali pratiche di valutazione utilizzano prevalentemente metriche di recupero correlazionali, nello specifico la similarità del coseno non orientata tra una direzione di feature (ground-truth o sondata) e il decoder atom corrispondente migliore; questo approète misura l'allineamento della geometria del decoder (quanto bene l'atomo ricostruisce la feature), ma non garantisce il comportamento di attivazione dell'encoder (se l'atomo si attiva effettivamente quando la feature è presente). Gli autori sostengono che queste siano affermazioni empiriche distinte, e che una feature possa essere geometricamente perfetta ma causalmente inerte.

Metodologia
Gli autori conducono un audit completamente controllato utilizzando un piccolo modello sintetico (toy model) dove la verità fondamentale (ground truth) è nota e pienamente controllabile. La metodologia procede in tre fasi:

1. Riproduzione dei Diagrammi di Fase: Riproducono il diagramma di fase della sovrapposzione di Elhage et al. (2022) e il confronto TopK-versus-L1 di Gao et al. (2024). Ciò comporta l'addestramento di SAE su input sintetici con variabili rapporti di sparsità e sovracompletezza.
2. Batteria di Validazione Causale: Per ogni feature che supera una soglia di recupero correlazionale standard (coseno $\ge$ 0.90), gli autori applicano due interventi propagati attraverso lo stadio di output effettivo del modello:
   • Ablazione: Azzeramento dell'ingresso del codice dell'atomo corrispondente quando la feature è presente, per misurare la caduta nella ricostruzione dell'output della feature (direzione di lettura/Read-direction).
   • Steering (Guida): Forzare l'atomo corrispondente a un valore fisso con il segno corretto quando la feature è assente, per misurare l'aumento dell'output della feature (direzione di scrittura/Write-direction).
3. Sviluppo dello Strumento: Gli autori confezionano questa metodologia in sae-causal-audit, uno strumento agnostico rispetto al modello che impone una tipizzazione rigorosa del protocollo (richiedendo l'esposizione di encode, decode e del dizionario) e implementa una pipeline di riproduzione deterministica, verificata tramite hash, per garantire la riproducibilità.

Contributi Chiave e Risultati

• Artefatti dei Diagrammi di Fase e Nuovi Regimi:

  • Identificato un artefatto di convergenza ad alta sparsità dove un sotto-addestramento si maschera da sovrapposizione; risolto regolando i budget dei passi (step budgets).
  • Scoperto un regime di condivisione diffusa precedentemente descritto poco (diffuse sharing regime) in caso di estrema sovracompletezza (rapporto 8, sparsità 0.99), dove le feature sono rappresentate sostanzialmente ($\|W_i\|_2 \approx 1.40$) ma esibiscono una bassa dimensionalità della feature ($D_i \approx 0.08$) a causa di una sovrapposizione simmetrica e multi-direzionale.

• L1 vs. TopK e Shrinkage (Contrazione):

  • Riprodotti la dominanza di Pareto dei TopK SAE rispetto ai L1 SAE.
  • Fornito evidenza quantitativa diretta della contrazione L1 (L1 shrinkage): raffinando le magnitudini degli atomi selezionati da L1 (congelando il supporto), è stato recuperato il 91.2% del gap di ricostruzione e aumentata la magnitudo media del 22.5%, mentre il TopK ha mostrato una variazione di magnitudo trascurabile. Ciò conferma che le penalità L1 influenzano sistematicamente le intensità di attivazione verso lo zero.

• Inerzia Causale:

  • Risultato Primario: Il recupero correlazionale non implica efficacia causale. In un SAE TopK degradato, il 77% delle feature che superavano la soglia di coseno $\ge$ 0.90 erano causalmente inerti (l'atomo corrispondente non si è mai attivato). Anche in un SAE ben addestrato, il 9% delle feature corrispondenti era inerte, incluse match con coseno $\approx$ 1.000.
  • Meccanismo: L'inerzia deriva dal fatto che la geometria del decoder (usata per la ricostruzione) può allinearsi perfettamente con una direzione di feature, mentre la non-linearità di selezione dell'encoder (TopK/ReLU) non seleziona mai quell'atomo per la feature.

• Tassonomia dell'Inerzia Causale:
  Gli autori decompongono l'inerzia per causa e direzione:

  • Per Causa:
    • Inerzia Strutturale: Causata dalla geometria di sovrapposizione di coppie antipodali (due feature che condividono una direzione con segni opposti) sotto un encoder a passaggio positivo. Questo accade sia in SAE buoni che cattivi ed è stabile/prevedibile.
    • Inerzia Competitiva: Causata dalla patologia di selezione TopK in dizionari degradati dove un atomo perde la competizione per un soffio. Questo è instabile ed è legato alla sensibilità dei confini numerici.
  • Per Direzione:
    • Read-Inertness (Inerzia di Lettura): L'atomo non si attiva mai, rendendo cieco il monitoraggio basato sull'ablazione.
    • Write-Inertness (Inerzia di Scrittura): Le interazioni lungo l'atomo non riescono a muovere la feature.
    • Dissociazione: Gli autori hanno trovato cinque coppie antipodali che sono read-inert ma write-steerable. Un atomo può essere inosservabile (non si attiva mai) ma altamente guidabile (specificità 143–310) quando forzato.

• Riproducibilità come Stack di Reclami:
  Il documento documenta che la riproducibilità byte-esatta cross-platform non è disponibile per costruzione per carichi di lavoro di addestramento a virgola mobile a causa di differenze tra compilatori e BLAS. Propongono una garanzia a due livelli: l'esattezza byte-per-byte SHA-256 all'interno di un ambiente bloccato, e l'uguaglianza semantica (basata su tolleranza) tra piattaforme.

• Censimento su Modelli Reali:
  Applicando lo strumento a un SAE di produzione (GPT-2-small, 83 concetti), è stato riprodotto il pattern qualitativo: il 14% delle feature recuperate era causalmente inerte. Fondamentalmente, l'audit ha fatto emergere collisioni di atomi, dove un singolo decoder atom serviva come match più vicino per decine di concetti semanticamente non correlati attraverso batch indipendenti, suggerendo una sottodivisione del dizionario (dictionary under-splitting) nei modelli reali.

Significato e Rivendicazioni
Il paper sostiene che l'affidamento del campo alle metriche correlazionali crea uno spazio di soluzioni "geometricamente plausibile, ma causalmente fuorviante". La significatività risiede in:

1. Ridefinire la Validazione: Stabilire che una feature non è "recuperata" finché non supera i test di intervento causale (ablazione e steering), non solo l'allineamento geometrico.
2. Strumentalizzazione: Fornire sae-causal-audit come strumento per rilevare questi fallimenti, evidenziando specificamente come match di coseno "perfetti" possano essere causalmente inutili.
3. Insight Strutturale: Dimostrare che la sovrapposizione antipodale crea un modo di fallimento sistematico (inerzia strutturale) che persiste anche in SAE di alta qualità, rendendo necessaria una corrispondenza consapevole del segno (sign-aware matching) e una validazione specifica per direzione (read vs. write).
4. Standard di Riproducibilità: Argomentare che la riproducibilità deve essere dichiarata come uno stack di rivendicazioni con scope espliciti piuttosto che come un badge binario di "piena riproducibilità".

Gli autori mantengono la modestia riguardo ai numeri assoluti, notando che l'impostazione toy serve come punto di calibrazione per il "caso facile" e che i tassi dei modelli reali non sono direttamente trasferibili, sebbene la divergenza qualitativa tra correlazione e causalità sia robusta.