🤖 machine learning

Equivariant Sparse Autoencoders: Mechanistic Interpretability of Neural Networks on Symmetric Data

Questo articolo introduce gli Autoencoder Sparsi Equivarianti, che incorporano le simmetrie dei dati per risolvere i problemi di non identificabilità dei SAE standard su dataset simmetrici, scoprendo così caratteristiche più utili e interpretabili anche quando la qualità della ricostruzione è inferiore.

Autori originali: Ege Erdogan, Ana Lucic

Pubblicato 2026-08-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ege Erdogan, Ana Lucic

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire come pensa un robot gigante e super intelligente. Non puoi porgli domande, quindi devi sbirciare dentro il suo cervello mentre lavora. Questo campo si chiama interpretabilità meccanicistica, ed è come essere un detective che cerca di scoprire il codice segreto di una scatola nera. Il cervello del robot è composto da strati di minuscoli interruttori (neuroni) che si illuminano in schemi complessi. Il problema è che questi schemi sono disordinati. Spesso, il robot mescola molti concetti diversi in un singolo interruttore, un fenomeno che i ricercatori chiamano "sovrapposizione". È come cercare di leggere un libro dove ogni frase è un mix confuso di tre storie diverse; sai che sta succedendo qualcosa, ma non riesci a capire cosa.

Per risolvere questo caos, gli scienziati usano uno strumento chiamato Sparse Autoencoder (SAE). Pensa a un SAE come a un bibliotecario super organizzato. Il suo compito è prendere quel groviglio disordinato di interruttori accesi e ordinarli in un elenco pulito e chiaro di singoli concetti. Se il robot sta guardando l'immagine di un gatto, il bibliotecario cerca di trovare il particolare interruttore del "gatto" e di accenderlo, spegnendo tutto il resto. Per molto tempo, questo ha funzionato bene per cose come il testo, dove le regole sono quasi sempre le stesse indipendentemente da come si legge una parola. Ma cosa succede quando i dati sono simmetrici? Nel mondo reale, molte cose appaiono uguali anche se le si ruota o si si capovolgono. Un gatto è sempre un gatto, sia che guardi a sinistra che a destra. Se il tuo bibliotecario non conosce questa regola, potrebbe confondersi, pensando che un "gatto rivolto a sinistra" e un "gatto rivolto a destra" siano due cose completamente diverse e non correlate. Questo articolo si chiede: cosa succede quando insegniamo al nostro bibliotecario a rispettare queste simmetrie?

I ricercatori, Ege Erdogan e Ana Lucic dell'Università di Amsterdam, hanno deciso di aggiornare lo strumento del bibliotecario standard per gestire queste regole di rotazione e capovolgimento. Chiamano il loro nuovo strumento un Equivariant Sparse Autoencoder. Invece di limitarsi a cercare di ordinare le luci disordinate in un elenco, hanno costruito un sistema che comprende: "Ehi, se ruoti l'immagine, il concetto di 'gatto' non scompare; si sposta solo in un altro punto dell'elenco". Hanno testato questa idea su un modello giocattolo, un insieme di dati di forme geometriche, e su immagini del mondo reale di galassie e cellule del sangue.

Ecco la sorprendente svolta che hanno scoperto: i nuovi bibliotecari, consapevoli della simmetria, erano in realtà peggiori nel ricostruire perfettamente le immagini originali rispetto ai vecchi, disordinati. Se misuravano quanto fossero bravi a ricostruire l'immagine dai propri appunti, i vecchi strumenti vincevano. Tuttavia, quando i ricercatori hanno posto una domanda diversa — "Quali appunti sono effettivamente utili per capire cosa sta vedendo il robot?" — i nuovi strumenti sono stati i vincitori assoluti. I vecchi bibliotecari creavano appunti che sembravano perfetti per ricostruire l'immagine, ma che erano in realtà meno utili per identificare i concetti reali. I nuovi bibliotecari, anche se i loro appunti erano un po' più disordinati da guardare, davano un quadro molto più fedele di ciò che il robot stava pensando.

L'articolo suggerisce che, per i dati con simmetrie (come gli oggetti che ruotano), il modo standard di giudicare questi strumenti — controllare quanto bene possano ricostruire l'input — è fuorviante. In effetti, quanto meglio uno strumento riesce a ricostruire l'immagine, tanto meno utili potrebbero essere i suoi tratti per comprendere i concetti sottostanti. Costruendo la regola della simmetria direttamente nello strumento, i ricercatori hanno trovato caratteristiche che erano molto migliori nell'aiutare i computer a identificare forme, tipi di galassie e tipi di cellule, anche se la ricostruzione finale dell'immagine non era perfetta. Non hanno dimostrato che questo sia la soluzione definitiva per ogni IA, ma le loro simulazioni e i loro esperimenti su dati reali suggeriscono fortemente che ignorare la simmetria rende i nostri strumenti per comprendere l'IA meno affidabili, e che dovremmo smettere di affidarci esclusivamente alla "qualità della ricostruzione" come nostro punteggio principale.

Sintesi Tecnica: Autoencoder Sparsi Equivarianti

Definizione del Problema

I modelli di machine learning, in particolare nei domini scientifici, operano spesso su dati che possiedono simmetrie intrinseche (ad esempio, rotazioni nel ripiegamento delle proteine, immagini di galassie o microscopia cellulare). Sebbene gli Autoencoder Sparsi (SAE) siano emersi come uno strumento primario per l'interpretabilità meccanicistica, decomponendo le attivazioni dense di una rete neurale in caratteristiche sparse e interpretabili, essi affrontano un limite critico quando applicati a dati simmetrici: l'inidentificabilità.

Gli SAE standard assumono un'Ipotesi di Rappresentazione Lineare (LRH) in cui le attivazioni sono combinazioni lineari sparse di caratteristiche. Tuttavia, quando i dati di input possiedono simmetrie (azioni di gruppo $G$ ), un SAE vanilla deve apprendere direzioni di caratteristiche distinte per lo stesso concetto semantico sotto diverse trasformazioni (ad esempio, una caratteristica "gatto" per ogni possibile rotazione). Ciò porta a:

Entanglement delle Caratteristiche: Il modello può apprendere caratteristiche non ortogonali e non interpretabili per ricostruire input disparati.
Inidentificabilità: Diversi spiegazioni possono adattarsi ugualmente bene ai dati, ma solo una si allinea alla vera struttura sottostante.
Disallineamento delle Metriche: La qualità della ricostruzione (MSE) spesso non correla con l'utilità della caratteristica, poiché gli SAE possono apprendere caratteristiche specifiche per la ricostruzione che non corrispondono ai concetti reali sottostanti.

Il paper sostiene che gli attuali SAE non tengono conto di queste simmetrie, portando a un'interpretabilità subottimale nei domini scientifici dove tali simmetrie sono prevalenti.

Metodologia: SAE Equivarianti

Gli autori propongono gli Autoencoder Sparsi Equivarianti, che estendono l'Ipotesi di Rappresentazione Lineare per tenere esplicitamente conto delle simmetrie di gruppo.

1. Estensione dell'Ipotesi di Rappresentazione Lineare

Gli autori riformulano la LRH affermando che, per un gruppo $G$ che agisce sugli input $X$ , le attivazioni della rete neurale $\psi(x)$ si trasformano in modo prevedibile. Nello specifico, se $x$ è trasformato da $g \in G$ , le attivazioni si trasformano tramite una mappa lineare $\rho(g)$ :
$\psi(gx) = \rho(g) \sum_{i=1}^C z(x)_i D_i = \sum_{i=1}^C z(x)_i (\rho(g) D_i)$
Qui, le magnitudo delle caratteristiche $z(x)$ rimangono invarianti (coefficienti sparsi), mentre i vettori delle caratteristiche $D_i$ si trasformano secondo l'azione del gruppo.

2. Design dell'Architettura

L'SAE Equivariante separa l'apprendimento delle caratteristiche invarianti dall'apprendimento delle regole di trasformazione:

SAE Invariante: Una coppia encoder-decoder addestrata per mappare tutte le attivazioni all'interno di un'orbita (ad esempio, tutte le rotazioni di un'immagine) verso una singola rappresentazione latente canonica. Questo apprende le caratteristiche invarianti.
Modulo di Trasformazione Lineare: Un set separato di matrici apprendibili ( $M, R$ ) che modella come la ricostruzione canonica si trasforma nuovamente nello spazio di input originale. Per un gruppo generato da $g, h$ , il modello apprende matrici tali che:
$M_p R_q D(E(\psi(g^p h^q x))) = \psi(g^p h^q x)$
Ciò consente all'SAE di catturare la struttura di simmetria senza costringere il dizionario stesso a essere equivariante, il che richiederebbe un numero impraticabile di parametri.

3. Strategia di Addestramento

L'addestramento avviene in due fasi indipendenti (che possono essere parallelizzate):

Addestramento dell'SAE Invariante: L'encoder e il decoder sono ottimizzati per minimizzare la perdita di ricostruzione su input canonici, imponendo l'invarianza. Gli autori sperimentano con tre obiettivi di perdita:
- $L_{Canonical}$ : Ricostruire un campione canonico da qualsiasi membro dell'orbita.
- $L_{Latent}$ : Imporre l'invarianza direttamente sui codici latenti ( $E(\psi(x)) \approx E(\psi(gx))$ ).
- $L_{Output}$ : Imporre l'invarianza sulle uscite dell'SAE.
Apprendimento della Trasformazione: Le matrici $M$ e $R$ sono ottimizzate per minimizzare l'errore tra le attivazioni trasformate predette e le attivazioni trasformate reali del modello base.

Contributi Chiave

Estensione Teorica: Il paper estende l'Ipotesi di Rappresentazione Lineare ai dati simmetrici, definendo formalmente come i coefficienti e i vettori delle caratteristiche si comportano sotto le azioni di gruppo.
Innovazione Algoritmica: Il design degli SAE Equivarianti che separa l'apprendimento delle caratteristiche invarianti dalla modellazione della trasformazione, evitando l'esplosione dei parametri dei dizionari equivarianti di gruppo.
Validazione Empirica: Dimostrazione attraverso dataset sintetici e reali (forme, immagini di galassie, cellule ematiche) che gli SAE Equivarianti superano i baseline vanilla, Archetypal e Group Cross-coder nella recupero delle caratteristiche e nei compiti di probing a valle.
Insight sulle Metriche: La scoperta che la qualità della ricostruzione è inversamente correlata all'utilità della caratteristica in contesti simmetrici. Gli SAE Equivarianti spesso ottengono una precisione di ricostruzione inferiore (MSE più alto) rispetto agli SAE vanilla, ma generano caratteristiche significativamente più interpretabili e utili.

Risultati Sperimentali

Gli autori hanno valutato il loro metodo su:

Modelli Toy: Dati sintetici con caratteristiche equivarianti note (ground-truth).
Dataset Shapes: Immagini sintetiche con simmetrie $C_4$ (rotazioni) e $D_4$ (rotazioni + riflessioni), utilizzando modelli base MLP, CNN e ViT.
GalaxyMNIST: Immagini reali di galassie con simmetrie $C_4/D_4$ .
MLL23: Immagini di cellule ematiche periferiche utilizzando un modello foundation DinoBloom.

Risultati Chiave:

Recupero delle Caratteristiche: Sui modelli toy, gli SAE Equivarianti hanno ottenuto un recupero delle caratteristiche superiore (Mean Cosine Similarity) e una rilevazione migliore (F1 Score) rispetto ai baseline, specialmente in regimi overcomplete dove l'interferenza è alta.
Probing a Valle: In tutti i dataset, i probe addestrati sui latenti dell'SAE Equivariante hanno raggiunto un'accuratezza maggiore nella classificazione delle proprietà dell'input (ad esempio, presenza di una forma, orientamento, tipo di cellula) rispetto ai probe addestrati sui latenti dell'SAE vanilla. In alcuni casi (ad esempio, GalaxyMNIST), hanno eguagliato le prestazioni dei probe addestrati direttamente sulle attivazioni del modello base.
Ricostruzione vs Utilità: È emersa una tendenza costante in cui gli SAE Equivarianti presentano un errore di ricostruzione più elevato (MSE peggiore) rispetto agli SAE vanilla. Tuttavia, questa "peggiore" ricostruzione corrispondeva a caratteristiche più allineate con la vera struttura semantica e più utili per i compiti a valle.
Modellazione della Trasformazione: Le matrici lineari apprese ( $M, R$ ) hanno spiegato con successo oltre il 97% della varianza nelle trasformazioni delle attivazioni per la maggior parte dei modelli, validando l'ipotesi che le simmetrie di input inducano trasformazioni lineari nello spazio delle attivazioni.

Significato e Rivendicazioni

Il paper sostiene che allineare i priori dell'interpretabilità con la struttura nota dei dati (specificamente le simmetrie) è cruciale per ottenere spiegazioni fedeli. Gli autori evidenziano due implicazioni maggiori:

La Ricostruzione non è Interpretabilità: Affidarsi esclusivamente a metriche di ricostruzione (come l'MSE) per valutare gli SAE è pericoloso, particolarmente per i dati simmetrici. Un modello che ricostruisce gli input in modo mediocre può comunque scoprire le caratteristiche più utili e interpretabili.
Interpretabilità Specifiche del Dominio: Per le applicazioni scientifiche (ad esempio, biologia, astronomia) dove le simmetrie dei dati sono fondamentali, gli SAE standard sono insufficienti. Gli SAE Equivarianti forniscono una via per scoprire caratteristiche che sono robuste a queste simmetrie, portando potenzialmente a nuove intuizioni scientifiche e a sistemi di IA più affidabili.

Il lavoro suggerisce che la futura ricerca sull'interpretabilità debba andare oltre il semplice sparse coding generico e incorporare i priori strutturali specifici del dominio per evitare le insidie dell'inidentificabilità.