Riepilogo Tecnico: Il Polimorfismo è Rotazione

Enunciato del Problema

Il campo dell'interpretabilità meccanicistica, in particolare riguardo agli Autoencoder Sparsi (SAE), ha fatto largamente affidamento sulla somiglianza del coseno tra le colonne del decoder come metrica primaria per l'"universalità"—l'affermazione che i transformer addestrati indipendentemente apprendano le stesse caratteristiche interne. La letteratura recente riporta elevate somiglianze del coseno (spesso >0.9) tra le colonne del decoder di modelli addestrati con diversi semi casuali, interpretando questo come prova che i dizionari delle caratteristiche siano condivisi.

Tuttavia, questo documento identifica un modo di fallimento critico: mentre le colonne del decoder possono allinearsi, gli encoder SAE falliscono catastroficamente quando applicati ad attivazioni provenienti da un seme diverso. Applicare un SAE addestrato sul Seme A al flusso residuo del Seme B risulta in una varianza spiegata (EV) negativa, il che significa che la ricostruzione è peggiore della previsione della media costante. Ciò suggerisce che la metrica di "universalità" stia misurando solo la geometria del decoder, ignorando un disallineamento fondamentale nel sistema di riferimento di lettura dell'encoder. Il problema centrale è che i modelli addestrati indipendentemente calcolano la stessa funzione ma operano in sistemi di coordinate interni mutualmente inintelligibili.

Metodologia

Gli autori impiegano un rigoroso quadro operativo a quattro barre, preregistrato, per testare le affermazioni meccanicistiche, garantendo la falsificabilità:

1. Barra B (Comportamentale): Divergenza KL media tra il modello e una specifica costruttiva.
2. Barra P (Parametrica): Errore quadratico medio (MSE) massimo per voce dei pesi dopo l'allineamento di simmetria.
3. Barra C (Causale): Correlazione tra gli effetti di patch dei componenti previsti e misurati.
4. Barra Pr (Predittiva): Correlazione tra le perdite di ablazione dei componenti previste e misurate.

Correzioni Metodologiche Chiave:

• Gradienti Integrati (IG) vs. Attribution Patching (AP): Gli autori dimostrano che alla convergenza, l'AP è in anticorrelazione con gli effetti di patch misurati a causa del dominio del rumore nei gradienti vicino ai minimi. Sostituiscono l'AP con i Gradienti Integrati, che, per l'assioma di completezza, forniscono un predittore matematicamente esatto degli effetti di ablazione della media (raggiungendo $r > 0.999$).
• Specifica Costruttiva: Invece di compilare una specifica teorica (ad esempio tramite Tracr), gli autori derivano una "specifica costruttiva" direttamente dal seme primario addestrato, flettendo RMSNorm e annotando i ruoli, assicurando che la specifica rifletta l'effettiva implementazione del modello.

Setup Sperimentale:

• Scala Piccola: Un transformer a due strati con 104k parametri addestrato su Dyck-3 a profondità limitata (un compito di corrispondenza delle parentesi). Ciò consente un'interpretazione meccanicistica completa di ogni peso.
• Scalatura: Nove semi indipendentemente addestrati di Pythia-70m (71M parametri, $d_{model}=512$) addestrati su The Pile.
• Cohorti: Gli esperimenti confrontano semi con pesi I/O congelati condivisi (per isolare la rotazione interna) e semi con inizializzazione indipendente.

Contributi e Risultati Chiave

1. L'Ipotesi della Rotazione

Il documento propone che i transformer addestrati indipendentemente della stessa architettura calcolino la stessa funzione a meno di una rotazione ortogonale della base del flusso residuo.

• Polimorfismo: Il fenomeno per cui i modelli condividono una funzione ma possiedono "coordinate interne mutualmente inintelligibili".
• La Soluzione: Una singola moltiplicazione di matrice ortogonale (adattamento di Procruste) su un singolo batch di attivazioni allinea le basi di due semi.
• Recupero: Dopo aver applicato questa rotazione, l'EV di ricostruzione SAE cross-seme viene ripristinata entro 0.025 EV della baseline within-seed sul modello giocattolo e 0.85–0.99 EV su Pythia-70m.

2. Natura Statistica della Rotazione

La rotazione non è un allineamento strutturato e apprendibile, ma un estrazione uniforme casuale dal gruppo ortogonale $SO(d_{model})$.

• Distribuzione di Haar: Lo spettro degli autovalori della matrice di rotazione $R$ è statisticamente indistinguibile dalla misura di Haar su $SO(d)$ (test di Kolmogorov–Smirnov $p \approx 1.000$).
• Distanza di Frobenius: La distanza $\|R - I\|_F$ corrisponde alla previsione teorica per una matrice ortogonale casuale ($\sqrt{2d_{model}}$) entro lo 0.1% per Pythia-70m.
• Decoder vs. Encoder: L'elevata somiglianza del coseno del decoder (98%) è una coincidenza geometrica statica. L'encoder legge da un quadro ruotato, causando il fallimento funzionale.

3. Regimi di Trasferimento dei Vettori di Sterzo

Il documento caratterizza come i vettori di sterzo (interventi di differenza di media) si trasferiscono tra i semi in base al loro allineamento con il sottospazio invariante della rotazione:

• Trasferimento Pulito: I vettori fissati da pesi di input/output condivisi (ad esempio, il contatore di profondità nel modello giocattolo) si trasferiscono senza correzione.
• Trasferimento Parziale: I vettori che si sovrappongono al sottospazio ruotato richiedono un offset di dose.
• Trasferimento Invertito: I vettori che giacciono principalmente nel sottospazio ruotato si trasferiscono con segni invertiti.
• Scala Pythia: Nei modelli senza I/O condivisi (Pythia-70m), tutte le direzioni sono ruotate, causando un trasferimento universale invertito. Senza correzione della rotazione, i vettori di sterzo applicati cross-seme degradano le prestazioni.

4. Limiti dell'Allineamento dei Parametri

Gli autori dimostrano che la ricerca di simmetria a livello di parametri (allineamento dei pesi tramite permutazioni e rotazioni) non può risolvere completamente il disallineamento.

• Anche dopo l'ottimizzazione per l'MSE dei pesi, l'MSE a livello di attivazione rimane elevato.
• L'ottimizzazione congiunta della perdita di peso e di attivazione non riesce a superare la soglia della Barra P; le rotazioni ottimali per il peso e quelle ottimali per l'attivazione risiedono in bacini disconnessi del paesaggio della perdita. Ciò conferma che la rotazione è un fenomeno a livello di attivazione non completamente catturato dalle simmetrie parametriche.

Significato e Affermazioni

Il documento afferma di risolvere il "puzzle del coseno del decoder" mostrando che l'universalità è equivalenza di rotazione, non allineamento letterale delle coordinate.

• Raffinamento dell'Universalità SAE: La somiglianza del coseno del decoder è necessaria ma non sufficiente per l'universalità delle caratteristiche. Una metrica completa deve includere l'EV di ricostruzione cross-seme e la capacità di applicare una correzione di rotazione.
• Utilità Pratica: La correzione di rotazione è computazionalmente economica (una moltiplicazione di matrice per coppia di modelli) e non richiede riaddestramento. Consente il trasferimento di dizionari di caratteristiche SAE e vettori di sterzo tra modelli addestrati indipendentemente con alta fedeltà.
• Rigor Metodologico: Utilizzando un quadro preregistrato con soglie falsificabili, il documento distingue tra "adattamento di storie" e affermazioni meccanicistiche verificate. Il fallimento delle Barre P, C e Pr cross-seme (senza rotazione) funge da motivazione empirica per l'ipotesi.
• Ambito: I risultati valgono per un modello giocattolo da 104k parametri e per una famiglia di modelli su scala familiare da 71M parametri. Gli autori affermano esplicitamente che la replicazione su scala frontiera (10B+) rimane un test empirico aperto, sebbene il disegno sperimentale per un tale test sia diretto.

Il documento conclude che le basi del flusso residuo dei transformer addestrati indipendentemente sono, in prima approssimazione, campioni casuali uniformi dal gruppo ortogonale, e che il "polimorfismo" è la realtà operativa di questa deriva geometrica.