Ablating Archetypes: The Stability of Archetypal SAEs is an Artifact of Initialization and Metric Design

Sintesi Tecnica: Ablazione degli Archetipi

Problema
Gli Autoencoder Sparsi (SAE) sono uno strumento standard nella interpretabilità meccanicistica per decomporre le attivazioni delle reti neurali in feature interpretabili e sparse. Una sfida critica in questo dominio è l'instabilità: gli SAE addestrati su dati identici con diversi seed casuali spesso apprendono dizionari sostanzialmente diversi, rendendo difficile distinguere le genuine feature computazionali dagli artefatti di addestramento.

Recenti lavori di Fel et al. (2025) hanno proposto gli Archetypal SAEs, che vincolano gli atomi del dizionario a risiedere all'interno dell'inviluppo convesso di un insieme di "archetipi" (tipicamente centroidi di k-means). Essi hanno riportato che questo metodo produce dizionari significativamente più stabili alla fine dell'addestramento rispetto ai classici SAE. Questo articolo sostiene che la stabilità riportata non è il risultato del vincolo archetipico in sé, ma piuttosto un artefatto di un'inizializzazione identica tra le esecuzioni e di un difetto del metrico dipendente dal preprocessing.

Metodologia e Analisi
Gli autori impiegano una combinazione di analisi delle traiettorie, ablazioni di inizializzazione e diagnostica dei metrici per decostruire le affermazioni sulla stabilità degli Archetypal SAEs.

1. Distinzione tra Stabilità e Stabilizzazione:
   Il paper chiarisce una confusione concettuale nella letteratura:

   • Stabilità (Consistenza): Accordo tra due modelli addestrati indipendentemente alla fine dell'addestramento.
   • Stabilizzazione: La convergenza di due esecuzioni che partono da inizializzazioni genuinamente diverse verso una soluzione comune.
     Gli autori sostengono che gli Archetypal SAEs dimostrano la prima in modo banale (fissando il punto di partenza) ma falliscono nel dimostrare la seconda.

2. Diagnostica della Traiettoria:
   Invece di misurare solo la similarità finale, gli autori tracciano la distanza del dizionario inter-run (distanza coseno minima media) in funzione dei passi di addestramento.

   • TopK Classico (Inizializzazione Casuale): Parte con una distanza elevata e diminuisce monotonicamente, indicando una vera stabilizzazione guidata dai vincoli dei dati.
   • Archetypal TopK (Inizializzazione k-means Fissa): Rimane piatta a zero distanza durante tutto l'addestramento perché entrambi i seed partono dal medesimo dizionario ($D=C$).
   • Archetypal TopK (Inizializzazione Casuale): Quando il vincolo archetipico è applicato ma l'inizializzazione è randomizzata, la distanza diminuisce ma a una velocità circa metà rispetto al TopK classico, suggerendo che il vincolo in realtà ostacoli la convergenza in questo setting.

3. L'Effetto "Galassia Lontana" (Patologia del Metrico):
   Il paper identifica un confondimento geometrico nell'uso della distanza coseno su attivazioni non centrate. Nelle correnti residue degli LLM, le attivazioni hanno una media ($\mu$) non trascurabile. I centroidi k-means su dati non centrati si raggruppano in un cono stretto attorno a $\mu$. Di conseguenza, la distanza coseno tra due atomi è dominata dall'offset della media piuttosto che dalle loro differenze direzionali, gonfiando artificialmente i punteggi di similarità. Gli autori dimostrano che centrare le attivazioni (sottraendo la media) elimina questo bias, causando il collasso delle similarità coseno pre-centrate da ~0.36 a ~0.00.

4. Studi di Ablazione:
   Utilizzando un setup controllato su dati DinoV2 (visione) e Pythia-160m (linguaggio), gli autori eseguono due ablazioni:

   • Disabilitazione della Proiezione dell'Inviluppo Convesso: Rimuovendo il vincolo di proiezione dagli Archetypal SAEs (mantenendo l'inizializzazione k-means) si ottiene una stabilità maggiore (distanza di Hungarian inferiore) rispetto al pieno Archetypal SAE, migliorando al contempo la ricostruzione ($R^2$).
   • Fissaggio dell'Inizializzazione del SAE Classico: Inizializzare un SAE TopK standard con gli stessi centroidi k-means usati negli Archetypal SAEs (senza il vincolo dell'inviluppo convesso) produce una stabilità metrica identica all'Archetypal SAE ablato.

Risultati Chiave

• L'Inizializzazione è il Driver: La stabilità riportata da Fel et al. (2025) è dovuta principalmente alla deterministica inizializzazione k-means condivisa tra i seed, non al vincolo archetipico. Quando l'inizializzazione è randomizzata, il vincolo archetipico rallenta la stabilizzazione rispetto ai classici SAE.
• Costo di Ricostruzione: Il vincolo di proiezione dell'inviluppo convesso negli Archetypal SAEs riduce la qualità della ricostruzione ($R^2$) senza fornire un beneficio di stabilizzazione nei setting testati.
• Validità del Metrico: Lo standard della metrica di stabilità del coseno è invalido per attivazioni non centrate a causa dell'effetto "galassia lontana". Il centramento è un passo di preprocessing necessario per garantire che i metrici di stabilità riflettano genuine differenze direzionali.
• Evidenza Quantitativa: In esperimenti, un SAE Classico con inizializzazione k-means fissa ha raggiunto una distanza di Hungarian di 0.068 (Visione) e 0.112 (Pythia), eguagliando l'Archetypal SAE ablato e superando significativamente il pieno Archetypal SAE (0.243 e 0.170, rispettivamente).

Significatività e Affermazioni
Il paper non afferma che gli Archetypal SAEs siano inutili per tutti gli scopi (ad esempio, per la visualizzazione o i limiti dei norm), ma confuta rigorosamente l'affermazione che offrano una stabilizzazione superiore per la scoperta di feature.

• Correzione Metodologica: Gli autori asseriscono che le affermazioni sulla stabilità degli SAE devono essere validate attraverso diagnostica delle traiettorie (mostrando la convergenza da diversi punti di partenza) piuttosto che solo tramite l'accordo finale.
• Avvertimento sulla Riproducibilità: Evidenziano come la "stabilità" degli Archetypal SAEs sia un artefatto di un design sperimentale che non riesce a isolare il vincolo dalla sua inizializzazione.
• Implicazioni per l'Interpretabilità: Se la stabilità viene usata come proxy per la validità della feature (ovvero, "se appare attraverso diversi seed, è reale"), allora i metodi che sono stabili per costruzione (inizializzazione fissa) non forniscono tale evidenza. La vera evidenza richiede la convergenza da diversificati punti di partenza.

Lo studio conclude che, sebbene la costruzione archetipica abbia virtù geometriche, essa non costituisce una via percorribile per la stabilizzazione nell'attuale setting, e che il campo deve distinguere tra stabilità (accordo) e stabilizzazione (convergenza) per evitare interpretazioni fuorvianti dei risultati meccanicistici.