Riepilogo Tecnico: Spiegatore Adattivo alla Geometria per l'Interpretabilità Fedele Basata su Dizionario sotto Spostamento della Distribuzione

Enunciato del Problema

L'interpretabilità meccanicistica si basa su spiegatori basati su dizionari, come Autoencoder Sparsi (SAE) e Transcoder, per decomporre le attivazioni nascoste delle reti neurali in direzioni di caratteristiche sparse e interpretabili. Un requisito critico per queste spiegazioni è la fedeltà: lo spiegatore deve riflettere accuratamente i calcoli che il modello esegue effettivamente.

Tuttavia, gli spiegatori esistenti sono tipicamente addestrati su dati in-distribuzione (ID). Quando un modello incontra input out-of-distribution (OOD), la struttura geometrica delle sue attivazioni nascoste cambia. Il documento identifica che lo spostamento della distribuzione ruota il sottospazio attivo OOD (le direzioni che il modello utilizza attivamente) lontano dal sottospazio dello spiegatore addestrato su ID. Questo disallineamento, denominato divario di fedeltà, causa il fallimento dei dizionari addestrati su ID nel ricostruire fedelmente le attivazioni OOD. Lavori precedenti hanno affrontato questo problema attraverso re-addestramento euristico o moduli residui, ma mancano di una diagnosi principiale del disallineamento geometrico sottostante o di un metodo per correggerlo senza un re-addestramento completo.

Metodologia: Spiegatore Adattivo alla Geometria (GAE)

Gli autori propongono lo Spiegatore Adattivo alla Geometria (GAE), un metodo post-hoc in forma chiusa che riallinea uno spiegatore addestrato su ID con il sottospazio attivo OOD utilizzando esclusivamente attivazioni OOD non etichettate. GAE opera senza aggiornamenti del gradiente o addestramento iterativo.

Fondamento Teorico

Il documento formalizza il problema utilizzando la matrice del secondo momento delle attivazioni nascoste, $M_e = \mathbb{E}[h(X)h(X)^\top]$.

1. Divario di Fedeltà ($\Delta$): Definito come la distanza di Frobenius tra il sottospazio dello spiegatore ($\Pi_{dec}$) e il sottospazio attivo OOD ($\Pi_{OOD}$).
2. Meccanismo Geometrico: Gli autori dimostrano (Proposizione 1) che il divario di fedeltà di uno spiegatore addestrato su ID è limitato superiormente dalla magnitudine dello spostamento del secondo momento ($\|M_{OOD} - M_{ID}\|_F$).
3. Controllo del Degrado: Dimostrano inoltre (Proposizione 2) che la componente dipendente dallo spiegatore della perdita di fedeltà OOD è strettamente controllata dal quadrato del divario di fedeltà. Pertanto, ridurre il divario è necessario e sufficiente per migliorare la fedeltà OOD.

Algoritmo

GAE adatta il dizionario in due passaggi:

1. Passaggio 1: Rotazione del Sottospazio (Procruste Ortogonale):
   Il dizionario addestrato su ID $W_{dec}^{ID}$ viene ruotato per allineare il suo spazio delle colonne al sottospazio attivo OOD stimato $\hat{\Pi}_{OOD}$ (derivato dai vettori propri top-$r$ della matrice del secondo momento OOD). La matrice di rotazione $T^\star$ è scelta per minimizzare la distanza rispetto al dizionario originale, preservando la struttura delle caratteristiche originali il più possibile. Questo passaggio elimina il divario di fedeltà ($\Delta = 0$) per costruzione.
2. Passaggio 2: Rifacimento Vincolato del Decodificatore:
   Mentre il Passaggio 1 allinea il sottospazio, non ottimizza la ricostruzione a livello di campione. Il Passaggio 2 rifà i pesi del decodificatore tramite una regressione ridge vincolata in forma chiusa. Questo passaggio minimizza l'errore di ricostruzione sulle attivazioni OOD penalizzando le deviazioni dal dizionario ruotato nel Passaggio 1 e assicurando che il decodificatore rimanga all'interno del sottospazio attivo OOD.

L'intera pipeline è analitica e non richiede retropropagazione.

Contributi Chiave

1. Diagnosi Geometrica: Il documento identifica il divario di fedeltà come il meccanismo geometrico che guida il degrado della fedeltà OOD negli spiegatori basati su dizionario. Fornisce limiti teorici che mostrano come questo divario cresca con lo spostamento del secondo momento e controlli direttamente la porzione riducibile della perdita di fedeltà OOD.
2. Algoritmo GAE: Un metodo senza addestramento e in forma chiusa che riallinea il dizionario dello spiegatore con il sottospazio attivo OOD. Offre una garanzia teorica (Teorema 1) che lo spiegatore adattato migliora rigorosamente rispetto allo spiegatore ID non adattato, con un miglioramento che cresce quadraticamente con il disallineamento iniziale.
3. Superiorità Empirica: GAE eguaglia o supera tutti i baseline basati sull'addestramento (incluso il re-addestramento completo da zero e il fine-tuning) nella fedeltà causale su più modelli e scenari OOD, nonostante richieda zero calcoli del gradiente e solo circa 2.000 campioni OOD non etichettati.

Risultati Sperimentali

Gli autori hanno valutato GAE su GPT-2 Small e Pythia-1.4B utilizzando sia Transcoder che SAE Top-K. La valutazione ha coperto tre tipi di spostamento della distribuzione:

• Temporale: Testo web raccolto dopo il taglio del pre-addestramento del modello (FineWeb).
• Dominio: Documenti finanziari con vocabolario specializzato (Edgar).
• Avversario: Prompt che inducono allucinazioni (HaluEval).

Metriche di Prestazione:

• Fedeltà Causale: Misurata tramite AOPC Normalizzato (nAOPC) e Completezza Normalizzata (nComp).
• Qualità della Ricostruzione: Misurata tramite Delta Cross-Entropy ($|\Delta CE|$).

Risultati Chiave:

• GAE vs. Baseline Basate sull'Addestramento: GAE ha superato metodi come Retrain (addestramento da zero su dati OOD) e Finetune (fine-tuning con avvio caldo) nella maggior parte degli scenari. Ad esempio, su Transcoder GPT-2 sotto spostamento avversario, GAE ha migliorato il nComp del 4,6% rispetto al baseline più forte (SAEBoost) e ha ridotto l'errore di ricostruzione ($|\Delta CE|$) del 93%.
• Efficienza: Mentre i baseline basati sull'addestramento richiedevano l'elaborazione di milioni di token e ore di tempo GPU, GAE ha completato l'adattamento in meno di 3 secondi (0,5s per GPT-2, 2,9s per Pythia-1.4B) utilizzando solo un singolo passaggio in avanti su 2.048 campioni.
• Validazione del Meccanismo: Studi di ablazione hanno confermato che il Passaggio 1 (rotazione del sottospazio) ha chiuso con successo il divario di fedeltà, mentre il Passaggio 2 era necessario per ripristinare la coerenza causale (attribuzione delle caratteristiche) senza sacrificare l'allineamento geometrico.
• Casi di Studio: In compiti di attribuzione di circuiti (ad esempio, prevedere "Americano" o "Henry"), GAE ha corretto la direzionalità del decodificatore, assicurando che le caratteristiche identificate spingessero il modello verso la classe semantica corretta, mentre lo spiegatore ID fisso puntava spesso lontano dalla classe target.

Significato e Affermazioni

Il documento afferma che GAE fornisce una soluzione principiale, efficiente e teoricamente fondata al problema della fedeltà OOD nell'interpretabilità meccanicistica. Inquadrando il problema come un disallineamento geometrico piuttosto che come un problema di copertura dei dati, gli autori dimostrano che spiegazioni fedeli possono essere ripristinate senza il costo computazionale del re-addestramento.

Gli autori notano che GAE è particolarmente significativo per scenari di adattamento in tempo reale dove le distribuzioni di deployment cambiano dinamicamente e il re-addestramento è impraticabile. Riconoscono modestamente le limitazioni, specificamente che il metodo si basa su una troncatura SVD top-$r$ (scartando informazioni residue sulle caratteristiche) e non è stato ancora valutato su modelli su scala più grande. Tuttavia, i risultati suggeriscono che il riallineamento geometrico è una leva potente e sottoutilizzata per mantenere la robustezza dell'interpretabilità.