🤖 machine learning

Addressing divergent representations from causal interventions on neural networks

Questo articolo dimostra che le comuni tecniche di intervento causale sulle reti neurali possono generare rappresentazioni fuori distribuzione che alterano il comportamento del modello, e propone l'adattamento della funzione di perdita "Counterfactual Latent" per mitigare tali effetti dannosi mantenendo l'efficacia interpretativa.

Autori originali: Satchel Grant, Simon Jerome Han, Alexa R. Tartaglini, Christopher Potts

Pubblicato 2026-04-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Satchel Grant, Simon Jerome Han, Alexa R. Tartaglini, Christopher Potts

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che una rete neurale (come il cervello di un'intelligenza artificiale) sia una città complessa e vivace, piena di strade, edifici e persone che si muovono ogni giorno. Gli "interventi causali" sono come i ricercatori che entrano in questa città per capire come funziona: provano a cambiare qualcosa (ad esempio, spostano un semaforo o chiudono una strada) per vedere come reagisce il traffico.

Il problema che questo paper affronta è il seguente: quando i ricercatori fanno questi esperimenti, spesso costruiscono scenari che non esistono mai nella realtà.

Ecco una spiegazione semplice, passo dopo passo, con delle metafore:

1. Il Problema: Costruire Città Fittizie

Quando i ricercatori vogliono capire cosa fa un neurone, spesso prendono un'immagine "naturale" (una strada normale) e la modificano drasticamente.

L'analogia: Immagina di voler capire come funziona un'auto. Prendi un'auto normale e le sostituisci il motore con quello di un razzo, oppure le metti le ruote di un trattore.
La realtà: L'auto potrebbe ancora muoversi, ma non è più un'auto normale. È diventata qualcosa di strano, "fuori distribuzione" (divergente).
Il rischio: Se studi come si comporta questa "auto-razzo", potresti trarre conclusioni sbagliate su come funzionano le auto normali. Potresti pensare che le auto abbiano bisogno di razzi per andare veloci, quando in realtà è solo un esperimento bizzarro.

2. Due Tipi di "Errori" nell'Esperimento

Gli autori spiegano che ci sono due modi in cui questi esperimenti possono andare storto:

Il caso "Innocuo" (Harmless):
- Metafora: Immagina di cambiare il colore delle scarpe di un pedone che attraversa la strada. Il pedone cambia aspetto, ma il suo comportamento (attraversare la strada) e il traffico restano identici.
- Significato: A volte, cambiare la rappresentazione interna del modello non cambia il risultato finale. È come se il cambiamento fosse "nascosto" in una zona dove non influenza il comportamento. In questo caso, l'esperimento è sicuro, anche se la rappresentazione è strana.
Il caso "Pernicioso" (Pernicious):
- Metafora: Immagina di premere un pulsante che sembra innocuo, ma che in realtà attiva un meccanismo nascosto nel muro che nessuno sapeva esistere. Improvvisamente, l'auto si trasforma in un sottomarino e affonda.
- Significato: A volte, forzando il modello a pensare in modo "strano", si attivano percorsi nascosti che il modello non userebbe mai nella vita reale. Questo può far sì che il modello dia la risposta giusta per il motivo sbagliato, o che cambi comportamento in modo imprevedibile. È qui che l'interpretazione diventa pericolosa perché ci dice bugie sul modello reale.

3. La Soluzione Proposta: Il "Filtro di Realtà"

Gli autori non dicono "smettete di fare esperimenti". Dicono: "Dobbiamo fare esperimenti più puliti".

Hanno proposto un nuovo metodo (chiamato Counterfactual Latent Loss o "Perdita dello Spazio Latente Controfattuale") che agisce come un filtro di realtà o un ancora.

Come funziona: Quando i ricercatori modificano la rappresentazione interna del modello, questo nuovo metodo "tira" quella rappresentazione verso la zona dove il modello vive normalmente.
L'analogia: È come se, mentre modifichi l'auto per l'esperimento, un assistente ti dicesse: "Ehi, non usare quel motore da razzo! Usa un motore che sembri comunque un motore da auto, così vediamo cosa succede davvero".
Il risultato: L'esperimento rimane potente (capiamo ancora cosa fa il modello), ma il modello non si sente "strano" o "fuori luogo". Questo riduce il rischio di attivare quei "percorsi nascosti" pericolosi.

In Sintesi

Questo paper ci avverte: Fare esperimenti su un'intelligenza artificiale è come fare chirurgia su un paziente. Se usi strumenti troppo aggressivi o crei scenari impossibili, il paziente potrebbe reagire in modo che non ha nulla a che fare con la sua salute reale.

Gli autori ci insegnano a:

Riconoscere quando i nostri esperimenti creano scenari "fantasiosi" e irreali.
Capire quando questi scenari sono innocui e quando invece ci stanno ingannando.
Usare nuovi strumenti matematici per mantenere gli esperimenti "vicini alla realtà", così che le nostre scoperte su come funzionano le intelligenze artificiali siano vere e affidabili.

È un passo importante per rendere l'interpretazione delle macchine (Mechanistic Interpretability) più sicura e precisa, come passare da un'analisi fatta con un martello a una fatta con un bisturi calibrato.

1. Il Problema: Divergenza delle Rappresentazioni

L'interpretabilità meccanica mira a comprendere cosa codificano le rappresentazioni interne delle reti neurali (NN) e come queste generano il comportamento del modello. Un approccio dominante consiste nell'usare interventi causali (come l'activation patching o la Distributed Alignment Search - DAS) per manipolare direttamente le rappresentazioni interne e osservare gli effetti sull'output.

Il problema centrale identificato dagli autori è che questi interventi spesso generano rappresentazioni divergenti (out-of-distribution, OOD). In altre parole, le rappresentazioni create artificialmente durante l'intervento si allontanano significativamente dalla distribuzione naturale dei dati su cui il modello è stato addestrato.

Domanda di ricerca: Le spiegazioni derivate da questi interventi sono fedeli al modello nel suo stato naturale?
Rischio: Se le rappresentazioni interverte sono "divergenti", potrebbero attivare percorsi nascosti o causare cambiamenti comportamentali dormienti che non esisterebbero in condizioni naturali, portando a conclusioni meccaniche errate.

2. Metodologia e Analisi Teorica

Gli autori combinano analisi teorica, evidenze empiriche e nuovi metodi di ottimizzazione per affrontare il problema.

A. Dimostrazione della Divergenza

Teoria: Viene dimostrato che per la maggior parte delle varietà (manifold) geometriche, il "coordinate patching" (sostituire coordinate di vettori naturali) garantisce matematicamente la creazione di punti fuori dalla varietà originale, a meno che la varietà non sia un iper-rettangolo allineato agli assi.
Empirica: Vengono analizzati tre metodi popolari: Mean Difference Vector Patching, Sparse Autoencoders (SAE) e Distributed Alignment Search (DAS). Utilizzando la distanza Earth Mover's Distance (EMD) e l'analisi delle componenti principali (PCA), si dimostra che le rappresentazioni interverte si discostano sistematicamente dalla distribuzione naturale in tutti e tre i casi.

B. Classificazione della Divergenza: Innocua vs. Pernicioso

Gli autori distinguono due tipi di divergenza:

Divergenza "Innocua" (Harmless): Si verifica nello spazio nullo comportamentale (behavioral null-space) dei pesi successivi. In questo caso, la variazione non influisce sull'output finale del modello perché viene annullata dalle successive operazioni matriciali. Tuttavia, può essere dannosa per affermazioni meccaniche che riguardano i sottoprocessi interni specifici.
Divergenza "Pernicioso" (Pernicious): Si verifica quando l'intervento attiva percorsi nascosti (hidden pathways) o unità che rimangono silenziose nella distribuzione naturale.
- Esempio: Un intervento basato sulla differenza media può attivare un neurone ReLU che non si attiva mai con dati naturali, invertendo la decisione del modello attraverso un meccanismo "finto".
- Cambiamenti comportamentali dormienti: Un intervento può sembrare innocuo in un contesto specifico ma causare un cambio di classe in un altro contesto non testato, attivando dipendenze latenti.

C. Soluzione Proposta: Counterfactual Latent (CL) Loss

Per mitigare la divergenza pernicioso, gli autori propongono l'uso e la modifica della Counterfactual Latent (CL) loss (introdotta in Grant, 2025).

Concetto: Invece di permettere all'intervento di spostare la rappresentazione ovunque, si forza la rappresentazione interverte ( $\hat{h}$ ) a rimanere vicina a una rappresentazione latente controfattuale naturale ( $h_{CL}$ ).
Definizione di $h_{CL}$ : È un vettore naturale che codifica gli stessi valori delle variabili causali che si intendono ottenere con l'intervento.
Funzione di Loss: La CL loss combina una distanza L2 e una distanza coseno tra la rappresentazione interverte e la rappresentazione CL naturale:
$L_{CL}(\hat{h}, h_{CL}) = \frac{1}{2}\|\hat{h} - h_{CL}\|_2^2 - \frac{1}{2}\frac{\hat{h} \cdot h_{CL}}{\|\hat{h}\|_2 \|h_{CL}\|_2}$
Implementazione:
1. Applicazione alla Boundless DAS su un LLM (Llama 7B): Aggiunta della CL loss come obiettivo ausiliario alla loss comportamentale standard.
2. CL Loss Modificata: Una versione che minimizza la divergenza solo lungo le sottospazi causali specifici, ignorando il rumore negli spazi non causali.

3. Risultati Chiave

Riduzione della Divergenza: L'applicazione della CL loss nel setting Boundless DAS riduce drasticamente l'EMD tra le distribuzioni naturali e interverte, mantenendo al contempo (o migliorando) l'accuratezza dell'intervento (Interchange Intervention Accuracy - IIA).
Miglioramento OOD (Out-of-Distribution): Nei task sintetici, l'uso della CL loss (specialmente quella modificata sui sottospazi causali) porta a una migliore generalizzazione su dati OOD.
- È stata trovata una forte correlazione negativa tra la divergenza (EMD) e le prestazioni OOD: minore è la divergenza, migliore è la capacità di generalizzare l'intervento a nuovi contesti.
Visualizzazione: Le proiezioni PCA mostrano che le rappresentazioni interverte con CL loss rimangono "schiacciate" sulla varietà naturale, evitando di saltare in regioni dello spazio che attivano percorsi nascosti.

4. Contributi Principali

Dimostrazione Teorica ed Empirica: Hanno provato che la divergenza delle rappresentazioni è un fenomeno comune e inevitabile in molti metodi di intervento causale standard.
Analisi Teorica della Divergenza: Hanno formalizzato la distinzione tra divergenze innocue (spazio nullo) e perniciose (attivazione di percorsi nascosti), evidenziando come quest'ultime minaccino la validità delle affermazioni meccaniche.
Soluzione Pratica: Hanno introdotto l'uso della CL loss per vincolare gli interventi alla distribuzione naturale, dimostrando che è possibile ridurre la divergenza senza sacrificare il potere interpretativo.
Nuova Metrica di Valutazione: Hanno stabilito un legame empirico tra la divergenza delle rappresentazioni e la capacità di generalizzazione OOD, suggerendo che la minimizzazione della divergenza è un prerequisito per interventi affidabili.

5. Significato e Implicazioni

Questo lavoro mette in discussione la pratica corrente nell'interpretabilità meccanica, dove spesso si assume che gli stati controfattuali creati dagli interventi siano realistici.

Avvertenza: Gli interventi che producono rappresentazioni fuori distribuzione possono portare a "illusioni interpretative", dove si crede di aver scoperto un circuito causale, mentre in realtà si sta attivando un meccanismo spurio o dormiente.
Direzione Futura: Il paper suggerisce che per ottenere un'affidabilità maggiore, i metodi di intervento devono includere vincoli che mantengano le rappresentazioni vicine alla varietà naturale (manifold-preserving). La CL loss proposta rappresenta un primo passo verso questo obiettivo, offrendo un modo per generare interventi "principiati" e meno soggetti a errori di interpretazione dovuti alla divergenza.

In sintesi, il paper fornisce un quadro critico per valutare la validità degli esperimenti di intervento causale e offre uno strumento tecnico (CL loss) per rendere tali esperimenti più robusti e fedeli al comportamento naturale del modello.