Sintesi Tecnica: La Maledizione dei Molteplici Mediatori: Effetti di Interazione Nascosti nel Patching delle Attivazioni

1. Definizione del Problema

Il patching delle attivazioni è lo standard de facto nella interpretabilità meccanicistica per attribuire la responsabilità causale a singoli componenti di una rete neurale. Esso operazionalizza l'Effetto Indiretto Naturale (NIE) della causalità della mediazione, sostituendo le attivazioni di un componente con valori controfattuali (tipicamente da un input "pulito") e misurando il cambiamento risultante nell'output.

Tuttavia, il documento identifica un difetto fondamentale in questo approccio quando applicato ai transformer: l'NIE non cattura esclusivamente l'effetto causale che fluisce attraverso uno specifico componente. A causa dell'architettura dello stream residuo del transformer, che fornisce percorsi di bypass (skip connections) attorno a ogni componente, l'NIE confonde il contributo diretto del componente con gli effetti di interazione (INT). Queste interazioni misurano come l'effetto causale di un componente dipenda dallo stato di altri componenti (il bypass). Di conseguenza, le classifiche standard del patching delle attivazioni possono essere fuorvianti, facendo apparire invisibili (falsi negativi) i meccanismi di "backup" funzionalmente importanti o gonfiando artificialmente l'importanza di altri.

2. Metodologia

Gli autori ridefiniscono l'estimando del patching delle attivazioni dalla prospettiva dell'analisi della mediazione causale, affrontando specificamente la condizione strutturale dei "testimoni che ritrattano" (recanting witnesses) inerente alle skip connection dei transformer.

• Decomposizione Teorica: Il documento decompone matematicamente l'estimando di "noising" standard (il metodo predefinito del patching delle attivazioni) in due distinte quantità causali:

  1. Effetto Indiretto Puro (PIE): Il percorso d'effetto che fluisce esclusivamente attraverso il componente target, bloccando efficacemente tutti i percorsi di bypass.
  2. Effetto di Interazione (INT): L'interazione mediata tra il componente e il suo bypass.
     La relazione è definita come: $NIE = PIE + INT$.
     Il documento definisce anche un estimando di "denoising", che gli autori dimostrano calcolare direttamente il PIE, contrastando con l'NIE calcolato tramite noising.

• Analisi Teorica:

  • Approssimazione del Secondo Ordine: Gli autori dimostrano che l'INT scala con la distanza tra le attivazioni pulite e quelle patchate. Nello specifico, l'INT è approssimato dalla derivata direzionale mista del secondo ordine (forma bilineare dell'Hessiana) della funzione a valle rispetto alle perturbazioni nel componente e nel suo bypass. L'INT svanisce se la mappa a valle è localmente affine o se le perturbazioni sono nulle.
  • Decomposizione Multi-Componente: Utilizzando i principi di inclusione-esclusione, gli autori estendono la decomposizione a insiemi di componenti. Dimostrano che l'effetto totale del patching di un insieme di nodi si decompone nella somma dei singoli PIE, dei singoli INT e delle interazioni tra componenti ($xINT$) tra sottoinsiemi di nodi.

• Validazione Empirica:

  • Dataset: Gli esperimenti utilizzano il circuito GPT-2 IOI (Indirect Object Identification), oltre ai compiti Gender Bias, Greater Than e SVA.
  • Modelli: GPT-2 Small, Pythia-70M e Qwen2.5-0.5B.
  • Metriche: Lo studio confronta le classifiche basate su NIE rispetto a PIE, analizza la varianza dei punteggi di fedeltà (faithfulness scores) ed esamina l'entità dell'INT attraverso diversi gruppi di teste funzionali (es. Name Mover Heads, Induction heads).

3. Contributi Chiave e Risultati

A. Divergenza nelle Classifiche NIE e PIE

Il documento dimostra che NIE e PIE inducono classifiche sostanzialmente diverse per quanto riguarda l'importanza dei componenti.

• Correlazione di Rango: Nel compito GPT-2 IOI, la correlazione di rango di Spearman tra NIE e PIE è bassa quanto $\rho = 0.51$.
• Dipendenza dal Prompt: La divergenza è guidata dalla distanza semantica tra i prompt puliti e quelli controfattuali. I compiti con prompt semanticamente vicini (es. Gender Bias) mostrano un'alta correlzione ($\rho \approx 0.99$), mentre i compiti con perturbazioni più ampie (es. IOI con corruzione pABC) mostrano una bassa correlazione.

B. Il Ruolo degli Effetti di Interazione (INT)

• Meccanismi di Backup: Nel circuito IOI, le "Backup Name Mover Heads" (BNMH) hanno punteggi PIE elevati, ma sono soppresse nelle classifiche NIE a causa di un INT negativo. Il loro contributo è condizionale alla presenza delle Name Mover Heads primarie che vengono ablate; quando le teste primarie sono attive (input pulito), il contributo marginale delle teste di backup si restringe, risultando in un termine di interazione negativo che abbassa il punteggio NIE.
• Meccanismi Specifici per il Contesto: Teste come Duplicate Token (DTH), Induction e Previous Token (PTH) hanno punteggi PIE quasi nulli perché il loro contributo dipende interamente dalla presenza di altri componenti attivi. Di conseguenza, sono invisibili alla classificazione basata su PIE, ma sono catturate da NIE (che include l'INT positivo).
• Meccanismi Dannosi: Le Negative Name Mover Heads (NNMH) mostrano un PIE negativo (danneggiamento delle prestazioni) ma un INT positivo (parzialmente contrastato da altre teste), illustrando come l'INT possa mascherare componenti dannosi.

C. Spiegazione dell'Instabilità della Fedeltà (Faithfulness)

Il documento fornisce una spiegazione meccanicistica per l'elevata variabilità dei "punteggi di fedeltà" (metriche che valutano quanto bene un circuito recupera le prestazioni del modello).

• Varianza della Cross-Interazione: I punteggi di fedeltà si decompongono in PIE, INT individuale e $xINT$ (interazione tra componenti). Gli autori trovano che i termini $xINT$ esibiscono una varianza significativamente maggiore tra diversi template di prompt (es. ABBA vs BABA) rispetto ai termini PIE.
• Magnitudo: Nel compito IOI, la somma dei singoli PIE predice un effetto molto più grande delle prestazioni effettive del circuito. La discrepanza è spiegata dai grandi $xINT$ negativi, indicando che le teste collettivamente producono meno della somma delle loro parti individuali a causa del loro accoppiamento non lineare.

D. Limiti dei Rimedi

Gli autori sostengono che rimuovere semplicemente l'INT per classificare tramite PIE introduca nuovi modi di fallimento. Sebbene il PIE identifichi correttamente i meccanismi di backup, esso fallisce nell'identificare i meccanismi specifici per il contesto (come le Induction heads) che sono essenziali affinché il circuito funzioni ma hanno un effetto path-specific zero. Pertamente, né l'NIE né il PIE da soli forniscono un quadro completo.

4. Significato e Rivendicazioni

Il documento sostiene che gli effetti di interazione non siano un disturbo da eliminare, ma una caratteristica diagnostica della mediazione causale nei transformer.

• Teoria Unificante: La presenza di INT offre una spiegazione unificante per diverse patologie note nell'interpretabilità meccanicistica, inclusi il fallimento della classificazione greedy dei componenti, l'instabilità dei punteggi di fedeltà tra i prompt e la difficoltà di scoprire i meccanismi di backup senza una ricerca combinatoria.
• Riformulazione dell'Interpretabilità: Gli autori sostengono che l'INT sia un'affermazione verificabile delle assunzioni del patching delle attivazioni. Segnala quando le conclusioni causali dipendono dal prompt e quando la classificazione greedy perderà meccanismi scopribili solo attraverso la ricerca combinatoria.
• Utilità Pratica: Sebbene l'INT non elimini la necessità della ricerca combinatoria per risolvere tutte le patologie, esso è misurabile a vari livelli di granularità. I praticanti possono usare l'entità e il segno dell'INT per identificare quando le loro conclusioni sono affidabili senza una ricerca esaustiva, o quando è probabile che stiano perdendo meccanismi critici dipendenti dal contesto o di backup.

Il documento conclude che la "Maledizione dei Molteplici Mediatori" è una proprietà intrinseca dell'architettura dei transformer e della mediazione causale, che richiede un passaggio dal vedere i componenti in isolamento al comprendere i loro ruoli interattivi e dipendenti dallo stato.