Beyond Importance: Interchange-Sobol Sensitivity Reveals Task-Specific Content Channels in Transformer Components

Sintesi Tecnica: Oltre l'Importanza: la Sensibilità Interchange-Sobol Rivela Canali di Contenuto Specifici per il Task nei Componenti dei Transformer

Definizione del Problema
Gli attuali metodi di interpretabilità meccanicistica riassumono tipicamente i componenti dei transformer utilizzando un singolo punteggio di importanza scalare (ad esempio, tramite Direct Logit Attribution, zero ablation o attribuzione basata sul gradiente). Gli autori sostengono che questo approccio confonda due ruoli funzionali distinti:

1. Trasporto di Contenuto (Content Transport): Un componente è importante perché trasporta informazioni rilevanti per il task; sostituire la sua attivazione con contenuti alternativi interrompe l'output del modello.
2. Substrato Computazionale (Computational Substrate): Un componente è importante perché la sua presenza è necessaria affinché il calcolo forward funzioni; rimuoverlo (ad esempio, tramite zero ablation) degrada le prestazioni.

Le metriche di importanza standard spesso non riescono a distinguere tra questi due ruoli. Ad esempio, nei compiti di richiamo fattuale, i metodi standard possono classificare bassamente i componenti degli strati iniziali, eppure lo scambio delle loro attivazioni con attivazioni di un donor corrispondente causa il collasso della risposta corretta, indicando che essi sono canali di contenuto critici che le metriche basate sulla cancellazione sottostimano.

Metodologia: Decomposizione Interchange-Group Sobol (IGSD)
Il documento introduce l'IGSD, un framework di intervento accoppiato progettato per separare il trasporto di contenuto dalla sensibilità alla cancellazione.

• Interventi Accoppiati: Per un gruppo specifico a livello di layer $g$ (attenzione o MLP) e un prompt base $x_A$, l'IGSD esegue due interventi utilizzando un prompt donor corrispondente $x_B$:
  1. Intervento di Scambio (Swap Intervention): Sostituisce l'attivazione $h_g(x_A, t)$ con l'attivazione corrispondente del donor $h_g(x_B, t)$.
  2. Intervento Zero (Zero Intervention): Sostituisce la stessa attivazione con un vettore nullo.
• Indici di Varianza: Il metodo stima due indici di varianza di tipo Sobol normalizzati per la varianza dell'output:
  • $ST_{swap}(g)$: Sensibilità alla sostituzione con contenuto corrispondente.
  • $ST_{zero}(g)$: Sensibilità alla cancellazione (azzeramento).
• Decomposizione del Ruolo: La metrica centrale è la differenza con segno $\delta(g) = ST_{swap}(g) - ST_{zero}(g)$.
  • $\delta(g) > 0$: Il componente agisce come un canale di trasporto di contenuto. Il contenuto errato è più dirompente della sua assenza.
  • $\delta(g) < 0$: Il componente agisce come un substrato sensibile alla cancellazione. L'assenza è più dirompente del contenuto alternativo.
• Diagnostica di Validità: Per garantire che gli interventi rimangano sul manifold dei dati, il documento monitora $\hat{ST} > 1$. Se un valore stimato supera 1, segnala che l'intervento è fuori dal manifold (violando l'assunzione di misura prodotto degli ideali indici di Sobol) e il gruppo viene escluso dall'interpretazione.
• Garanzie Teoriche: Il documento fornisce:
  • Un limite di mis-specificazione che mette in relazione l'indice a coppie corrispondenti con un ideale indice di Sobol (Proposizione 1).
  • Normalità asintotica e coerenza dell'inferenza paired-bootstrap per $\delta(g)$ (Proposizione 2).
  • Risultati di identificazione che collegano i contrasti di bucket fattoriali ai fattori di contenuto dominanti (soggetto vs relazione) (Proposizione 3).
  • Una decomposizione latente contenuto-substrato che mostra come $\delta(g)$ isoli la dominanza della massa di contenuto ($C_g$) rispetto alla massa di substrato ($N_g$) (Proposizione 4).

Contributi Chiave

1. Formulazione del Framework: L'IGSD è formulato come un framework di intervento accoppiato con inferenza a coppie corrispondenti e un design di donor fattoriale, supportato da limiti teorici sulla fedeltà dell'interscambio e sugli errori di dipendenza.
2. Scoperta di Canali Specifici per il Task: Attraverso diversi compiti, l'IGSD identifica profili di trasporto di contenuto localizzati e specifici per il task alla posizione dell'end-token allineata alla risposta.
   • Richiamo Fattuale: Sia in GPT-2 small che in Qwen2.5-1.5B, l'IGSD identifica un canale di contenuto a strati precoci (specificamente $MLP_{L0}$ in GPT-2 small) che i metodi di importanza standard classificano basso (ad esempio, #11–#13), ma che l'IGSD classifica come #1.
   • Granularità: Il metodo si affina fino alla granularità di testa, recuperando la testa di recupero fattuale nota $Attn_{L9H8}$.
   • Dissociazione del Contenuto: I design controllati dei donor rivelano che il canale precoce ($MLP_{L0}$) trasporta il contenuto del frame di relazione (ad esempio, il template "X è cittadino di"), mentre l'attenzione tardiva ($Attn_{L9}$) trasporta il contenuto di recupero del soggetto.
3. Validazione Downstream:
   • Clamping degli Strati Tardivi: Gli esperimenti confermano che il segnale precoce non è semplicemente passato attraverso i residui, ma è funzionalmente trasformato dai calcoli degli strati tardivi (specificamente i late MLPs).
   • Utilità della Potatura (Pruning): I componenti identificati come canali di trasporto di contenuto sono bersagli naturali per l'editing della conoscenza, mentre i componenti che non sono né portatori di contenuto né sensibili alla cancellazione sono candidati per la potatura strutturata. Gli esperimenti mostrano che la potatura basata sulle classifiche IGSD mantiene un'accuratezza significativamente più alta (70.0%) rispetto alla potatura basata sulle classifiche di zero-ablation (57.4%).

Risultati

• Richiamo Fattuale: In GPT-2 small, lo scambio di $MLP_{L0}$ fa scendere la risposta corretta dal rango #1 al rango #95, mentre la zero ablation ha un effetto molto minore. L'IGSD identifica correttamente questo come un canale sensibile al contenuto ($\hat{\delta} = 0.103$), mentre le metriche standard (DLA, AtP*) falliscono nel prioritizzarlo.
• Specificità del Task: Il ruolo di un componente non è fisso. Nel compito di Identificazione dell'Oggetto Indiretto (IOI), il contrasto positivo dominante si sposta verso gli strati di attenzione tardiva ($Attn_{L9}, Attn_{L10}$), mentre $MLP_{L0}$ diventa negativo (sensibile alla cancellazione).
• Robustezza: Le scoperte sono stabili attraverso diversi seed casuali e architetture (GPT-2 small e Qwen2.5-1.5B). Il profilo di contrasto "swap vs. zero" è distinto per ogni task (Factual, IOI, Induction).

Significato e Rivendicazioni
Il documento sostiene che la sostituzione e la cancellazione non sono controlli intercambiabili. La loro divergenza fornisce un diagnostico statistico pratico per identificare il trasporto di contenuto nei componenti dei transformer.

• Insight Meccanicistico: L'IGSD rivela che gli strati precoci nel richiamo fattuale sono critici per stabilire il "frame di relazione" (il template della query), un ruolo precedentemente sottovalutato dalle metriche basate sulla cancellazione.
• Spostamento Metodologico: Il lavoro si sposta da punteggi di importanza statici a una classificazione del ruolo dinamica, basata sul livello di intervento, determinato dal task, dalla distribuzione del donor e dalla funzione di output.
• Applicazione Pratica: La decomposizione dei ruoli contenuto vs substrato offre una base rigorosa per l'editing del modello (prendendo di mira i canali di contenuto) e per l'inferenza efficiente (potando i componenti del substrato).

Gli autori rimangono modesti riguardo ai limiti, osservando che la validità dell'intervento dipende dalla fedeltà del matching del donor, che la zero ablation è solo un operatore di cancellazione, e che i risultati attuali sono limitati ai compiti a singolo token e alla validazione downstream a blocchi. Tuttavia, sostengono che il framework sia estendibile a output multi-token e classi di equivalenza semantica.