Resumo Técnico: A Maldição dos Múltiplos Mediadores: Efeitos de Interação Ocultos na Patching de Ativação

1. Declaração do Problema

A activation patching (patching de ativação) é o padrão de fato na interpretabilidade mecanística para atribuir responsabilidade causal a componentes individuais de redes neurais. Ela operacionaliza o Efeito Indireto Natural (NIE) da análise de mediação causal ao substituir as ativações de um componente por valores contrafatuais (tipicamente de um input "limpo") e medir a mudança resultante na saída.

No entanto, o artigo identifica uma falha fundamental nesta abordagem quando aplicada a transformers: o NIE não captura apenas o efeito causal que flui através de um componente específico. Devido à arquitetura de residual stream (fluxo residual) do transformer, que fornece caminhos de desvio (bypass) em torno de cada componente, o NIE confunde a contribuição direta do componente com efeitos de interação (INT). Essas interações medem como o efeito causal de um componente depende do estado de outros componentes (o bypass). Consequentemente, os rankings de activation patching padrão podem ser enganosos, fazendo com que mecanismos de "backup" funcionalmente importantes pareçam invisíveis (falsos negativos) ou inflando artificialmente a importância de outros.

2. Metodologia

Os autores re-derivam o estimando da activation patching sob a perspectiva da análise de mediação causal, abordando especificamente a condição estrutural de "testemunhas que recuam" (recanting witnesses) inerente às conexões de desvio (skip connections) do transformer.

• Decomposição Teórica: O artigo decompõe matematicamente o estimador de "ruído" (noising) padrão (o método padrão de activation patching) em duas quantidades causais distintas:

  1. Efeito Indireto Puro (PIE): O efeito específico de caminho que flui exclusivamente através do componente alvo, bloqueando efetivamente todos os caminhos de desvio.
  2. Efeito de Interação (INT): A interação mediada entre o componente e seu bypass.
     A relação é definida como: $NIE = PIE + INT$.
     O artigo também define um estimador de "desruído" (denoising), que os autores mostram computar o PIE diretamente, contrastando-o com o NIE computado por noising.

• Análise Teórica:

  • Aproximação de Segunda Ordem: Os autores provam que o INT escala com a distância entre as ativações limpas e as modificadas (patched). Especificamente, o INT é aproximado pela derivada direcional mista de segunda ordem (forma bilinear de Hessian) da função subsequente em relação às perturbações no componente e no seu bypass. O INT desaparece se o mapa subsequente for localmente afim ou se as perturbações forem zero.
  • Decomposição de Múltiplos Componentes: Usando princípios de inclusão-exclusão, os autores estendem a decomposição para conjuntos de componentes. Eles mostram que o efeito total de realizar o patching em um conjunto de nós se decompõe na soma dos PIEs individuais, dos INTs individuais e das interações entre componentes ($xINT$) entre subconjuntos de nós.

• Validação Empírica:

  • Datasets: Os experimentos utilizam o circuito GPT-2 IOI (Indirect Object Identification), além de tarefas de Viés de Gênero, Greater Than e SVA.
  • Modelos: GPT-2 Small, Pythia-70M e Qwen2.5-0.5B.
  • Métricas: O estudo compara rankings baseados em NIE versus PIE, analisa a variância dos escores de fidelidade (faithfulness scores) e examina a magnitude do INT através de diferentes grupos de cabeças funcionais (ex: Name Movers, Induction heads).

3. Contribuições Principais e Resultados

A. Divergência de Rankings entre NIE e PIE

O artigo demonstra que o NIE e o PIE induzem rankings substancialmente diferentes de importância de componentes.

• Correlação de Rank: No processo GPT-2 IOI, a correlação de rank de Spearman entre NIE e PIE é tão baixa quanto $\rho = 0.51$.
• Dependência de Prompt: A divergência é impulsionada pela distância semântica entre os prompts limpos e contrafatuais. Tarefas com prompts semanticamente próximos (ex: Viés de Gênero) mostram alta correlação ($\rho \approx 0.99$), enquanto tarefas com perturbações maiores (ex: IOI com corrupção pABC) mostram baixa correlação.

B. O Papel dos Efeitos de Interação (INT)

• Mecanismos de Backup: No circuito IOI, as "Backup Name Mover Heads" (BNMH) possuem altos escores de PIE, mas são suprimidas nos rankings de NIE devido ao INT negativo. Sua contribuição é condicional à ablação das cabeças primárias (Name Mover Heads); quando as cabeças primárias estão ativas (input limpo), a contribuição marginal das cabeças de backup diminui, resultando em um termo de interação negativo que reduz o escore de NIE delas.
• Mecanismos Contextuais: Cabeças como Duplicate Token (DTH), Induction e Previous Token (PTH) possuem escores de PIE próximos de zero porque sua contribuição depende inteiramente da presença de outros componentes ativos. Consequentemente, elas são invisíveis para o ranking baseado em PIE, mas são capturadas pelo NIE (que inclui o INT positivo).
• Mecanismos Prejudiciais: As Negative Name Mover Heads (NNMH) exibem PIE negativo (prejudicando o desempenho), mas INT positivo (parcialmente oposto por outras cabeças), ilustrando como o INT pode mascarar componentes prejudiciais.

C. Explicando a Instabilidade da Fidelidade

O artigo fornece uma explicação mecanística para a alta variabilidade dos "escores de fidelidade" (métricas que avaliam o quão bem um circuito recupera o desempenho do modelo).

• Variância de Interação Cruzada: Os escores de fidelidade se decompõem em PIE, INT individual e INT de componentes cruzados ($xINT$). Os autores descobrem que os termos de $xINT$ exibem uma variância significativamente maior entre diferentes templates de prompt (ex: ABBA vs. BABA) do que os termos de PIE.
• Magnitude: Na tarefa IOI, a soma dos PIEs individuais prevê um efeito muito maior do que o desempenho real do circuito. A discrepância é explicada por grandes interações negativas de componentes cruzados ($xINT$), indicando que as cabeças coletivamente produzem menos do que a soma de suas partes individuais devido ao acoplamento não linear.

D. Limitações de Remédios

Os autores argumentam que simplesmente remover o INT para ranquear por PIE introduz novos modos de falha. Embora o PIE identifique corretamente os mecanismos de backup, ele falha em identificar mecanismos contextuais (como as Induction heads) que são essenciais para o funcionamento do circuito, mas possuem efeito de caminho específico zero. Assim, nem o NIE nem o PIE sozinhos fornecem uma imagem completa.

4. Significância e Alegações

O artigo afirma que os efeitos de interação não são um incômodo a ser eliminado, mas sim um recurso diagnóstico da mediação causal em transformers.

• Teoria Unificadora: A presença de INT oferece uma explicação unificadora para várias patologias conhecidas na interpretabilidade mecanística, incluindo a falha do ranking ganancioso (greedy ranking) de componentes, a instabilidade dos escores de fidelidade entre prompts e a dificuldade de descobrir mecanismos de backup sem busca combinatória.
• Reenquadramento da Interpretabilidade: Os autores argumentam que o INT é uma afirmação verificável das premissas da activation patching. Ele sinaliza quando as conclusões causais dependem do prompt e quando o ranking ganancioso irá perder mecanismos que só são descobertos através de busca combinatória.
• Utilidade Prática: Embora o INT não elimine a necessidade de busca combinatória para resolver todas as patologias, ele é mensurável em vários níveis de granularidade. Profissionais podem usar a magnitude e o sinal do INT para identificar quando suas conclusões são confiáveis, ou quando provavelmente estão perdendo mecanismos críticos dependentes de contexto ou de backup.

O artigo conclui que a "Maldição dos Múltiplos Mediadores" é uma propriedade inerente à arquitetura do transformer e à mediação causal, exigindo uma mudança de visão: de observar componentes isoladamente para compreender seus papéis interativos e dependentes de estado.