Resumo Técnico: Quando o Patching de Atribuição Falha

Declaração do Problema

A interpretabilidade mecanística depende da localização causal para identificar quais componentes internos (neurônios, cabeças de atenção) impulsionam comportamentos específicos do modelo. O padrão ouro para isso é o patching de ativação (activation patching), que mede o efeito causal de substituir a ativação de um componente sob uma entrada corrompida pelo seu valor de uma entrada limpa. No entanto, o patching de ativação é computacionalmente proibitivo em escala porque seu custo escala linearmente com o número de componentes.

Consequentemente, os praticantes recorrem ao patching de atribuição (attribution patching), uma aproximação de primeira ordem baseada em gradiente que lineariza o efeito de uma intervenção em torno de uma ativação corrompida. Embora eficiente, a confiabilidade do patching de atribuição é pouco compreendida. Trabalhos anteriores identificaram modos de falha específicos (ex: incompatibilidade de região de ativação, redistribuição de softmax) e propuseram remédios parciais, mas uma questão fundamental permanece: Quando o patching de atribuição é confiável, quão grande pode ser seu erro e como ele deve ser corrigido?

Metodologia e Insight Central

Os autores analisam a estrutura do erro de patching de atribuição usando uma expansão de Taylor de segunda ordem. Eles decompõem o erro $E$ entre o efeito causal real ($\Delta$) e a estimativa de primeira ordem ($\hat{\Delta}$) em dois componentes:
$$E = \underbrace{\frac{1}{2} \delta^\top H \delta}_{\text{Termo Quadrático Dominante}} + \underbrace{\Phi(\delta)}_{\text{Resto Cúbico}}$$
onde $\delta$ é a direção da perturbação e $H$ é o Hessiano da métrica de saída escalar em relação à ativação.

Insight Central: Curvatura de Rede vs. Local

Um achado crítico é que o termo de erro dominante provém da resposta do nível da rede à intervenção (como a perturbação se propaga através do resto do modelo), em vez da curvatura local no componente que sofreu o patch em si.

• Falha de Correções Anteriores: Métodos anteriores (ex: AtP*, GIM) tentam corrigir erros usando a curvatura de ativação local (ex: a segunda derivada da função de ativação). Os autores demonstram que a curvatura local é um preditor ruim do erro real, mostrando uma correlação quase nula ($r=0,04$) e subestimando a fonte do erro real por fatores de 2 a 66$\times$.
• Correção de Nível de Rede: O erro real depende do produto Hessiano-vetor (HVP) de todo o grafo computacional.

A Solução Proposta: Screen–Flag–Fix (Filtrar–Sinalizar–Corrigir)

Com base nesta decomposição, os autores propõem um fluxo de trabalho escalável:

1. Screen (Filtrar): Computar o patching de atribuição padrão para todos os componentes (uma passagem de retropropagação/backward pass).
2. Flag (Sinalizar): Calcular um Score de Confiabilidade ($\tilde{R}$) definido como a magnitude do termo quadrático em relação à estimativa de primeira ordem:
   $$\tilde{R} = \frac{|\delta^\top H \delta|}{2 |\hat{\Delta}|}$$
   Um $\tilde{R}$ alto indica que o termo quadrático omitido é significativo, sinalizando a estimativa como não confiável.
3. Fix (Corrigir): Aplicar uma correção de segunda ordem baseada em HVP apenas aos componentes sinalizados.
   • HVP Padrão: Adiciona o termo $\frac{1}{2} \delta^\top H \delta$ à estimência. Isso requer duas passagens de retropropagação (uma para calcular o gradiente, uma para calcular o HVP).
   • MS-HVP (HVP de Múltiplos Passos): Para grandes perturbações onde um único passo de Taylor pode ultrapassar o alvo (overshoot) — violando a suposição de suavidade local — a correção é dividida em $K$ subpassos. Isso reduz o erro residual de $O(\|\delta\|^2)$ para $O(\|\delta\|^3/K^2)$.

Principais Contribuições

1. Reenquadramento da Confiabilidade de Atribuição: Os autores rastreiam a fonte dominante de erro até a resposta da rede downstream, em vez da não linearidade local, explicando por que correções locais anteriores são estruturalmente incompletas.
2. Correção de Segunda Ordem Escalável: Eles introduzem o HVP e o MS-HVP como as primeiras correções de segunda ordem demonstradas como viáveis em grandes escalas (até 9B de parâmetros). Ao contrário do Integrated Gradients (IG), que se torna computacionalmente inviável nessa escala (exigindo $\sim$25 dias-GPU por tarefa), o HVP permanece tratável.
3. Espaço de Design e Fluxo de Trabalho: Eles organizam os métodos de refinamento anteriores por seus objetivos e propõem um pipeline "Screen-Flag-Fix" que direciona o esforço computacional apenas para os componentes não confiáveis, equilibrando precisão e eficiência.

Resultados Experimentais

Os autores avaliaram seu método em cinco famílias de modelos (124M–9B de parâmetros) e múltiplas tarefas (IOI, Greater-Than, Factual Completion).

• Redução de Erro: A correção HVP padrão reduz o erro relativo do top-5 em 72–90% em cabeças de atenção e 56–67% em neurônios MLP pré-ativação em regimes de baixa a moderada curvatura. Em regimes patológicos de alta curvatura (ex: Pythia-410M IOI), o HVP de passo único pode ultrapassar o alvo, mas o MS-HVP (K=5) recupera a estabilidade, reduzindo o erro em até 82%.
• Comparação com Baselines:
  • vs. Integrated Gradients (IG): Com custos computacionais equivalentes, o MS-HVP iguala ou supera a precisão do IG. No GPT-2 IOI, o MS-HVP (custo 10) supera significativamente o IG (custo 35) com um ganho de eficiência de 3,5$\times$.
  • vs. Integrated Hessians (IH): O IH performa consistentemente abaixo do MS-HVP porque seu esquema de ponderação (projetado para interações de características) subcorrige sistematicamente o termo de erro específico relevante para o patching de atribuição.
  • vs. GIM/AtP:* Estes métodos fornecem ganhos modestos ou degradam o desempenho, particularmente em modelos maiores onde a curvatura da rede de ordem superior domina.
• Recuperação de Circuitos: Os ganhos de precisão por componente traduzem-se em melhor recuperação de circuitos. No benchmark GPT-2 Greater-Than, o MS-HVP (K=5) melhorou a sobreposição de cabeças do top-5 com o ground truth de 70,1% para 83,2%, superando tanto o IG quanto o GIM.
• Escalabilidade: Em 8B+ de parâmetros, o IG é inviável, enquanto o HVP permanece prático. O MS-HVP é a única correção de segunda ordem demonstrada nesta escala.

Significância e Alegações

O artigo afirma que o patching de atribuição não é inerentemente não confiável, mas sofre de uma fonte de erro específica e corrigível: a negligência da curvatura da rede downstream. Ao mudar o foco das propriedades de ativação local para os produtos Hessiano-vetor do nível da rede, os autores fornecem uma explicação geral de quando o patching de atribuição falha e como corrigi-lo.

A significância reside em permitir a recuperação de circuitos de alta fidelidade em escalas anteriormente inacessíveis para testes causais rigorosos. O fluxo de trabalho Screen-Flag-Fix proposto permite que os praticantes mantenham a velocidade das aproximações de primeira ordem para componentes confiáveis, aplicando correções de segunda ordem direcionadas e computacionalmente eficientes apenas onde necessário. Esta abordagem apoia a descoberta de circuitos mecanísticos em modelos de Linguagem de Grande Escala modernos sem o custo proibitivo do patching de ativação total ou métodos de integração de caminho, como o Integrated Gradients.