Resumo Técnico: Co-Ablação Condicional (COAX)

1. Definição do Problema

A interpretabilidade mecanística baseia-se na atribuição de pontuações de importância a componentes individuais do modelo (ex: cabeças de atenção) para entender como um modelo produz comportamentos específicos. A abordagem padrão utiliza a pontuação de primeira ordem: ablacionar uma unidade isoladamente, medir a mudança na saída e agregar esses efeitos. Isso assume que a importância do componente é aditiva.

No entanto, essa suposição falha na presença de autorreparo (o "efeito Hidra"), onde o modelo possui componentes de reserva latentes que se ativam apenas quando um componente primário é removido.

• O Ponto Cego: Em um modelo intacto, um componente de reserva parece irrelevante (baixa importância) porque está silencioso. Quando um componente primário é ablacionado, o componente de reserva assume o controle, reparando o dano e silenciando o efeito medido do primário.
• Consequência: As pontuações de primeira ordem leem incorretamente ambos os lados da redundância: elas subestimam o primário (porque o reserva corrige o erro) e ignoram completamente o reserva (porque ele está latente). Isso leva a atribuições incorretas, falhas na neutralização de capacidades e poda de modelos subótima.

2. Metodologia: Co-Ablação Condicional (COAX)

Os autores reformulam o problema como completude de circuito condicional: dado um conjunto de componentes primários $S$, identificar os componentes restantes cuja importância cresce significativamente uma vez que $S$ é removido.

A Pontuação COAX

O COAX é uma pontuação livre de rótulos (label-free) e fundamentada na saída, que mede o crescimento condicional do efeito de ablação de uma unidade.

1. Geometria de Fisher: O método mede os efeitos de ablação na métrica induzida pela distribuição de saída (informação de Fisher). Para uma unidade $u$, o efeito de ablação é a perturbação do logit $\delta z_u = z_0 - z_{\{u\}}$. A energia deste efeito é o custo KL médio, aproximado pela norma ponderada por Fisher da característica centrada $\tilde{\delta z}_u$.
2. Crescimento Condicional:
   • Seja $S$ um conjunto semente de componentes primários (ex: identificados por um método de primeira ordem).
   • Calcule a energia de ablar uma unidade candidata $u$ isoladamente: $E(\delta z_u | \emptyset)$.
   • Calcule a energia de ablar $u$ após $S$ ter sido ablacionado: $E(\delta z_u | S)$.
   • A pontuação COAX é a diferença:
     $$\text{comp}_u(S) = E(\delta z_u | S) - E(\delta z_u | \emptyset)$$
3. Base Teórica:
   • Proposição 1: Estabelece a identidade de Fisher, ligando o produto interno de características centradas à matriz de Gram de Fisher.
   • Proposição 2 (Ponto Cego da Aditividade): Prova que qualquer pontuação baseada apenas em estatísticas de estado limpo (ex: ativação limpa ou gradientes limpos) não pode distinguir um puro reserva (latente no modelo limpo) de uma unidade inerte.
   • Proposição 3 (Crescimento Condicional como Sinergia): Mostra que, para uma unidade latente, a pontuação de crescimento condicional aproxima a energia de sua sinergia pareada com o conjunto semente $S$. Assim, o COAX recupera a interação de segunda ordem que as pontuações de primeira ordem descartam.

Eficiência

Ao contrário dos cálculos explícitos de sinergia pareada que exigem $O(|U|^2)$ passagens de ida (forward passes), o COAX requer apenas $O(|U|)$ passagens (uma única varredura de ablação individual e uma varredura condicional por semente). É apenas de ida (forward-only) e não requer passagens de volta (backward passes) ou rótulos de tarefa.

3. Principais Contribuições

1. Formalização do Autorreparo: O artigo formaliza o autorreparo como uma falha de aditividade na importância dos componentes e introduz a "completude de circuito condicional" como a tarefa de recuperar compensadores latentes.
2. Pontuação COAX: Introduz uma pontuação livre de rótulos e fundamentada em Fisher que expõe reservas latentes ao medir o crescimento na energia de ablação após condicionamento a um conjunto primário.
3. Validação Causal: Demonstra que as cabeças recuperadas são reservas genuínas através de verificações mecanísticas (curvas de despertar, transferência de atribuição de logit direto) e patch de contrafactual (congelar reservas remove o autorreparo).
4. Utilidade de Avaliação (Downstream): Mostra que recuperar esses reservas corrige a atribuição mascarada, permite a neutralização completa de capacidades e mel maneira a poda estruturada.

4. Resultados Experimentais

Descoberta de Reserva (Circuito IOI do GPT-2-small)

• Tarefa: Identificar 8 cabeças de movimentação de nomes documentadas, dadas as 3 primárias movimentadoras de nomes.
• Desempenho:
  • Baselines de primeira ordem: Saliência de ablação individual (0.33 AUC), AtP (0.60), EAP-IG (0.70) e o AtP*GradDrop, que é ciente do autorreparo (0.82).
  • COAX: Alcança 0.91 ROC-AUC.
  • Significância: O COAX coloca 6 das 8 reservas documentadas em seus 20 principais candidatos. A melhoria sobre o melhor baseline baseado em gradiente (AtP*) é estatisticamente significativa ($p < 0.05$) ao controlar o conjunto semente.
• Benchmark Sintético: Em um benchmark sintético com 100 reservas plantadas, as pontuações de estado limpo performam ao nível do acaso ou abaixo (0.42–0.51), enquanto o COAX atinge 0.90, confirmando o ponto cego teórico dos métodos de primeira ordem.

Generalização

• Escala: O fenômeno de "despertar" (aumento da norma de saída após ablação do primário) é observado em modelos GPT-2-small, medium e large.
• Arquitetura: Aplicado ao circuito de indução em 8 modelos (Pythia, GPT-Neo, Gemma, Llama, Qwen, OLMo). O COAX recupera conjuntos compensadores que reduzem significativamente a log-probabilidade de indução (2.1x a 12x mais que o aleatório), demonstrando transferibilidade sem rótulos.

Aplicações de Avaliação (Downstream)

1. Recuperação de Atribuição: Ablacionar apenas os primários reduz a diferença de logit de IOI em apenas 0.22 (mascarado pelo autorreparo). Adicionar os backups recuperados pelo COAX restaura a queda para 1.76, revelando o verdadeiro efeito causal.
2. Neutralização de Capacidade (Knockout): Para desativar o comportamento IOI, deve-se remover os reservas.
   • Remover apenas primários: A acurácia permanece em ~0.97 (autorreparo ativo).
   • Remover primários + backups do COAX: A acurácia cai para 0.70, aproximando-se do oráculo documentado (0.72).
   • Remover primários + as próximas cabeças classificadas (top-up de primeira ordem): A acurácia cai para 0.24, indicando sobre-ablação para componentes centrais.
3. Poda Estruturada: Uma estratégia de poda sequencial que remedeia as pontuações COAX após cada remoção (para considerar novos reservas expostos) supera todos os baselines (Random, Magnitude, Wanda, Taylor) em diversas escalas, de 124M a 7B de parâmetros. Com 50% de esparsidade, o COAX mantém a perplexidade significativamente mais próxima do modelo denso do que qualquer competidor.

5. Significância e Alegações

O artigo argumenta que a importância do componente não é uma propriedade intrínseca de uma unidade, mas é condicional ao estado do restante do circuito.

• Motivação: Em circuitos robustos, os componentes que mais importam são frequentemente aqueles que permanecem silenciosos até que seu primário falhe. Métodos de primeira ordem, que pontuam unidades isoladamente, sistematicamente perdem esses "heróis ocultos".
• Mudança Operacional: O COAX muda o paradigma de "pontuar unidades isoladamente" para "pontuar unidades em relação ao que foi removido".
• Limitações e Escopo:
  • O COAX é uma ferramenta de completude, não uma ferramenta de descoberta autônoma; ele requer um conjunto semente primário (que pode ser encontrado por métodos de primeira ordem).
  • É mais eficaz em regimes de substituição latente (como os backups de IOI). Em regimes onde a redundância é compartilhada entre cabeças homogêneas que disparam juntas (como a indução), o COAX encontra conjuntos de carga, mas não identifica unicamente uma classe de "reserva" distinta.
  • O método é atualmente instanciado na granularidade de cabeça de atenção; ele não recupera sinais fortes em circuitos dominados por MLP (ex: o circuito "maior que"), sugerindo que o mecanismo do circuito (MLP vs. Atenção) dita a recuperabilidade do autorreparo.

O artigo conclui que a interpretabilidade fiel de modelos robustos deve ser condicional: a redundância não é ruído a ser suavizado, mas uma estrutura que deve ser condicionada para revelar o circuito completo.