Resumo Técnico: Heróis Ocultos e Inchaços de Gradiente

Declaração do Problema

A atribuição baseada em gradiente é uma ferramenta fundamental na interpretabilidade mecânica, amplamente utilizada para poda, descoberta de circuitos e auditoria de modelos Transformer. A suposição predominante é que a magnitude do gradiente de um componente indica de forma confiável sua importância causal na condução do comportamento do modelo, particularmente para a generalização fora da distribuição (OOD). No entanto, este artigo argumenta que essa suposição permanece amplamente não testada contra intervenções causais. Se a magnitude do gradiente falhar sistematicamente em identificar os componentes arquitetônicos que conduzem a computação real, pipelines que dependem dela correm o risco de podar componentes críticos ou identificar "circuitos" que são meramente artefatos do método de atribuição, em vez de estruturas computacionais genuínas.

Metodologia

Os autores avaliam a confiabilidade da atribuição de gradiente usando uma configuração experimental controlada projetada para isolar estruturas causais:

• Tarefas e Modelos: O estudo utiliza dois benchmarks algorítmicos — Reversão de Sequência e Ordenação de Sequência — usando inteiros $x \in \{1, \dots, 99\}$. Os modelos são Transformers apenas com decodificador com $L=4$ camadas e $H=4$ cabeças (20 componentes no total: 16 cabeças de atenção e 4 MLPs). Essas tarefas foram escolhidas porque suas estruturas causais são totalmente mensuráveis e os circuitos são relativamente simples, representando um cenário "de melhor caso" para a atribuição de gradiente.
• Magnitude do Gradiente ($G$): Para cada componente, os autores computam a norma de Frobenius média normalizada do gradiente através de 50 lotes OOD. Para garantir comparação justa entre subcamadas heterogêneas (por exemplo, matrizes de atenção vs. matrizes MLP), os gradientes são normalizados pela raiz quadrada da contagem de parâmetros. A medida isola $W_V$ e $W_{out}$ para limitar a contribuição para o fluxo residual.
• Importância Causal ($C$): A necessidade funcional é medida via experimentos de ablação em comprimentos de sequência OOD ($N \in \{8, 9, 10, 11\}$). Duas linhas de base são usadas:
  • Ablação Média: Substituir a saída de um componente por sua ativação média.
  • Ablação Zero: Substituir a saída por um vetor zero.
  • A precisão é medida como a correspondência exata da sequência.
• Quantificação da Lacuna: O desalinhamento é quantificado usando a correlação de Spearman ($\rho$) entre a magnitude do gradiente e a importância causal. Os componentes são classificados com base na diferença de rank ($\Delta_i$):
  • Heróis Ocultos: Baixo gradiente mas causalmente essenciais ($\Delta_i \le -6$).
  • Inchaços de Gradiente: Alto gradiente mas impacto causal negligenciável ($\Delta_i \ge 6$).
  • Alinhados: Concordância entre as medidas ($|\Delta_i| < 6$).
• Validação: O estudo abrange até 10 sementes aleatórias e inclui experimentos de ablação conjunta para testar redundância.

Principais Resultados

1. Falha Sistemática da Atribuição de Gradiente

A correlação entre a magnitude do gradiente e a importância causal é altamente dependente da tarefa e frequentemente colapsa:

• Reversão de Sequência: Mostra uma correlação moderada ($\rho = 0.72$).
• Ordenação de Sequência: Mostra um colapso severo ($\rho = 0.27$).
• Sementes Individuais: Em sementes específicas, a correlação cai para próximo de zero ($\rho \approx 0.00$) ou torna-se preditiva negativamente ($\rho = -0.18$), indicando que gradientes altos podem ativamente enganar quanto à necessidade funcional.

2. Inversão Estrutural por Camada

A falha não é ruído aleatório, mas exibe uma estrutura estável por camada:

• Inchaços de Gradiente: Concentram-se nas camadas iniciais (especificamente Camada 1). Esses componentes recebem sinais de gradiente altos, mas são individualmente dispensáveis.
• Heróis Ocultos: Concentram-se nas camadas tardias (especificamente Camada 3). Esses componentes têm sinais de gradiente baixos, mas são causalmente indispensáveis.
• Estabilidade: Cabeças específicas ocupam papéis consistentes entre sementes (por exemplo, L3 H3 é um Herói Oculto em 7/10 sementes de ordenação; L1 H1 e L1 H3 são Inchaços em 6/10 sementes).

3. O Paradoxo da Redundância e Superaditividade

O mecanismo que impulsiona a falha é identificado como redundância coletiva:

• Ablação Individual vs. Conjunta: Quando Inchaços de Gradiente são ablatados individualmente, a queda na precisão é negligenciável (3,1% por componente). No entanto, quando ablatados conjuntamente, a precisão colapsa em 43,8%.
• Superaditividade: O dano conjunto é 14× maior do que a soma das previsões individuais. Isso revela que os Inchaços formam um circuito distribuído e redundante onde os componentes se compensam mutuamente.
• Limitação de Métodos de Primeira Ordem: A atribuição de gradiente, medindo apenas a sensibilidade local da perda, atribui sinal alto a todos os componentes ativos em um circuito redundante, falhando em distinguir entre unidades individualmente redundantes e individualmente críticas.

4. Impacto na Generalização

• Heróis Ocultos: Ablar esses componentes causa uma queda devastadora na precisão OOD (mudança média de $-36,4\% \pm 22,8\%$ na reversão), apesar de seus rankings de gradiente baixos.
• Inchaços de Gradiente: Embora individualmente menos críticos, sua remoção coletiva revela a redundância oculta, causando variância significativa nos resultados de poda dependendo da topologia específica do circuito da semente.

Significado e Alegações

O artigo alega que a magnitude do gradiente é um proxy sistematicamente invertido para a importância causal em tarefas algorítmicas, impulsionado por uma divisão de trabalho onde camadas iniciais aprendem extratores de características amplos e de alto gradiente, e camadas tardias implementam lógica esparsa e causalmente indispensável.

• Insight Mecânico: As descobertas sugerem que "circuitos" identificados via métodos baseados em gradiente podem ser artefatos do método de atribuição, ignorando os verdadeiros impulsionadores da generalização (Heróis Ocultos) enquanto superestimam características redundantes de camadas iniciais (Inchaços de Gradiente).
• Pré-requisito para Alegações: Os autores argumentam que a validação causal (via ablação ou patching) deve ser um pré-requisito para qualquer alegação em nível de circuito ou estratégias de poda, pois heurísticas baseadas em gradiente são insuficientes e potencialmente destrutivas para a generalização OOD.
• Escopo: O estudo posiciona essas descobertas como um limite inferior para a falha de atribuição; os autores sugerem que a lacuna pode ser exacerbada em cenários naturalistas com maior redundância e complexidade.

O artigo conclui chamando para uma reavaliação dos métodos de atribuição à luz de topologias de circuitos redundantes e destaca a necessidade de rastrear a dinâmica temporal do "grokking" para entender como essas estruturas por camada emergem durante o treinamento.