Resumo Técnico: Corrigindo a Localização de Circuitos Baseada em Gradiente via Retropropagação Consciente de Interações

Definição do Problema

A localização de circuitos visa identificar o subconjunto específico de componentes do modelo (ex: cabeças de atenção, neurônios, conexões) responsáveis por comportamentos específicos em Grandes Modelos de Linguagem (LLMs) para permitir a interpretabilidade mecanística. A maioria dos métodos existentes opera sob a premissa de que os componentes atuam de forma independente, estimando a importância perturbando cada componente isoladamente.

No entanto, os componentes de redes neurais interagem, e ignorar essas interações leva a uma estimativa sistematicamente errônea da importância dos componentes. Os autores identificam uma interação específica e problemática denominada autorreparo de atenção (attention self-repair). Neste fenômeno, quando múltiplas posições possuem pesos de atenção elevados e contêm informações semelhantes (vetores de valor), a ablação de um único escore de atenção tem efeito mínimo no resultado. Isso ocorre porque a função de ativação softmax redistribui o peso para as posições redundantes restantes para compensar. Consequentemente, métodos de explicação baseados em perturbação e em gradiente subestimam a importância de componentes que contribuem para esses escores de atenção, resultando frequentemente em gradientes evanescentes para escores influentes.

Metodologia: Modificações de Interação de Gradiente (GIM)

O artigo introduz as Modificações de Interação de Gradiente (GIM), um método de atribuição baseado em gradiente projetado para estimar o impacto da perturbação de múltiplos componentes interagentes simultaneamente. O GIM modifica a retropropagação padrão através de três técnicas complementares:

1. Gradientes de Softmax com Ajuste de Temperatura (TSG):

   • Motivação: Abordar o autorreparo de atenção, onde os gradientes padrão desaparecem porque o ganho ao aumentar um peso softmax é cancelado pela perda ao suprimir outros quando os valores são semelhantes.
   • Mecanismo: Durante a retropropagação, o TSG recomputa o softmax com uma temperatura elevada ($T > 1$) antes de calcular os gradientes. Isso achata a distribuição de probabilidade, diminuindo pesos grandes e aumentando os pequenos. Ao ampliar o conjunto de posições "significativas", a premissa de que as contribuições são idênticas entre essas posições é relaxada. Isso garante que as diferenças pari passu nos gradientes ($g_j - g_k$) não desapareçam, permitindo que o sinal do gradiente sobreviva e aproxime o efeito da perturbação simultânea.

2. Congelamento de Layernorm (Layernorm Freeze):

   • Motivação: A normalização de camada introduz uma dinâmica de soma zero onde a ablação de um componente reduz a magnitude da ativação, fazendo com que o fator de normalização amplifique os componentes restantes (uma forma de autorreparo).
   • Mecanismo: O fator de normalização ($\sigma$) é tratado como uma constante durante a retropropagação. Isso mede a contribuição direta de cada componente antes que a reescala de normalização ocorra, evitando a subestimação da importância causada pela amplificação compensatória.

3. Norma de Gradiente (Gradient Norm):

   • Motivação: Operações multiplicativas (ex: $A = QK^T$ onde tanto $Q$ quanto $K$ dependem de $X$) levam à contagem dupla em gradientes de primeira ordem padrão. Perturbar $X$ afeta tanto $Q$ quanto $K$ simultaneamente, mas a regra da cadeia padrão soma seus efeitos individuais, superestimando a mudança.
   • Mecanismo: Os gradientes das interações multiplicativas são divididos pelo número de entradas multiplicativas (ex: dividindo por 2 para $Q \times K$). Isso se alinha à "regra uniforme" e corrige a sobrecontagem de contribuições na multiplicação atenção-valor, multiplicação query-key e multiplicação de projeção de portão (gate-projection) do MLP.

Principais Contribuições

1. Framework GIM: A introdução de um método de atribuição baseado em gradiente que explicitamente considera as interações de características, alcançando desempenho de estado da arte na trilha de localização de circuitos do Benchmark de Interpretabilidade Mecanística (MIB).
2. Identificação do Autorreparo de Atenção: A identificação formal e a prova de que o autorreparo de atenção (uma interação do tipo porta-OR) faz com que os gradientes desapareçam para escores de atenção influentes, levando a uma subestimação sistemática da importância do componente.
3. Superioridade de Atribuição de Características: Demonstração de que o GIM supera os métodos baseados em gradiente existentes em atribuição de características em diversas tarefas e arquiteturas de LLM.

Resultados

• Localização de Circuitos: No MIB, o GIM supera significativamente os métodos existentes (incluindo EAP, EAP-IG, Hybrid-ens e IFR) em múltiplos modelos (GPT-2, Qwen-2.5, Gemma-2, Llama-3.1) e tarefas (Identificação de Objeto Indireto, Aritmética, MCQA, ARC). Ele alcança a maior Razão de Desempenho de Circuito (CPR) média, particularmente em tarefas que exigem raciocínio de múltiplos passos.
• Atribuição de Características: Em sete LLMs ajustados por instrução e seis conjuntos de dados (cobrindo QA, verificação de fatos, sentimento e detecção de discurso de ódio), o GIM geralmente alcança pontuações de abrangência e suficiência mais altas comparado ao GradientXInput, Integrated Gradients, DeepLIFT e TransformerLRP.
• Validação do Autorreparo: A análise empírica confirma que o autorreparo de atenção é prevalente em LLMs reais, ocorrendo em média 65–1200 vezes por entrada. A ablação conjunta de dois grandes escores de atenção produz um efeito significativamente maior do que a soma de suas ablações individuais, validando a análise teórica.
• Estudo de Ablação: A remoção de qualquer modificação única (TSG, Layernorm Freeze ou Gradient Norm) do GIM degrada o desempenho em quase todos os pares modelo-dataset, confirmando que cada componente contribui significativamente para a fidelidade do método.

Significância

O artigo afirma que o GIM permite uma análise mecanística mais fiel de LLMs ao corrigir a subestimação sistemática da importância dos componentes causada pelas interações de características. Ao modelar explicitamente como os componentes interagem — especificamente através da redistribuição de softmax e da reescala de normalização — o GIM fornece uma imagem mais precisa dos mecanismos internos que impulsionam o comportamento do modelo. Os autores posicionam o GIM não apenas como uma melhoria incremental, mas como uma correção necessária à "premissa de independência" prevalente nas ferramentas de interpretabilidade atuais, permitando que pesquisadores identifiquem circuitos que antes eram obscurecidos por gradientes evanescentes. O método é disponibilizado como um pacote Python de código aberto para facilitar a adoção ampla.