Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations

Este artigo apresenta um pipeline que conecta a análise de circuitos internos de modelos de linguagem a explicações em linguagem natural, demonstrando que, embora as explicações baseadas em circuitos sejam suficientes, elas frequentemente carecem de abrangência devido a mecanismos de backup distribuídos, e que explicações geradas por LLMs superam significativamente as baseadas em modelos.

O essencial

Imagine que você tem um robô superinteligente (um Modelo de Linguagem, como o GPT) que escreve histórias e responde perguntas. O problema é que esse robô é uma "caixa preta": ele dá a resposta certa, mas ninguém sabe exatamente como ele pensou para chegar lá. É como se ele dissesse "2+2=4", mas você não soubesse se ele contou nos dedos, usou uma calculadora ou adivinhou.

Este artigo de pesquisa é como um grupo de detetives tentando abrir essa caixa preta e explicar, em linguagem humana simples, o que acontece lá dentro.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Mistério: A "Caixa Preta" e o Detetive

Os pesquisadores queriam saber: "Podemos olhar para os circuitos internos do robô (como ele processa informações) e traduzir isso em uma explicação que um humano comum entenda?"

Para testar isso, eles usaram um jogo de lógica chamado IOI (Identificação do Objeto Indireto).

• O Jogo: O robô lê uma frase como: "Quando Maria e João foram à loja, João deu uma bebida para..."
• A Resposta Correta: O robô deve completar com "Maria".
• O Desafio: Por que o robô escolhe Maria e não João? O que acontece na "mente" dele?

2. A Investigação: O "Patch" Causal (A Cirurgia)

Antes, os pesquisadores olhavam apenas para onde o robô "olhava" (chamado de atenção), mas isso era enganoso. Era como olhar para onde um jogador de futebol olha e achar que é por isso que ele chutou a bola. Às vezes, ele olha para um lado, mas chuta para o outro.

Neste estudo, eles usaram uma técnica chamada Patch de Ativação.

• A Analogia: Imagine que o cérebro do robô é uma sala cheia de 100 pessoas (os "cabeças de atenção") trabalhando juntas. Para descobrir quem é o importante, os pesquisadores fizeram uma "cirurgia": eles tiraram a informação de uma pessoa de cada vez e viram se a resposta mudava.
• O Resultado: Eles descobriram que apenas 6 pessoas (6 cabeças de atenção específicas) eram as verdadeiras responsáveis por 61% da decisão de escolher "Maria". As outras 94 pessoas estavam apenas assistindo ou fazendo coisas secundárias.

3. A Tradução: De "Código" para "História"

Agora que eles sabiam quem eram os culpados (as 6 pessoas), precisavam explicar isso em português. Eles testaram duas formas de fazer isso:

• Método 1: O Modelo de Preenchimento (Template)

  • Era como um formulário de "preencha as lacunas": "O robô escolheu Maria porque a pessoa X olhou para ela com Y% de atenção."
  • Resultado: Ficou muito robótico e genérico.

• Método 2: O Tradutor Inteligente (LLM)

  • Eles pegaram os dados técnicos e pediram para outro robô inteligente escrever uma explicação natural.
  • Resultado: Ficou muito melhor! O robô escreveu: "O GPT escolheu 'Maria' porque a peça L9H9 focou 66% da sua atenção nela, ignorando João, identificando-a como a destinatária."
  • Comparação: As explicações feitas pelo robô inteligente foram 66% melhores em qualidade do que as modelos de preenchimento.

4. A Grande Revelação: A "Redundância" (O Plano B)

Aqui está a parte mais interessante e um pouco assustadora.

Os pesquisadores mediram duas coisas:

1. Suficiência: Se você usar apenas essas 6 pessoas, o robô acerta? Sim, 100% das vezes.
2. Compreensividade: Se você apagar essas 6 pessoas, o robô para de funcionar? Não, ele ainda acerta 78% das vezes!

A Analogia do Carro:
Imagine que você explica que um carro anda porque tem um motor. Isso é verdade (suficiência). Mas, se você tirar o motor, o carro ainda anda porque tem um motor de reserva escondido no porta-malas que ninguém viu (compreensividade baixa).

O robô tem mecanismos de backup. Ele é tão redundante que, mesmo que você explique as partes principais, você não está contando a história completa. O robô tem "planos B" distribuídos por todo o sistema.

5. O Alerta: Confiança não é Verdade

Os pesquisadores descobriram algo crucial: A confiança do robô não diz nada sobre a qualidade da explicação.

• O robô pode estar 99% confiante na resposta e, mesmo assim, a explicação que damos pode estar errada ou incompleta.
• É como um aluno que responde a prova com certeza absoluta, mas usou um método de adivinhação que o professor não consegue entender.

Resumo Final

Este trabalho criou um "tradutor" que pega a engenharia complexa de um robô e a transforma em uma história simples para humanos.

• O que funcionou: Eles conseguiram identificar as peças principais e escrever explicações claras usando outro robô.
• O que aprendemos: Os robôs são mais complexos do que parecem. Eles têm muitos "planos B" (mecanismos de backup) que tornam difícil dar uma explicação curta e completa.
• O aviso: Não confie cegamente na confiança do robô. Mesmo que ele pareça seguro, a explicação pode estar faltando partes importantes da história.

Em suma: Podemos explicar como o robô pensa, mas precisamos admitir que a explicação é apenas uma parte da verdade, porque o robô tem muitos segredos escondidos.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations", apresentado em português:

1. Problema e Motivação

O artigo aborda a lacuna entre a interpretabilidade mecânica (que identifica circuitos internos causais em modelos de linguagem) e a explicabilidade de IA (que gera razões legíveis por humanos).

• O Desafio: As descobertas da interpretabilidade mecânica são frequentemente expressas em termos técnicos (ex: "a cabeça L9H9 contribui com 17,4% para a diferença de logit"), enquanto os métodos de explicação atuais (como pesos de atenção) muitas vezes se baseiam em sinais correlacionais que não refletem mecanismos causais reais.
• Objetivo: Desenvolver um pipeline que traduza automaticamente a análise de circuitos mecânicos em explicações em linguagem natural (NL) que sejam causalmente fiéis, respondendo a três perguntas de pesquisa: quais componentes internos correlacionam-se com comportamentos interpretáveis, é possível mapear sinais mecânicos para NL fiel e quando/por que as explicações divergem dos mecanismos.

2. Metodologia

O trabalho propõe um pipeline de três etapas, aplicado à tarefa de Identificação de Objeto Indireto (IOI) no modelo GPT-2 Small (124M parâmetros):

1. Identificação de Circuitos via "Activation Patching":

   • Em vez de confiar apenas nos pesos de atenção, o método utiliza activation patching para intervenções causais.
   • Cria-se uma versão corrompida das entradas (troca de posições dos nomes) e mede-se a recuperação do efeito em cada cabeça de atenção.
   • A importância causal é calculada pela fórmula: $Effect_h = \frac{LD_{patched} - LD_{corrupt}}{LD_{clean} - LD_{corrupt}}$, onde $LD$ é a diferença de logit entre o objeto indireto correto e o sujeito.
   • Isso identifica as cabeças que são causalmente responsáveis pela decisão do modelo.

2. Geração de Explicações:

   • Baseada em Modelos (Template): Preenche modelos fixos com dados extraídos (ex: "O modelo prevê 'X' porque a cabeça Y atende a ela com Z% de atenção").
   • Gerada por LLM: Um modelo de linguagem é instruído com os dados estruturados do circuito (nomes das cabeças, porcentagens de atenção, confiança) para gerar explicações contextuais de 1 a 2 frases.

3. Avaliação de Fidelidade (Adaptação do ERASER):

   • As métricas clássicas de Sufficiency (Suficiência) e Comprehensiveness (Compreensibilidade) do dataset ERASER são adaptadas para componentes de nível de circuito.
   • Suficiência: As cabeças citadas explicam a predição?
   • Compreensibilidade: A ablação (remoção) das cabeças citadas altera a predição?
   • Qualidade: Avaliação baseada em critérios como menção de cabeças específicas, inclusão de porcentagens e concisão.

3. Principais Contribuições

1. Pipeline de Tradução: Uma metodologia completa para converter descobertas de circuitos em explicações em linguagem natural.
2. Adaptação de Métricas: Aplicação das métricas ERASER (Suficiência/Compreensibilidade) especificamente para componentes de circuitos de atenção.
3. Comparação Inédita: Primeira comparação entre explicações baseadas em templates e aquelas geradas por LLMs no contexto de interpretabilidade mecânica.
4. Taxonomia de Falhas: Identificação de categorias específicas onde as explicações divergem dos mecanismos reais.

4. Resultados Chave

• Identificação do Circuito: Foram identificadas 6 cabeças de atenção (incluindo Name Mover e S-Inhibition) que accountam por 61,4% da diferença de logit na tarefa IOI, alinhando-se com trabalhos anteriores (Wang et al., 2023).
• Fidelidade (Métricas ERASER):
  • O método baseado em circuitos alcançou 100% de Suficiência (as cabeças citadas explicam totalmente a predição).
  • No entanto, a Compreensibilidade foi de apenas 22%. Isso indica que, ao remover essas cabeças, o modelo ainda funciona parcialmente devido a mecanismos de backup distribuídos.
  • O método superou a linha de base baseada em atenção em 75% no F1-score (36,0% vs 20,6%), provando que pesos de atenção não são necessariamente causais.
• Qualidade da Explicação:
  • As explicações geradas por LLMs superaram as baseadas em templates em 66% na qualidade geral.
  • As explicações de LLMs incluíram porcentagens específicas e contexto, enquanto os templates eram genéricos.
• Análise de Falhas e Confiança:
  • Não há correlação entre a confiança do modelo e a fidelidade da explicação ($r = 0,009$). Modelos confiantes podem depender de mecanismos distribuídos não capturados por explicações concisas.
  • Três categorias de falha foram identificadas: (1) Computação distribuída (nenhum subconjunto pequeno domina), (2) Cabeças citadas ausentes (contribuintes específicos não estão no circuito fixo) e (3) Atividade redundante (cabeças ativas que não aumentam a cobertura causal).

5. Significado e Impacto

• Transparência Realista: O trabalho demonstra que explicações fiéis exigem fundamentação causal além dos padrões de atenção. A baixa compreensibilidade (22%) revela que os transformadores implementam computação redundante, tornando-os robustos à ablação, mas difíceis de explicar de forma concisa e completa.
• Risco de Confiança Excessiva: A falta de correlação entre confiança e fidelidade alerta que os usuários não podem inferir a qualidade de uma explicação apenas pela "confiança" do modelo. Sistemas devem relatar métricas de compreensibilidade junto com as explicações.
• Escalabilidade: A abordagem baseada em LLMs para gerar explicações a partir de dados de circuitos mostra-se superior e mais escalável à medida que a complexidade dos circuitos aumenta, superando a rigidez dos templates.
• Limitações: O estudo foi limitado a uma única tarefa (IOI) e um modelo pequeno (GPT-2 Small), sem avaliação humana direta da utilidade das explicações.

Em suma, o artigo estabelece que é possível gerar explicações em linguagem natural causalmente fundamentadas, mas destaca que a "completude" dessas explicações é limitada pela natureza redundante e distribuída dos mecanismos internos das LLMs.