💬 NLP

Position: Mechanistic Interpretability Must Disclose Identification Assumptions for Causal Claims

Este artigo argumenta que a pesquisa em interpretabilidade mecanicista frequentemente confunde métricas de validação com identificação causal ao não declarar explicitamente as premissas necessárias, e propõe uma nova norma de divulgação que exige que os autores articulem claramente suas estratégias de identificação e a robustez de suas alegações causais.

Autores originais: Zezheng Lin, Fengming Liu

Publicado 2026-05-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zezheng Lin, Fengming Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando descobrir por que uma máquina complexa (uma IA) faz o que faz. Você suspeita que uma engrenagem específica (um "circuito" ou "recurso") é a causa de uma ação específica. Você remove essa engrenagem e a máquina para de funcionar. Você declara: "Aha! Aquela engrenagem foi a causa!"

Este artigo argumenta que, no campo da "interpretabilidade mecânica" da IA, os pesquisadores estão fazendo essas declarações com muita frequência, sem seguir as regras da evidência. Eles afirmam ter encontrado a causa, mas não explicam por que seu experimento prova que é a causa e não apenas uma coincidência.

Aqui está a análise do argumento do artigo usando analogias simples:

1. O Problema Central: "Validação" não é "Identificação"

O artigo faz uma distinção crucial entre duas coisas:

Validação (O "O quê"): "Eu removi a engrenagem e a máquina parou." Isso é um fato. É um teste bem-sucedido.
Identificação (O "Por quê"): "Eu sei com certeza que apenas aquela engrenagem fez a máquina parar, e não alguma engrenagem de reserva oculta ou um efeito colateral da minha remoção."

A Analogia:
Imagine que você é um médico. Você dá um comprimido a um paciente e a febre dele diminui.

Validação: "A febre diminuiu após o comprimido." (Isso é verdade).
Identificação: "O comprimido causou a diminuição da febre." (Isso requer suposições).

Talvez a febre tenha diminuído porque era o horário do dia em que a febre naturalmente cede. Talvez o paciente tenha bebido água ao mesmo tempo. Talvez o comprimido não tenha funcionado, mas a febre estava passando de qualquer maneira.

Na pesquisa de IA, os artigos frequentemente dizem: "Mudamos esta parte da IA e o comportamento mudou, então esta parte é a causa." O artigo argumenta que eles estão pulando a etapa de provar que nenhuma outra explicação poderia ter causado essa mudança. Eles estão tratando a "febre que diminuiu" (validação) como prova de que "o comprimido funcionou" (identificação), sem verificar se o paciente tinha um ciclo natural de febre.

2. A Armadilha das "Suposições Ocultas"

Toda vez que um pesquisador afirma ter encontrado uma causa, ele está apoiado em um conjunto de suposições invisíveis. O artigo diz que essas suposições estão atualmente ocultas.

A Analogia:
Imagine que um mágico afirma: "Fiz o coelho desaparecer porque balancei minha varinha."

A Suposição Oculta: "O coelho não pulou pela porta dos fundos."
A Suposição Oculta: "O coelho não já estava desaparecido antes de eu balancear a varinha."

Nos artigos de IA, os "truques de mágica" são coisas como:

Patch de Ativação (Activation Patching): "Substituímos esta parte do cérebro da IA. O comportamento mudou."
- Suposição Oculta: "Não acordamos acidentalmente um sistema de reserva adormecido que também faz esse trabalho."
Autoencoders Esparsos (SAEs): "Encontramos um 'recurso' específico na IA que representa o conceito de 'honestidade'."
- Suposição Oculta: "Este recurso é um bloco de construção único e independente, e não apenas uma mistura confusa de outras coisas que acidentalmente se parece com 'honestidade'."

O artigo audita 10 artigos principais (e verifica mais 30) e descobre que zero deles possui uma seção dedicada onde listam essas suposições ocultas. Eles apenas mostram o truque de mágica (o resultado) e dizem "Olhem, funciona!" sem admitir quais regras estão assumindo que o universo segue.

3. O Erro de "Substituição"

O artigo chama o hábito atual de "Substituição de Métrica de Validação".

A Analogia:
Imagine que um mecânico de carros diz: "Consertei seu motor porque o carro ligou."

O Erro: O mecânico está substituindo o resultado (o carro ligou) pela prova (sei exatamente qual parte consertei e que nada mais poderia ter feito o carro ligar).
A Realidade: O carro pode ter ligado porque a bateria recarregou sozinha, ou o mecânico bateu na chave, ou o motor estava bom o tempo todo.

Nos artigos de IA, os pesquisadores relatam métricas como "fidelidade" (a explicação corresponde ao modelo?) ou "completude" (encontramos todas as partes?). O artigo argumenta que essas são apenas momentos de "o carro ligou". Elas são boas de ter, mas não são prova de causalidade, a menos que você declare as suposições que as tornam prova.

4. A Solução Proposta: O "Protocolo de Divulgação"

O autor sugere que o campo deve adotar uma regra da Econometria (o estudo de dados econômicos). Na economia, se você afirma "X causa Y", você deve declarar explicitamente:

O que você está afirmando: "Afirmamos que X causa Y."
A Estratégia: "Estamos usando o método Z para provar isso."
As Suposições: "Assumimos que [Condição A] e [Condição B] são verdadeiras."
O Teste de Estresse: "Se [Condição A] for falsa, nossa conclusão desmorona. Aqui está como testamos se é verdade."

A Analogia:
Em vez de apenas dizer "O comprimido funcionou", o médico deve escrever um relatório:

"Afirmamos que o comprimido reduziu a febre."
"Assumimos que o paciente não tomou outros medicamentos."
"Assumimos que a febre não estava naturalmente acabando."
"Se o paciente tivesse tomado outros medicamentos, nossa conclusão estaria errada. Aqui estão os dados mostrando que ele não tomou."

5. O Que a Auditoria Encontrou

O autor analisou 10 artigos principais no campo (cobrindo diferentes métodos como descoberta de circuitos e autoencoders) e depois verificou mais 30.

Resultado: 0 em 30 artigos tinham uma seção dedicada listando suas suposições de identificação.
Resultado: A maioria dos artigos (cerca de 19 a 26 dos 30, dependendo de quão rigoroso você seja) usou "métricas de validação" (como "a IA comportou-se como esperado") como substituto para provar que suas suposições eram verdadeiras.
Resultado: Mesmo os artigos mais cuidadosos, que encontraram erros no trabalho de outros, não listaram explicitamente as suposições que estavam usando para encontrar esses erros.

Resumo

O artigo é um chamado por honestidade e clareza. Ele não diz que a pesquisa de IA está errada; diz que a pesquisa de IA está incompleta.

Atualmente, os pesquisadores estão dizendo: "Olhem, encontramos a causa!"
O artigo diz: "Por favor, parem e nos digam quais regras vocês estão assumindo para fazer essa afirmação. Se vocês não nos disserem as regras, não sabemos se a vossa 'causa' é real ou apenas um palpite afortunado."

O artigo pede que o campo avance de "Olhem o quão legal é nosso truque de mágica" para "Aqui está exatamente como o truque funciona, e aqui está por que sabemos que não é um truque."

Resumo Técnico: A Interpretabilidade Mecanística Deve Divulgar Pressupostos de Identificação para Afirmativas Causais

Declaração do Problema
A pesquisa em interpretabilidade mecânica (IM) emprega cada vez mais vocabulário causal — como "circuitos", "mediadores", "abstração causal" e "monossemânticidade" — para descrever comportamentos de modelos. No entanto, o artigo argumenta que essas afirmações causais frequentemente carecem de pressupostos de identificação explícitos. Na inferência causal, uma afirmação é válida apenas se as condições sob as quais a quantidade causal é identificada a partir de dados observáveis forem declaradas. O artigo identifica um padrão recorrente em que pesquisadores substituem métricas de validação (por exemplo, fidelidade, completude, monossemânticidade, alinhamento ou efeitos de ablação) por pressupostos de identificação. Embora essas métricas demonstrem que uma descrição é consistente com o modelo ou os dados, elas não estabelecem que o mecanismo proposto é a causa e não um correlato. O artigo postula que, sem declarar os pressupostos sob os quais uma afirmação é identificada, a afirmação causal permanece não identificada, independentemente de altas pontuações de validação.

Metodologia
O artigo emprega uma auditoria intencional da literatura de IM para documentar a ausência de divulgação de pressupostos de identificação.

Auditoria Primária (n=10): Uma auditoria com um único codificador de dez artigos influentes abrangendo quatro vertentes metodológicas: descoberta de circuitos, autoencoders esparsos (SAE), abstração causal e sondagem (probing). A amostra inclui trabalhos de NeurIPS, ICLR, CLeaR, BlackboxNLP e o Thread de Circuitos de Transformers da Anthropic.
Auditoria de Extensão (n=30): Uma auditoria com dois codificadores humanos em um conjunto expandido de 30 artigos para testar a robustez e estimar a confiabilidade interavaliador.
Dimensões de Codificação:
- Dim A: Tipo de afirmação no resumo (causal explícita com/sem base de identificação, causal implícita, ou apenas associação).
- Dim B: Presença de uma seção dedicada "Pressupostos de Identificação" no texto principal.
- Dim C: Presença de testes de falseabilidade ou análises de sensibilidade.
- Dim D: "Substituição por métrica de validação" (relatar uma métrica de validação como suporte causal sem separá-la dos pressupostos de identificação).
Validação: O estudo inclui uma re-codificação por um segundo codificador humano de um subconjunto para medir a concordância ( $\kappa$ ) e uma auditoria com um único avaliador em um subconjunto estratificado para verificar achados estruturais.

Principais Contribuições

Distinção Conceitual: O artigo distingue formalmente entre validação (respondendo a "O que mudou quando intervimos?") e identificação (respondendo a "Por que essa mudança identifica este mecanismo?"). Argumenta-se que métricas de validação são necessárias, mas insuficientes para afirmações causais.
Documentação da Lacuna: A auditoria revela uma falta sistêmica de divulgação de pressupostos. Entre os artigos amostrados, nenhum único artigo continha uma seção dedicada a pressupostos de identificação. A maioria dos artigos fez afirmações causais implicitamente e substituiu métricas de validação por declarações de identificação.
Enumeração de Pressupostos Específicos por Método: O artigo enumera os pressupostos de identificação específicos, frequentemente implícitos, necessários para métodos comuns de IM:
- Patching de Ativação: Assume completude do circuito (componentes-alvo accountam por todos os caminhos) e exclusividade do caminho (patching não ativa circuitos paralelos dormentes).
- Autoencoders Esparsos: Assume recuperabilidade da base do dicionário (características correspondem a uma base verdadeira, não a uma rotação arbitrária) e atomicidade/monossemânticidade das características.
- Abstração Causal: Assume fidelidade de alinhamento e validade de otimização.
- Sondagem (Probing): Assume localidade causal e completude da intervenção.
Protocolo de Divulgação Proposto: O artigo propõe uma norma de cinco etapas para artigos de IM que fazem afirmações causais:
- Declarar no resumo se a afirmação é causal ou associativa.
- Nomear a estratégia de identificação.
- Incluir uma seção numerada "Pressupostos de Identificação" no texto principal.
- Fornecer um teste de falseabilidade, análise de sensibilidade ou declaração clara de contra-evidência para pelo menos um pressuposto central.
- Discutir como as conclusões mudam se pressupostos-chave falharem.

Resultados

Ausência de Seções Dedicadas: Em ambas as auditorias n=10 e n=30, 0/30 artigos continham uma seção dedicada a pressupostos de identificação sob qualquer regra de codificação ou codificador.
Prevalência de Substituição: Na auditoria n=30, 19/30 artigos (sob adjudicação estrita) ou 26/30 (sob regras permissivas) foram codificados como substituindo uma métrica de validação por uma declaração de identificação.
Heterogeneidade por Vertente: O padrão de substituição foi mais concentrado nas vertentes de Autoencoders Esparsos e Abstração Causal (6/6 e 3/3 artigos, respectivamente, na amostra n=30 mostraram substituição total). Patching de ativação mostrou uma taxa menor de substituição, possivelmente devido à literatura existente sobre "ilusão e modos de falha" (por exemplo, Makelov et al., 2024) fornecendo proteção parcial.
Confiabilidade Interavaliador: A concordância sobre a presença de uma seção dedicada (Dim B) foi baixa ( $\kappa = 0,26$ ), indicando que os artigos atuais não fornecem declarações de pressupostos estáveis e facilmente identificáveis. No entanto, o achado estrutural de zero seções dedicadas foi robusto entre todos os codificadores e regras.

Significado e Afirmações
O artigo afirma que a prática atual na interpretabilidade mecânica trata métricas de validação como um proxy para identificação causal, levando a "ilusões de interpretabilidade" onde altas pontuações coexistem com identificação falha (como demonstrado por trabalhos anteriores como Makelov et al., 2024, e Leask et al., 2025).

Não é uma Imposição de Framework: O artigo não importa frameworks econométricos específicos (por exemplo, variáveis instrumentais, do-cálculo) para a IM. Em vez disso, importa a meta-prática da inferência causal: a exigência de que afirmações causais sejam avaliadas por meio de pressupostos declarados.
Necessidade Lógica: Os autores argumentam que a divulgação é um requisito lógico de qualquer afirmação causal, não meramente uma escolha estilística. Sem pressupostos declarados, a comunidade científica não pode avaliar se um resultado reflete uma estrutura causal genuína ou um artefato de condições não declaradas.
Padrão Comunitário: A auditoria serve como evidência de que a lacuna é ampla o suficiente em grandes veículos para justificar um padrão comunitário. O protocolo proposto é projetado para ser generativo e não restritivo, permitindo crítica cumulativa ao tornar os pressupostos explícitos e falseáveis.

O artigo conclui que, embora a amostra da auditoria seja pequena e intencional (não uma estimativa de prevalência para toda a literatura), a consistência do padrão entre vertentes e anos sugere que o campo ainda não adotou a prática básica de divulgação de pressupostos, apesar da crescente dependência de linguagem causal.