Resumo Técnico: "Everything, Everywhere, All at Once: Is Mechanistic Interpretability Identifiable?"

Declaração do Problema

À medida que os sistemas de IA são implantados em aplicações de alto risco, garantir sua interpretabilidade torna-se crítico. A Interpretabilidade Mecanística (MI) visa a engenharia reversa de redes neurais para extrair algoritmos compreensíveis por humanos (abstrações computacionais) incorporados em suas estruturas. Uma abstração computacional consiste em dois componentes: o quê (o algoritmo explicativo) e o onde (o subgrafo ou circuito específico dentro da rede onde este algoritmo é implementado).

Embora os métodos de MI frequentemente operem sob uma suposição tácita de unicidade explicativa — a crença de que existe uma explicação única e correta para o comportamento de um modelo — este artigo questiona sistematicamente essa premissa. Utilizando uma analogia com a identificabilidade na estatística (onde parâmetros são inferidos de forma única a partir de dados sob suposições específicas), os autores perguntam: Sob os critérios estabelecidos pela MI, a explicação para um comportamento fixo é garantida como sendo única?

O artigo investiga duas estratégias primárias para gerar explicações de MI:

1. Onde-então-o-quê (Where-then-what): Detectar um subconjunto da rede (um circuito) que replica o comportamento do modelo e, então, derivar a interpretação de seus componentes.
2. O-quê-então-onde (What-then-where): Partir de algoritmos explicativos candidatos e buscar subespaços de ativação na rede onde esses algoritmos estejam causalmente alinhados.

O problema central é se essas estratégias, sob seus respectivos critérios de validade (erro de circuito e alinhamento causal), produzem uma explicação única ou se múltiplas explicações incompatíveis podem satisfazer os mesmos critérios.

Metodologia

Os autores realizam um teste de estresse da identificabilidade da MI usando um ambiente controlado e de pequena escala que permite a enumeração exaustiva de explicações candidatas, um feito impossível em modelos de larga escala.

Configuração Experimental

• Tarefas: Treinar Perceptrons Multicamadas (MLPs) para implementar funções Booleanas, especificamente a função XOR e combinações de portas lógicas.
• Arquitetura: MLPs pequenas (ex: tamanho de entrada 2, camadas ocultas de tamanho $k$, saída tamanho $n$) treinadas em entradas binárias com ruído Gaussiano adicionado até atingir um limiar de perda baixo.
• Busca Exaustiva:
  • Para "Onde-então-o-quê": Os autores enumeram todos os subgrafos (circuitos) possíveis da rede. Eles testam cada circuito em dados de validação para identificar "circuitos perfeitos" (erro de circuito zero). Para cada circuito perfeito, eles buscam recursivamente por todos os mapeamentos válidos (interpretações) de ativações de neurônios para portas lógicas (AND, OR, NOT) que satisfaçam a consistência (o mapeamento comuta com a computação).
  • Para "O-quê-então-onde": Os autores enumeram algoritmos Booleanos candidatos (árvores de análise/parse trees) que implementam a função alvo. Eles então buscam por todos os subconjuntos de neurônios e mapeamentos que alcancem um alinhamento causal perfeito, medido pela Precisão de Intercâmbio de Intervenção (IIA). Uma IIA de 1 indica que intervenções contrafatuais no algoritmo produzem efeitos idênticos nos estados internos da rede.

Definições de Identificabilidade

O artigo define uma explicação como não-identificável se os critérios atuais de MI falharem em discriminar entre duas explicações incompatíveis. A incompatibilidade surge se:

1. Duas explicações postulam algoritmos diferentes para o mesmo comportamento.
2. O mesmo algoritmo está incorporado em subespaços diferentes da rede.

Principais Resultados

Os experimentos revelam evidências esmagadoras de não-identificabilidade em todas as etapas do processo de MI:

1. Circuitos Não Únicos (Onde): Múltiplos circuitos distintos podem replicar perfeitamente o comportamento do modelo (erro de circuito zero). No exemplo do XOR, 85 circuitos únicos com precisão perfeita foram encontrados.
2. Interpretações Não Únicas (O quê): Para um único circuito válido, existem múltiplas interpretações válidas (mapeamentos de neurônios para portas lógicas). No exemplo do XOR, uma média de 535,8 interpretações foi encontrada por circuito.
3. Algoritmos Não Únicos (O quê): Vários algoritmos diferentes podem estar perfeitamente alinhados causalmente com a computação neural (IIA = 1). Mesmo testando apenas dois algoritmos candidatos para XOR, ambos foram encontrados com implementações perfeitas.
4. Localizações Não Únicas (Onde): Para um único algoritmo causalmente alinhado, múltiplos subespaços distintos da rede podem estar igualmente alinhados (IIA = 1). No exemplo do XOR, 159 mapeamentos mínimos perfeitos foram identificados para apenas dois algoritmos candidatos.

Achados Quantitativos:

• À medida que o tamanho da rede ($k$) aumenta, o número de abstrações computacionais válidas cresce exponencialmente (a mediana aumentando de 38 para 910.000 na abordagem de primeiro o circuito).
• Menos de 2% das redes treinadas continham exatamente um mapeamento mínimo válido, e nenhuma rede continha exatamente uma interpretação de circuito.
• O aumento da complexidade da tarefa (treinar em múltiplas portas lógicas simultaneamente) reduziu o número de interpretações, mas não eliminou a não-identificabilidade.

Principais Contribuições

1. Formalização da Identificabilidade na MI: O artigo introduz o conceito de "identificabilidade de explicação" ao campo da interpretabilidade mecanística, adaptando um conceito estatístico para definir a unicidade de explicações sob critérios de validade fixos.
2. Teste de Estresse Sistemático: Ao utilizar modelos de pequena escala para permitir a enumeração exaustiva, os autores fornecem a primeira demonstração empírica rigorosa de que os critérios atuais de MI (erro de circuito e IIA) não garantem explicações únicas.
3. Categorização de Estratégias: O trabalho delineia e avalia claramente as estratégias "onde-então-o-quê" e "o-quê-então-onde", mostrando que ambas sofrem de problemas de não-identificabilidade.
4. Evidência Empírica de Incompatibilidade: O estudo demonstra que um único modelo treinado pode suportar centenas de milhares de abstrações computacionais mutuamente incompatíveis que satisfazem todos os critérios padrão para uma "boa" explicação.

Significância e Alegações

Os autores afirmam que este trabalho visa contribuir construtivamente para o esforço contínuo de formalizar as expectativas para explicações de IA. O artigo não alega que a MI seja inútil, mas sim desafia a "intuição de unicidade" frequentemente assumida na área.

• Postura Pragmática: Os autores sugerem que, se o objetivo é a predição ou manipulabilidade, a unicidade pode não ser necessária, e poder-se-ia adotar uma postura pragmática aceitando múltiplas explicações válidas.
• Postura Estrita: Se a unicidade é considerada essencial para fornecer um genuíno "sentido de compreensão", o artigo argumenta que os critérios atuais são insuficientes e que critérios menos permissivos (ou o framework de "interpretabilidade interna" que exige múltiplas validações complementares) podem ser necessários.
• Direção Futura: O trabalho destaca a necessidade de definições rigorosas do que constitui uma explicação em IA, indo além da suposição de que existe um único mecanismo "verdadeiro" que é facilmente descoberto via métodos atuais.

O artigo conclui que o cenário atual da Interpretabilidade Mecanística enfrenta um problema fundamental de identificabilidade: sem restrições ou critérios adicionais, não podemos garantir que as explicações que derivamos sejam os mecanismos únicos e corretos que governam o comportamento de um modelo.