Resumo Técnico: Interpretabilidade Mecanística como Estimativa Estatística: Uma Análise de Variância

Declaração do Problema

A Interpretabilidade Mecanística (IM) visa a engenharia reversa de redes neurais profundas através da identificação de "circuitos" — sub-redes funcionais responsáveis por comportamentos específicos do modelo. Esses circuitos são tipicamente descobertos usando a Análise de Mediação Causal (CMA), que envolve intervir no grafo computacional para medir o efeito causal de componentes específicos (nós ou arestas) nos outputs do modelo.

No entanto, a validade científica dessas descobertas é cada vez mais questionada devido à falta de estabilidade. As práticas atuais de IM frequentemente produzem "estimativas de ponto" (resumos estruturais únicos) sem quantificar a incerteza. O artigo argumenta que a descoberta de circuitos não é uma tarefa isolada, mas um problema de estimativa estatística construído sobre a CMA. O problema central identificado é a instabilidade fundamental: o efeito causal de um componente não é uma propriedade fixa, mas uma variável aleatória volátil. Consequentemente, pequenas perturbações nos dados de entrada, hiperparâmetros ou definições de intervenção geram circuitos vastamente diferentes, minando a confiabilidade das descobertas de IM e sua generalização.

Metodologia

Os autores enquadram a descoberta de circuitos como um pipeline a jusante alimentado pela CMA e analisam sua estabilidade através de uma lente estatística, decompondo a instabilidade em duas fontes primárias:

1. Variância (Sensibilidade de Amostragem): Flutuações decorrentes do uso de conjuntos de dados finitos para aproximar as expectativas da população.
2. Robustez (Sensibilidade Metodológica): Sensibilidade à especificação de contrafatuais (estratégias de intervenção) e hiperparâmetros.

O estudo utiliza a seguinte configuração experimental:

• Tarefas: Três tarefas padrão de interpretabilidade: Identificação de Objeto Indireto (IOI), Concordância Sujeito-Verbo (SVA) e Greater-Than.
• Modelos: GPT-2-small, Llama-3.2-1B e Llama-3.2-1B-Instruct.
• Estimadores: O estudo foca na família Edge Attribution Patching (EAP), incluindo CMA exata (onde computacionalmente viável), EAP e EAP-IG (com gradientes integrados para entradas e ativações).
• Métricas de Estabilidade:
  • Estabilidade Estrutural: Medida via índice Jaccard pareado dos conjuntos de arestas descobertos.
  • Estabilidade Funcional: Medida via Erro de Circuito (CE) e divergência KL entre o modelo completo e o circuito isolado.
• Regimes de Perturbação:
  • Reamostragem de Dados: Bootstrap resampling para simular tamanhos de amostra limitados.
  • Mudanças de Distribuição: Uso de meta-datasets e paráfrase de prompts.
  • Definição de Intervenção: Variar a amplitude do ruído na geração de contrafatuais (ruído Gaussiano em embeddings de tokens).
  • Perturbações Metodológicas: Variar funções de agregação (média vs. mediana), tipos de patching e escolha de estimadores.

Contribuições Principais e Resultados

1. Variabilidade Intrínseca dos Scores de CMA

Os autores demonstram que mesmo os scores de CMA exatos exibem alta variabilidade intrínseca. Para uma única aresta, o efeito causal não é constante entre inputs extraídos da mesma distribuição.

• Descoberta: O coeficiente de variação (CV) para scores de arestas exatas é frequentemente próximo de 0,5.
• Implicação: O efeito causal é uma variável aleatória dependente do par específico de entrada-contrafatual, não uma propriedade fixa do componente.

2. Amplificação por Métodos de Aproximação

Métodos de aproximação como EAP e EAP-IG introduzem ruído de estimativa adicional sobre a variância intrínseca.

• Descoberta: Estimadores aproximados frequentemente apresentam um CV > 1, o que significa que o desvio padrão do score excede sua média. Isso resulta em uma baixa relação sinal-ruído, tornando a identificação de circuitos estáveis a partir de amostras finitas estatisticamente precária.

3. Instabilidade do Circuito ao Longo do Pipeline

A instabilidade dos scores das arestas se propaga para a estrutura final do circuito, levando a resultados altamente divergentes sob mudanças menores:

• Reamostragem de Dados: O bootstrap resampling produz a menor consistência estrutural (índice Jaccard médio $\approx$ 0,56 para GPT-2-small) e a maior variabilidade. Circuitos descobertos a partir de dados reamostrados são frequentemente disjuntos estruturalmente e menos fiéis ao modelo original.
• Tamanho do Modelo: A estabilidade degrada significativamente em modelos maiores (Llama-3.2-1B) em comparação ao GPT-2-small, sugerindo que identificar circuitos confiáveis em modelos mais capazes não é uma tarefa trivial.
• Sensibilidade Metodológica: Alterar hiperparâmetros (ex: mudança de agregação de soma para mediana, ou tipo de patching) pode reduzir a similaridade Jaccard para próximo de zero (ex: 0,086), retornando efetivamente um subgrafo disjunto. Diferentes variantes de EAP frequentemente isolam diferentes artefatos da distribuição de alta variância em vez de convergir para um único circuito.
• Sensibilidade de Intervenção: O circuito identificado não é invariante à magnitude da perturbação. Variar a amplitude do ruído na geração de contrafatuais altera o conjunto de componentes identificados como importantes, com regimes críticos (ex: amplitude de ruído $\approx$ 0,2) mostrando o pico de instabilidade.

4. Não-Identificabilidade vs. Instabilidade do Estimador

O artigo distingue entre não-identificabilidade (uma impossibilidade teórica de recuperar um circuito único mesmo com dados infinitos) e instabilidade do estimador (sensibilidade empírica à amostragem finita e aproximação). Embora a alta instabilidade seja consistente com a não-identificabilidade, os autores mostram que a variabilidade observada é grande o suficiente para comprometer as práticas atuais de reporte, independentemente da causa raiz.

Significância e Recomendações

O artigo argumenta que, para a Interpretabilidade Mecanística evoluir para uma ciência rigorosa, ela deve adotar os padrões de inferência estatística usados nas ciências naturais. A prática atual de reportar descobertas de circuitos de ponto único sem estimativas de incerteza é insuficiente.

Melhores Práticas Propostas:

1. Reportar Métricas de Estabilidade: Pesquisadores devem rotineiramente reportar métricas de estabilidade junto aos resultados de descoberta de circuitos. Especificamente, a variância da estrutura do circuito (ex: índice Jaccard médio pareado) e o desempenho (CV do erro de circuito) sob bootstrap resampling ($n \ge 100$).
   • Limiar Sugerido: Um índice Jaccard médio pareado acima de 0,8 sob bootstrap resampling poderia servir como um bar preliminar para reportar um circuito como estável.
2. Quantificar a Incerteza do Estimador: Análises de sensibilidade em relação a hiperparâmetros e métodos de agregação devem ser conduzidas e reportadas. Se um mecanismo só é visível sob hiperparâmetros específicos, essa fragilidade deve ser divulgada.
3. Caracterizar a Sensibilidade da Intervenção: Em vez de depender de uma única intervenção fixa, pesquisadores devem analisar como os circuitos mudam conforme as definições de contrafatuais (ex: amplitude de ruído) variam, para distinguir mecanismos centrais de artefatos localizados.

Conclusão:
Os autores concluem que o campo deve se afastar da busca por um único "circuito verdadeiro". Em vez disso, o trabalho futuro deve visar a caracterização de uma distribuição sobre possíveis circuitos (Descoberta de Circuito Probabilística) e desenvolver objetivos de otimização que penalizem explicitamente a variância, priorizando componentes que servem como mediadores confiáveis através de diversos datasets e perturbações. Este enquadramento estatístico é apresentado como um passo necessário para construir sistemas de IA confiáveis e garantir que as ferramentas de interpretabilidade forneçam uma base sólida para decisões de segurança e políticas.