Tracking Equivalent Mechanistic Interpretations Across Neural Networks

Título: Rastreando Interpretações Mecanísticas Equivalentes Através de Redes Neurais

Autores: Alan Sun (Carnegie Mellon University) e Mariya Toneva (Max Planck Institute for Software Systems)

1. Problema e Motivação

A Interpretabilidade Mecanística (MI) visa descobrir processos algorítmicos concisos que expliquem como um modelo de rede neural toma decisões. No entanto, a MI enfrenta dois desafios fundamentais que impedem sua escalabilidade e generalização:

1. Falta de uma noção precisa de interpretação válida: Não há um consenso rigoroso sobre o que constitui uma "interpretação" correta, especialmente considerando que existe uma relação "muitos-para-muitos" entre algoritmos de alto nível e circuitos de baixo nível (implementações).
2. Processo Ad Hoc: A geração de interpretações é frequentemente manual e não sistemática. Métodos top-down (propostos algoritmos e alinhados) são difíceis de formular para tarefas complexas, enquanto métodos bottom-up (descoberta de circuitos e atribuição de significado) exigem esforço manual massivo e sofrem de ambiguidade na atribuição de significados.

O artigo propõe resolver um subproblema relaxado, mas crucial: a Equivalência Interpretativa. O objetivo é determinar se dois modelos diferentes implementam o mesmo algoritmo de alto nível (interpretação) sem precisar descrever explicitamente qual é esse algoritmo.

2. Metodologia e Abordagem Teórica

A abordagem central do artigo baseia-se em um princípio fundamental: duas interpretações são equivalentes se e somente se suas implementações (conjuntos de modelos que realizam essa interpretação) forem equivalentes.

Definições Formais

• Circuitos: Subconjuntos do grafo computacional do modelo responsáveis pelo comportamento funcional.
• Interpretações: Abstrações causais de circuitos que capturam o comportamento funcional com fidelidade $\eta$.
• Implementações: O conjunto de todas as configurações de pesos (circuitos) que, sob um alinhamento causal específico, abstraem para a mesma interpretação.
• Equivalência Interpretativa: Medida pela distância de Hausdorff entre os conjuntos de implementações de duas interpretações. Se os conjuntos de implementações se sobrepõem ou são próximos, as interpretações são equivalentes.
• Compressão Interpretativa: O "diâmetro" do conjunto de implementações de uma única interpretação. Alta compressão significa que muitas configurações de pesos diferentes realizam a mesma lógica.

O Algoritmo: Congruity (Congruência)

Para estimar a equivalência sem enumerar todas as implementações (o que é computacionalmente inviável), os autores propõem o algoritmo Congruity:

1. Geração de Implementações via Intervenção: Em vez de treinar novos modelos, o algoritmo utiliza intervenções causais (como patching de ativação ou ablação de componentes não essenciais) para gerar variantes de um modelo que mantêm a mesma interpretação subjacente.
2. Medição de Similaridade de Representação: O algoritmo compara os espaços de representação interna (atividades ocultas) das implementações geradas.
3. Lógica de Teste:
   • Se os modelos $h_1$ e $h_2$ compartilham a mesma interpretação, suas implementações geradas por intervenções devem ser indistinguíveis em termos de similaridade de representação linear.
   • Especificamente, a distância de similaridade entre uma implementação de $h_1$ e uma implementação de $h_2$ deve ser estatisticamente similar à distância entre duas implementações de $h_1$ (ou $h_2$).

O algoritmo calcula uma pontuação de Congruity baseada na probabilidade de que a similaridade intra-grupo seja maior que a inter-grupo.

3. Resultados Experimentais

Os autores validaram a metodologia em três cenários principais:

A. Calibração em Tarefa Sintética (Detecção de Permutação)

• Setup: Criaram 6 interpretações distintas (baseadas em ordenação ou contagem) para a tarefa de detectar permutações, implementadas via linguagem RASP e compiladas em Transformers. Para cada interpretação, geraram 100 variantes de modelos.
• Resultado: O algoritmo de Congruity mostrou alta precisão. Modelos com a mesma interpretação apresentaram alta congruência (diagonal da matriz), enquanto modelos com interpretações diferentes apresentaram baixa congruência.
• Insight: A métrica conseguiu distinguir não apenas interpretações idênticas, mas também agrupar interpretações semanticamente similares (ex: variações de algoritmos de ordenação), sugerindo que a métrica pode capturar graus de similaridade interpretativa.

B. Redução para Modelos Simples (Identificação de Objeto Indireto - IOI)

• Setup: Analisaram modelos GPT-2 e Pythia em várias escalas (de 85M a 2.9B parâmetros) na tarefa de identificar o objeto indireto em frases.
• Resultado:
  • Modelos da mesma família (ex: Pythia-160M e Pythia-2.8B) mostraram alta congruência, indicando que compartilham a mesma interpretação, apesar das diferenças de tamanho.
  • Modelos de famílias diferentes (Pythia vs. GPT-2) mostraram baixa congruência, confirmando que utilizam circuitos/interpretações distintos.
• Implicação: Permite reduzir a análise de modelos grandes para modelos menores, economizando recursos computacionais de interpretação.

C. Redução para Tarefas Simples (Predição de Próximo Token vs. POS)

• Setup: Investigaram se a predição de certos tokens em GPT-2 é interpretativamente equivalente à tarefa de identificação de classes gramaticais (POS).
• Resultado: Tokens puramente sintáticos (como pontuação final e parênteses fechados) apresentaram alta congruência com a tarefa de POS. Tokens semânticos ou dependentes de contexto (artigos, preposições) não mostraram essa equivalência.
• Implicação: A técnica pode decompor tarefas complexas (predição de token) em sub-tarefas interpretáveis, identificando quais partes do processo são puramente sintáticas.

4. Contribuições Principais

1. Definição de Equivalência Interpretativa: Formalização teórica que define a equivalência de interpretações através da equivalência de seus conjuntos de implementações, contornando o problema da não identificabilidade direta.
2. Algoritmo de Estimativa (Congruity): Um método prático para estimar essa equivalência usando similaridade de representações e intervenções causais, sem necessidade de interpretação explícita prévia.
3. Fundamentação Teórica: Prova de condições necessárias e suficientes que relacionam similaridade de representações, circuitos e interpretações. O trabalho estabelece limites superiores e inferiores para a equivalência interpretativa baseada na similaridade de representações.
4. Aplicação Prática: Demonstração de como a equivalência interpretativa pode ser usada para:
   • Redução de Escala: Interpretar modelos grandes através de modelos pequenos equivalentes.
   • Decomposição de Tarefas: Quebrar tarefas complexas em sub-tarefas interpretáveis.

5. Significado e Impacto

Este trabalho representa um avanço significativo na Interpretabilidade Mecanística ao oferecer uma ferramenta de verificação rigorosa. Em vez de depender de intuição humana para validar se um circuito descoberto é "correto", o framework permite testar estatisticamente se dois modelos (ou um modelo e uma hipótese) compartilham a mesma lógica interna.

• Escalabilidade: Permite que a interpretação de modelos massivos seja viável através da redução para modelos menores equivalentes.
• Automação: Abre caminho para métodos automatizados de descoberta de interpretações, onde a equivalência pode ser verificada antes mesmo de se tentar nomear o algoritmo.
• Segurança de IA: Ao fornecer uma maneira de verificar se modelos diferentes estão implementando o mesmo comportamento (ou comportamentos perigosos) sem precisar entender completamente a "caixa preta", o framework contribui para a avaliação de segurança e alinhamento de modelos.

Em resumo, o artigo muda o foco da "descoberta de uma única interpretação correta" para a "verificação de equivalência entre famílias de implementações", oferecendo uma base matemática sólida para comparar e validar a mecânica interna de redes neurais.