Resumo Técnico: Agrupando as Maçãs Boas

Declaração do Problema

A abstração causal é um framework rigoroso para interpretabilidade mecânica que avalia se um modelo causal de alto nível ($H$) abstrai com precisão uma rede neural de baixo nível ($L$) sob intervenções contrafactuais. Essa avaliação tipicamente depende da Precisão de Intervenção de Troca (IIA), uma métrica escalar que resume o acordo entre o comportamento do modelo de baixo nível sob intervenção e as previsões do modelo de alto nível.

O artigo identifica uma limitação crítica no estado atual da arte: a IIA é uma estatística resumo global. Embora indique se uma hipótese é geralmente fiel, ela falha em revelar onde no espaço de entrada a hipótese tem sucesso ou falha. Pontuações intermediárias de IIA são particularmente difíceis de interpretar, oferecendo pouca orientação sobre como refinar uma hipótese que está parcialmente correta. Além disso, os fluxos de trabalho existentes são amplamente avaliativos em vez de construtivos; eles podem diagnosticar que uma hipótese é imperfeita, mas não fornecem um mecanismo para melhorá-la ou descobrir variáveis intermediárias ausentes.

Metodologia

Os autores propõem um pipeline de diagnóstico de quatro etapas que desloca a unidade de análise de uma pontuação global para a estrutura do espaço de entrada. A ideia central é particionar o espaço de entrada em regiões "bem interpretadas" (buckets alvo) e regiões "subinterpretadas" com base no comportamento de intervenção de troca par a par.

1. Formalização: Subconjuntos Consistentes com Troca

O método formaliza o conceito de um Par Consistente com Troca: duas entradas $i_1, i_2$ são consistentes se a troca de suas representações internas produzir saídas que correspondem às previsões contrafactuais de alto nível em ambas as direções.

• Grafo de Interchangeabilidade: O espaço de entrada é modelado como um grafo onde os vértices são entradas e as arestas conectam pares consistentes com troca.
• Buckets Alvo: Um subconjunto de entradas é considerado um "bucket alvo" se formar um clique (ou um $\gamma$-quasi-clique de alta densidade) neste grafo. Dentro desses buckets, a abstração é quase perfeita; entre os buckets, ela falha.

2. O Pipeline de Diagnóstico de Quatro Etapas

Os autores instanciam este framework em uma receita prática:

1. Especificar Tarefa e Espaço de Entrada: Definir uma tarefa onde o modelo de baixo nível $L$ desempenha de forma confiável. A análise é restrita ao subconjunto de previsões corretas ($I_{correct}$) para isolar falhas de interpretabilidade de falhas de tarefa.
2. Encontrar um Alinhamento Candidato: Identificar um alinhamento candidato $\Pi$ entre uma variável de alto nível e uma característica de baixo nível usando métodos padrão (por exemplo, Busca de Alinhamento Distribuído (DAS), patching de vetor completo). Esta etapa frequentemente produz pontuações de IIA intermediárias que motivam um diagnóstico mais aprofundado.
3. Agrupar o Espaço de Entrada: Construir o grafo de interchangeabilidade sobre $I_{correct}$. Buscar quasi-cliques densos (buckets alvo) onde a abstração se mantém. O restante do espaço forma o "outro bucket". Esta etapa localiza modos de falha específicos.
4. Generalizar e Caracterizar: Treinar um classificador para prever a membresia do bucket para entradas não vistas. O classificador usa características rotuladas manualmente ou características internas do modelo (por exemplo, ativações de Autoencoder Esparso (SAE)) para determinar se a partição descoberta reflete uma fronteira estrutural estável em vez de um artefato da amostra finita.

Contribuições Principais

• Mudança Diagnóstica: O artigo move a abstração causal de uma avaliação puramente global para uma ferramenta diagnóstica que revela onde uma interpretação funciona e onde ela falha.
• Refinamento Construtivo: Ao analisar a estrutura de regiões bem interpretadas versus subinterpretadas, o método fornece heurísticas para melhorar interpretações. Ele pode identificar distinções ausentes em uma hipótese de alto nível, descobrir variáveis intermediárias não modeladas e combinar interpretações parciais.
• Descoberta Recursiva de Hipóteses: O pipeline suporta um processo iterativo onde uma hipótese grosseira é refinada em um modelo causal mais granular aplicando recursivamente o procedimento de agrupamento aos modos de falha recém-descobertos.

Resultados Experimentais

Os autores validam o método em três cenários de complexidade crescente:

1. Tarefa Lógica de Brinquedo:

   • Configuração: Um modelo GPT-2-small ajustado finamente resolve uma tarefa lógica $o_5 = (o_1 \land o_2) \lor o_3$.
   • Resultado: Começando com uma hipótese contendo apenas a variável de saída $o_5$, o pipeline identificou um alinhamento com IIA intermediária. O agrupamento revelou que o alinhamento era fiel apenas quando $o_1 \land o_2$ era falso.
   • Refinamento: Ao promover a variável intermediária ausente $o_4 = o_1 \land o_2$ e reexecutar o diagnóstico, os autores recuperaram recursivamente a hierarquia causal completa de alto nível ($o_1, o_2, o_3 \to o_4 \to o_5$), demonstrando que o modelo usa a fatoração pretendida em vez de uma alternativa extensionalmente equivalente.

2. Tarefa de Ligação de Entidades:

   • Configuração: Usando Gemma-2-2B-Instruct, a tarefa envolve recuperar entidades de grupos baseados em um modelo a partir de uma posição de grupo consultada ($q_{group}$).
   • Resultado: Uma hipótese posicional mostrou uma curva de alinhamento em forma de U (alta fidelidade nas bordas da sequência, baixa no meio). O agrupamento isolou automaticamente essas regiões sem inspeção manual.
   • Generalização: Classificadores treinados em características internas de SAE generalizaram com sucesso essa fronteira para entradas não vistas, alcançando 98% de IIA no bucket alvo, confirmando que a distinção está codificada nas representações do modelo.

3. Recordação Fática Entrelaçada (Benchmark RAVEL):

   • Configuração: Isolar o atributo LANGUAGE de atributos entrelaçados (por exemplo, COUNTRY, TIMEZONE) no Llama-3.1-8B usando DAS Multi-tarefa (MDAS).
   • Resultado: Apesar de o MDAS ser projetado para desentrelaçamento, a IIA global foi baixa (14,3%). O agrupamento revelou que o subespaço aprendido não era uma abstração geral de "idioma", mas sim colapsou o espaço de entrada em clusters grosseiros específicos de idioma (por exemplo, buckets de inglês e espanhol com alta IIA, mas baixa IIA entre idiomas).
   • Insight: Isso expôs uma incompatibilidade estrutural onde a representação preservava a estrutura dentro do idioma, mas falhava na interchangeabilidade entre idiomas.

Significado e Alegações

O artigo afirma que particionar o espaço de entrada é um passo crucial em direção a uma interpretabilidade mecânica mais precisa, construtiva e escalável.

• Da Avaliação para a Construção: O método transforma abstrações "imperfeitas" em objetos diagnósticos acionáveis, permitindo que os pesquisadores passem da avaliação post-hoc para a descoberta construtiva de hipóteses de alto nível.
• Escalabilidade: A abordagem mostrou-se amplamente útil em diferentes tamanhos de modelo (ajustados finamente e pré-treinados) e métodos de alinhamento (DAS, MDAS, patching).
• Limitações: Os autores notam modestamente que o método depende de uma construção prévia de tarefa e de uma abstração candidata (é uma busca estruturada por programas, não uma interpretação automática sem restrições) e atualmente foca em hipóteses de variável única. Eles sugerem que trabalhos futuros devem abordar interações de múltiplas variáveis e espaços de entrada maiores.

O artigo conclui que, ao "agrupar as maçãs boas", os pesquisadores podem identificar as condições específicas sob as quais as abstrações causais se mantêm, transformando assim falhas de abstração em evidências para refinar e descobrir os mecanismos subjacentes das redes neurais.