Resumo Técnico: Descoberta de Circuitos Orientada por Dados para Interpretabilidade de Modelos de Linguagem

Declaração do Problema

A interpretabilidade mecânica (IM) visa reverter a engenharia dos mecanismos internos de Modelos de Linguagem de Grande Porte (LLMs) localizando e interpretando "circuitos"—subgrafos esparsos do grafo de computação do modelo responsáveis por comportamentos específicos. O paradigma predominante na descoberta de circuitos é orientado a hipóteses: pesquisadores definem uma tarefa, constroem um conjunto de dados representativo e aplicam um algoritmo para descobrir um único circuito destinado a explicar o comportamento do modelo nessa tarefa.

Este fluxo de trabalho baseia-se em duas suposições implícitas:

1. Suposição de Circuito Único: O modelo implementa uma dada tarefa por meio de um único mecanismo computacional coerente.
2. Suposição de Adequação do Conjunto de Dados: O conjunto de dados específico utilizado para a descoberta representa adequadamente o escopo completo da tarefa conforme entendido pelos humanos.

Os autores hipotetizam que essas suposições são falhas. Eles postulam que os métodos existentes podem não descobrir circuitos de tarefas gerais, mas sim circuitos específicos do conjunto de dados que podem inadvertidamente misturar mecanismos distintos em uma única explicação. Além disso, questionam se um único circuito pode realmente accounts para todas as instâncias de uma tarefa, ou se o modelo emprega múltiplos mecanismos distintos para o que os humanos categorizam como uma única tarefa.

Metodologia

1. Avaliação Sistemática de Métodos Orientados a Hipóteses

Os autores testam rigorosamente a validade do paradigma existente em quatro tarefas estabelecidas: Identificação de Objeto Indireto (IOI), Ligação de Entidades (EB), Adição Aritmética e Conclusão de Sequência. Eles avaliam essas tarefas em três modelos (GPT-2 Small, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct) usando métodos padrão de descoberta (EAP-IG, EAP, E-ACT).

Seu desenho experimental envolve duas investigações principais:

• Fidelidade entre Conjuntos de Dados: Eles constroem múltiplas variantes de conjunto de dados para cada tarefa que preservam a semântica da tarefa, mas variam em características de superfície (complexidade, sintaxe, domínio). Eles descobrem um circuito em uma variante e testam sua fidelidade em outras.
• Descoberta de Tarefas Mistas: Eles constroem conjuntos de dados misturando exemplos de duas tarefas distintas (por exemplo, aritmética e ligação de entidades) e observam se os métodos orientados a hipóteses retornam um único circuito que é fiel a ambas, indicando potencialmente uma mistura de mecanismos.

2. Framework Proposto: Descoberta de Circuitos Orientada por Dados (DCD)

Motivados pelas descobertas de que os métodos orientados a hipóteses falham em generalizar e podem misturar mecanismos, os autores propõem a Descoberta de Circuitos Orientada por Dados (DCD). Este framework remove a suposição de um único circuito por tarefa.

Fluxo de Trabalho DCD:

1. Agrupamento por Computação: Em vez de assumir que todos os exemplos em um conjunto de dados são processados pelo mesmo mecanismo, o DCD analisa primeiro como o modelo processa cada exemplo individual. Ele computa vetores de atribuição de arestas por exemplo (usando métodos como EAP-IG) para caracterizar a dependência do modelo em arestas específicas para cada entrada.
2. Agrupamento (Clustering): Esses vetores de atribuição de alta dimensão são projetados em um espaço de dimensão inferior (via PCA ou SVD) e agrupados (por exemplo, usando K-means). Isso agrupa exemplos que são processados por mecanismos computacionais semelhantes.
3. Descoberta Independente: Um circuito separado é descoberto independentemente para cada cluster.

O resultado é um conjunto de circuitos distintos, cada um explicando um subconjunto específico dos dados que depende de um mecanismo coerente, em vez de um único circuito tentando explicar todo o conjunto de dados.

Resultados Principais

1. Falha de Circuitos de Tarefas Gerais

O estudo descobre que os circuitos descobertos por métodos orientados a hipóteses são específicos do conjunto de dados, e não circuitos de tarefas gerais:

• Baixa Fidelidade entre Conjuntos de Dados: Circuitos descobertos em uma variante de conjunto de dados frequentemente exibem fidelidade significativamente menor em outras variantes da mesma tarefa (por exemplo, um circuito IOI de 2 pessoas falhando em uma variante de 3 pessoas), apesar das tarefas serem semanticamente idênticas.
• Baixa Sobreposição Estrutural: Circuitos descobertos em diferentes variantes da mesma tarefa compartilham baixa sobreposição de arestas (similaridade de Jaccard variando de 0,30 a 0,66), indicando que dependem de caminhos computacionais diferentes.
• Mistura de Mecanismos: Quando os conjuntos de dados de descoberta contêm exemplos de duas tarefas distintas (por exemplo, aritmética e ligação de entidades), os métodos orientados a hipóteses ainda retornam um único circuito com alta fidelidade em ambas as tarefas. Isso sugere que o método está misturando mecanismos distintos em um único circuito em vez de isolá-los.

2. Eficácia do DCD

O DCD aborda com sucesso essas limitações:

• Descoberta de Múltiplos Mecanismos: Em conjuntos de dados de tarefas mistas, o DCD recupera múltiplos circuitos distintos. Cada circuito se especializa em um subconjunto coerente de exemplos (por exemplo, um circuito para aritmética, outro para ligação de entidades) e alcança alta fidelidade em seu grupo específico, falhando em outros.
• Maior Fidelidade e Esparsidade: O DCD supera consistentemente as linhas de base orientadas a hipóteses (EAP-IG, EAP, E-ACT) e as linhas de base de partição aleatória (K-RANDOM) em termos de melhor fidelidade entre K (selecionando o circuito mais fiel para cada instância de teste). Essa vantagem é mais pronunciada em regimes de baixa esparsidade (tamanhos de circuito $\le$ 0,05).
• Agrupamento Coerente: Os clusters formados pelo DCD alinham-se com a organização interna do modelo, em vez de limites de tarefas definidos por humanos. Por exemplo, dentro de uma única tarefa como IOI, o DCD separa exemplos com base na complexidade (2 pessoas vs. 3 pessoas) ou domínio (nomes vs. letras), descobrindo circuitos distintos para cada um.

Significado e Alegações

O artigo alega que a abordagem atual orientada a hipóteses para descoberta de circuitos é fundamentalmente limitada por sua dependência de limites de tarefas definidos por humanos e pela suposição de um único mecanismo por tarefa.

• Reenquadramento do Escopo da Explicação: Os autores argumentam que um "circuito" não deve ser definido como o mecanismo para uma tarefa definida por humanos, mas sim como o mecanismo para um cluster específico de exemplos processados de maneira semelhante pelo modelo.
• Mudança de Paradigma Orientada por Dados: O DCD demonstra que permitir que a estrutura computacional interna do modelo determine o escopo da descoberta de circuitos produz explicações mais fiéis e interpretáveis. Revela que o que os humanos percebem como uma única tarefa frequentemente compreende múltiplos mecanismos distintos que os métodos existentes confundem.
• Limitações e Trabalho Futuro: Os autores observam modestamente que o DCD herda suposições dos métodos de atribuição subjacentes (por exemplo, que as pontuações de atribuição refletem fielmente os mecanismos) e depende de hiperparâmetros de agrupamento. Eles identificam questões em aberto sobre como atribuir novos exemplos a clusters no momento do teste e como interpretar clusters que resistem a descrições legíveis por humanos, deixando essas questões para trabalhos futuros.

Em conclusão, o artigo fornece evidências empíricas de que os métodos existentes de descoberta de circuitos recuperam artefatos específicos do conjunto de dados em vez de mecanismos de tarefas gerais e propõe o DCD como um framework para revelar a verdadeira natureza multi-mecanismo da computação de modelos de linguagem.