Resumo Técnico: Medindo a Consistência e a Especificidade de Circuitos de Modelos de Linguagem

Declaração do Problema

O campo da interpretabilidade mecânica visa reverter a engenharia de redes neurais identificando "circuitos": subgrafos esparsos de componentes do modelo (tipicamente cabeças de atenção e camadas MLP) que são causalmente responsáveis por comportamentos específicos. Embora trabalhos existentes tenham estabelecido métodos para extrair esses circuitos e avaliar sua necessidade (remover o circuito degrada o desempenho) e suficiência (o circuito sozinho reproduz o comportamento), duas propriedades críticas permanecem subexploradas: consistência e especificidade.

• Consistência: Se um circuito realmente captura o algoritmo de um modelo para uma tarefa, os mesmos componentes devem se repetir em diferentes instâncias de entrada dessa tarefa. Sem consistência, um circuito pode ser um artefato de uma entrada específica, em vez de um mecanismo generalizável.
• Especificidade: O circuito de uma tarefa deve ser significativamente distinto dos circuitos de tarefas não relacionadas. Sem especificidade, um circuito não pode ser usado para entender ou intervir em comportamentos específicos de uma tarefa, pois pode apenas refletir infraestrutura de propósito geral do modelo.

Este artigo investiga se os circuitos descobertos no nível de cabeças de atenção e camadas MLP exibem essas propriedades em diversas tarefas e famílias de modelos.

Metodologia

Configuração Experimental

Os autores avaliaram seis tarefas abrangendo raciocínio algorítmico (Adição, Lógica Booleana), recuperação de informação (Identificação de Objeto Indireto [IOI], CopyColors MCQA) e benchmarks intensivos em conhecimento (ARC Easy, ARC Challenge). Estas foram testadas em sete modelos de quatro famílias de arquiteturas: Gemma 2 (2B, 2B IT), Llama 3.2 (3B, 3B Instruct), Qwen3 (4B, 8B) e OLMo-2 (1B, usado para dinâmicas de pré-treinamento).

Extração de Circuitos

O estudo utilizou Patching de Atribuição de Borda (EAP) para extrair circuitos por exemplo. O EAP aproxima efeitos causais usando informações de gradiente, classificando componentes por suas pontuações de atribuição absolutas. Para cada tarefa, circuitos foram extraídos para $n=1000$ exemplos, variando os tamanhos dos circuitos ($K$) de 1% a 30% dos componentes principais.

Métricas de Avaliação

1. Consistência (Reutilização): Os autores definiram um "conjunto de componentes compartilhados" ($S_P$) contendo componentes que aparecem em pelo menos uma fração $P$ dos circuitos por exemplo. Eles mediram a reutilização@P, a proporção de um circuito por exemplo coberta por esse conjunto compartilhado.
2. Necessidade: Para confirmar que os componentes compartilhados são causalmente importantes, os autores realizaram ablações (zerando ativações) no conjunto compartilhado $S_P$. Eles compararam a queda de precisão contra um controle conservador de capacidade (C3), onde um subconjunto aleatório de componentes de tamanho igual foi ablado. Uma pontuação de necessidade positiva indica que o conjunto compartilhado é funcionalmente crítico além da mera redução de capacidade.
3. Especificidade (Sobreposição entre Tarefas):
   • Ablação entre Tarefas: Os autores abladaram o circuito compartilhado da Tarefa A e mediram o desempenho na Tarefa B. Se os circuitos forem específicos, abladar o circuito da Tarefa A deve prejudicar a Tarefa A significativamente mais do que a Tarefa B.
   • Decomposição: Para pares de tarefas, os circuitos foram particionados em três conjuntos disjuntos: o núcleo compartilhado ($C_A \cap C_B$), específico da tarefa ($C_A \setminus C_B$) e complementar ($C_B \setminus C_A$). Cada conjunto foi ablado independentemente para medir seu impacto causal na tarefa-alvo versus outras tarefas.

Principais Resultados

1. Circuitos são Consistentes Dentro de uma Tarefa

Em todos os modelos e tarefas, uma fração substancial dos circuitos por exemplo é extraída de um conjunto compartilhado de componentes.

• Alta Reutilização: Em $K=10\%$, as taxas de reutilização variaram de 40% a 70% na maioria das combinações tarefa-modelo. Por exemplo, nos modelos Llama e Qwen, cerca de metade ou mais do circuito de qualquer exemplo individual consistia em componentes compartilhados por quase todos os exemplos.
• Importância Causal: Ablar esses componentes compartilhados causou quedas de precisão significativamente maiores do que abladar um conjunto aleatório com capacidade correspondente. Por exemplo, em tarefas de Adição, remover o conjunto compartilhado causou quedas de precisão excessivas de 0,8–1,0 em comparação com controles aleatórios, confirmando que esses componentes são funcionalmente necessários.
• Dinâmicas de Treinamento: No OLMo-2-1B, a consistência surgiu no início do pré-treinamento (atingindo o pico em torno de 76B tokens), mas degradou-se nas etapas posteriores. No entanto, a necessidade (importância causal) tornou-se claramente mensurável apenas durante a fase de anneal, quando a precisão de base melhorou.

2. Circuitos Não são Específicos entre Tarefas

Contrariando a expectativa de que diferentes tarefas dependem de mecanismos distintos, o estudo encontrou sobreposição extensa entre circuitos de tarefas não relacionadas.

• Quedas de Desempenho Indistinguíveis: Ao abladar o circuito da Tarefa A e avaliar na Tarefa B, a queda de desempenho foi comparável à ablação do próprio circuito da Tarefa B. Por exemplo, no Llama-3.2-3B, remover o circuito de Adição causou uma queda de 99% na Adição, e remover circuitos de outras tarefas causou uma queda média de 99% na Adição também.
• Alta Sobreposição: Em $K=10\%$, a sobreposição de Jaccard entre os circuitos de pares de tarefas variou de 0,46 a 0,89, superando amplamente os ~5% esperados para circuitos aleatórios. Essa sobreposição foi impulsionada principalmente por camadas MLP, que dominaram circuitos pequenos ($K \le 10\%$) e constituíram a vasta maioria do núcleo compartilhado.
• Componentes Específicos da Tarefa Existem, mas são Menores: Embora um pequeno conjunto de componentes específicos da tarefa tenha sido identificado (representando 15–30% do circuito em $K=10\%$), sua remoção causou apenas danos adicionais modestos em comparação com o impacto massivo de remover o núcleo compartilhado. O núcleo compartilhado foi responsável pela maior parte do impacto no desempenho.

3. Composição e Granularidade

• Domínio das MLP: Em tamanhos de circuito pequenos, os circuitos são compostos quase inteiramente por camadas MLP (por exemplo, 95–100% no Gemma 2 2B-IT em $K \le 10\%$). As cabeças de atenção tornam-se mais prevalentes apenas à medida que o tamanho do circuito aumenta ($K \ge 20\%$).
• Distribuição de Camadas: Nas famílias Llama e Qwen, circuitos pequenos concentram-se nas camadas iniciais, enquanto os modelos Gemma mostraram mais variação dependente da tarefa.

Significado e Afirmações

O artigo argumenta que, na granularidade de cabeças de atenção e camadas MLP, a descoberta de circuitos é eficaz para identificar quais componentes são importantes (consistência), mas falha em isolar como um modelo realiza uma tarefa específica distinta de outras (especificidade).

• Infraestrutura Geral vs. Mecanismos de Tarefa: As descobertas sugerem que os circuitos descobertos identificam principalmente infraestrutura de propósito geral do modelo (especificamente camadas MLP compartilhadas) em vez de algoritmos específicos de tarefa. A alta sobreposição é explicada pelo fato de que essas camadas realizam operações fundamentais (por exemplo, armazenar conhecimento paramétrico, mapear tokens) das quais todas as tarefas downstream dependem.
• Implicações para a Interpretabilidade: A falta de especificidade levanta questões sobre a utilidade dos métodos atuais de descoberta de circuitos para compreensão ou intervenção direcionadas. Se um "circuito" para a Tarefa A for largamente idêntico ao circuito para a Tarefa B, identificá-lo revela mais sobre o funcionamento geral do modelo do que seu comportamento específico na Tarefa A.
• Direções Futuras: Os autores sugerem que recuperar a estrutura específica da tarefa pode exigir:
  1. Unidades de análise mais finas: Ir além das camadas MLP para circuitos de características esparsas (por exemplo, usando autoencoders esparsos) para desvendar componentes polissêmicos.
  2. Atribuição contrastiva: Identificar componentes com alta atribuição para uma tarefa relativa às outras, em vez de em termos absolutos.

O artigo conclui que, embora o núcleo compartilhado dos circuitos seja um objeto de estudo significativo (potencialmente impulsionando a generalização e a aprendizagem em contexto), a suposição de modularidade ao nível da tarefa no nível do componente não é amplamente suportada pela evidência atual.