Pattern Selectivity is Not Task-Causal Structure: A Cross-Architecture Mechanistic Study of Composed-Task Circuits in 1B-Class Language Models

Resumo Técnico: Seletividade de Padrão não é Estrutura Causal de Tarefa

Definição do Problema
Este artigo investiga se a receita estabelecida de "triagem e ablação" (screen-and-ablate) para interpretabilidade mecanística — identificar circuitos de cabeças de atenção via seletividade de padrão de tarefa seguida de ablação causal — produz alegações mecanísticas consistentes entre diferentes famílias de modelos. Embora trabalhos anteriores (ex: Wang et al., 2023) tenham estabelecido circuitos canônicos para tarefas como Identificação de Objeto Indireto (IOI) no GPT-2 small, permanece desconhecido se esses circuitos específicos se generalizam para outros modelos da classe 1B treinados em corpora diferentes com arquiteturas distintas. A questão central é se uma única triagem de padrão de tarefa identifica o mesmo circuito causal entre modelos, ou se a implementação mecanística de tarefas compostas é específica de cada modelo.

Metodologia
Os autores aplicam um protocolo unificado de triagem e ablação através de uma grade empírica $4 \times 3$:

• Tarefas: Quatro tarefas compostas: Identificação de Objeto Indireto (IOI), Greater-Than (Maior que), Sequências de Sucessor e Vinculação de Variáveis (Variable Binding).
• Modelos: Três modelos da classe 1B de pipelines distintos:
  • Pythia 1B: Arquitetura densa, treinada no The Pile.
  • OLMo 1B: Arquitetura densa, treinada no DCLM.
  • OLMoE 1B-7B: Arquitetura de Mistura de Especialistas (MoE) (64 especialistas, top-8), treinada no DCLM.
• Procedimento:
  1. Sinal Espectral: As cabeças são pré-triadas usando um integral de razão de participação (PR) para identificar computação especializada.
  2. Triagem de Padrão de Tarefa: Candidatos a cabeças são filtrados com base na seletividade para padrões de atenção específicos (ex: token anterior, indução, name-mover, S-Inibição).
  3. Verificação Causal: A ablação em grupo do circuito candidato é realizada (substituindo as saídas das cabeças pela ativação da média do lote).
  4. Controle: Um nulo de correspondência aleatória (matched-random null) é gerado para cada célula usando 10 sementes independentes, amostrando cabeças aleatórias das mesmas camadas com contagem igual e sem sobreposição com as selecionadas.
• Métricas: O desempenho é medido via $\Delta$acurácia top-1 e $\Delta$logit-diff (diferença entre os logits corretos e os distratores).

Principais Contribuições

1. Grade Empírica: Uma análise abrangente de 12 células (tarefa, modelo) na fronteira da classe 1B, demonstrando que, embora a metodologia seja portável, os circuitos causais específicos não o são.
2. Taxonomia de Cinco Categorias: Um framework quantitativo para classificar resultados de triagem:
   • Causa Primária: Maior efeito não saturado com alta especificidade ($\ge 3\times$ sobre o controle aleatório correspondente).
   • Causa Secundária: Efeito significativo, mas menor que a triagem primária; frequentemente um caminho redundante.
   • Correlato: Cabeças mostram o padrão esperado, mas a ablação tem pouco ou nenhum impacto causal (a resposta já está codificada a montante/upstream).
   • Interferente: A ablação melhora o desempenho da tarefa; frequentemente causado por sumidouros de atenção do tipo BOS (primeiro token) que competem com a tarefa.
   • Nulo: Sem papel causal; o tamanho do efeito é indistinguível do ruído aleatório.
3. Hipótese da Primazia do Token Anterior do OLMoE: Uma afirmação falsificável de que modelos MoE na escala 1B-ativa constroem circuitos de tarefas compostas sobre um substrato posicional de token anterior fundamental. A computação específica da tarefa é sobreposta a este substrato, exceto quando a estrutura da tarefa sonda diretamente um padrão diferente (ex: a cópia de nome na posição final do IOI).
4. Refinamentos Metodológicos:
   • Demonstração de que controles de correspondência aleatória são essenciais para distinguir causalidade real de "pesca de dados" (fishing expeditions), revelando particularmente que triagens concentradas em L0 possuem nulos de alta variância.
   • Identificação da assinatura margem-não-argmax: Em alguns modelos, a ablação comprime a margem do logit (reduzindo a confiança) sem alterar a predição top-1, sugerindo que as capacidades são implementadas como vieses distributivos em vez de decisões de portão (gating).

Principais Resultados

• Não há Transferência de Circuito entre Arquiteturas: Nenhum par de células na grade $4 \times 3$ compartilha a mesma triagem causal primária com um tamanho de efeito comparável.
  • IOI: Pythia é primariamente token anterior; OLMo é primariamente S-Inibição; OLMoE é primariamente name-mover.
  • Greater-Than: Pythia é primariamente GT-específico; OLMo mostra um efeito de apenas margem; OLMoE é primariamente token anterior.
  • Successor: Pythia é misto; OLMo é concentrado em L0 (nulo não confiável); OLMoE é primariamente token anterior.
  • Variable Binding: A triagem ingênua do Pythia identifica interferentes (confundimentos de BOS); OLMo e OLMoE são primariamente token anterior.
• O Padrão OLMoE: No OLMoE, o circuito de token anterior é o principal driver causal para Greater-Than, Successor e Variable Binding. A exceção é o IOI, onde a estrutura da tarefa (cópia de nome na posição final) engaja diretamente o circuito name-mover.
• Confundimentos de Classe BOS: Na tarefa de Variable Binding do Pythia, os principais candidatos da triagem eram cabeças de classe BOS que atuaram como interferentes. Foram necessárias ablações individuais de cabeças para distingui-las de verdadeiros suportadores, um diagnóstico que se generaliza através de regimes dominados por BOS.
• Sensibilidade da Métrica: Depender apenas da acurácia top-1 ignora efeitos mecanísticos significativos. Por exemplo, na tarefa Greater-Than do OLMo, a ablação da triagem específica de GT comprimiu significativamente a margem do logit ($\Delta$-1.98) enquanto o top-1 caiu minimamente ($\Delta$-0.6).

Significância e Alegações
O artigo argumenta que a pergunta "Qual é o circuito para a capacidade X?" é mal formulada para a fronteira da classe 1B, pois pressupõe uma solução única e transferível. Em vez disso, os autores propõem que:

1. Desacoplamento Mecanístico: Diferentes modelos alcançam a mesma capacidade comportamental através de implementações mecanísticas inteiramente diferentes. A "receita" (triagem e ablação) é um procedimento generativo válido, mas o circuito específico deve ser rederivado para cada modelo.
2. Regularidades de Classe de Modelo: Embora os circuitos específicos difiram, padrões estruturais podem persistir dentro de famílias de arquitetura. A hipótese da primazia do token anterior do OLMoE sugere que arquiteturas MoE dependem de um substrato posicional estável para roteamento, sobre o qual a lógica específica da tarefa é construída.
3. Honestidade Metodológica: O artigo enfatiza que sinais espectrais isolados são insuficientes; triagens de padrão de tarefa e verificação causal (especificamente ablações individuais de cabeças em regimes dominados por BOS) são necessárias para distinguir suportadores de correlatos e interferentes.

Os autores enquadram essas descobertas como um ponto de partida para um programa empírico mais amplo, observando que a hipótese do OLMoE requer validação em outros modelos MoE (ex: Mixtral, DBRX) e que a grade de 12 células é suficiente para motivar, mas não estabelecer totalmente, a generalização entre tarefas.