Resumo Técnico: Emergência de Circuitos Mínimos para Identificação de Objeto Indireto em Transformers de Atenção Única

Declaração do Problema

A interpretabilidade mecanística busca realizar engenharia reversa em Grandes Modelos de Linguagem (LLMs) para transformá-los em circuitos computacionais compreensíveis por humanos. No entanto, a escala, as conexões residuais e as não-linearidades dos LLMs modernos frequentemente obscurecem os mecanismos mínimos necessários para tarefas de raciocínio específicas. Embora trabalhos anteriores (ex: Wang et al., 2023) tenham identificado circuitos de atenção complexos e de múltiplos saltos (multi-hop) para a Identificação de Objeto Indireto (IOI) em modelos pré-treinados como o GPT-2 small, esses mecanismos surgem dentro de um cenário de otimização complexo envolvendo linguagem natural e pressões multitarefa. O desafio é determinar se tais capacidades de raciocínio podem emergir de arquiteturas mais simples e restritas e isolar os motivos computacionais fundamentais envolvidos.

Metodologia

Para abordar isso, os autores treinaram modelos transformer mínimos, compostos apenas por atenção, do zero, em uma versão puramente simbólica da tarefa IOI. Esta abordagem remove confundimentos linguísticos e isola o desafio central de raciocínio relacional.

• Formulação da Tarefa: A tarefa IOI envolve prever o objeto indireto (IO) em uma frase onde um sujeito (S) e o IO são introduzidos, e o sujeito é repetido. O modelo deve prever o nome não repetido. Os autores abstraíram isso em uma sequência simbólica de 6 tokens: <BOS> IO S1 S2 <MID> ?. O modelo prevê o token na posição <MID>, que deve ser o nome não repetido antes do token <MID> (ex: distinguindo entre templates "BABA" e "BAAB").
• Arquitetura do Modelo: O estudo utilizou transformers de atenção única com embeddings posicionais absolutos, omitindo MLPs e normalização de camada para isolar os mecanismos de atenção.
  • Configuração 1: Um modelo de uma única camada com duas cabeças de atenção.
  • Configuração 2: Um modelo de duas camadas com uma única cabeça de atenção por camada.
  • Vocabulário: 8 tokens no total (6 nomes + <BOS> + <MID>).
  • Treinamento: Os modelos foram treinados em todas as 60 sequências únicas possíveis usando perda de entropia cruzada (cross-entropy loss), otimizador AdamW e um agendador de taxa de aprendizado OneCycle.
• Técnicas de Análise: Os autores empregaram decomposição de fluxo residual (residual stream), análise espectral de matrizes de transição Query-Key (QK) e Output-Value (OV), intervenções de embedding (LogLens) e ablações direcionadas (remoção de embeddings posicionais ou caminhos de composição específicos).

Principais Resultados

1. Falha de Modelos de Cabeça Única

Um modelo de zero camadas (bigrama) e um modelo de uma camada com uma única cabeça falharam em resolver a tarefa. O modelo de uma cabeça atribuiu probabilidade aproximadamente igual a ambos os nomes na cláusula dependente. A análise revelou que uma única cabeça não pode simultaneamente realizar a "detecção de referência" (identificar o token correto) e a "cópia" (propagar essa informação para a posição de predição); esses papéis pareceram funcionalmente incompatíveis dentro de uma única cabeça de atenção.

2. Sucesso do Modelo de Duas Cabeças e Uma Camada

Um modelo de uma camada com duas cabeças de atenção alcançou 100% de precisão. A análise mecanística revelou uma divisão de trabalho altamente interpretável:

• Cabeça 1 (Aditiva): Atende igualmente a ambos os nomes na cláusula dependente inicial. Sua saída alinha-se com a direção da soma dos embeddings dos nomes (Correto + Incorreto). Atua como um agregador de sinais referenciais.
• Cabeça 2 (Contrastiva): Atende ao sujeito da cláusula principal e ao nome não repetido na cláusula dependente. Sua saída alinha-se com a direção da diferença (Correto – Incorreto). Realiza a supressão contrastiva do alternativo incorreto.
• Mecanismo: Os logits finais são computados pela combinação aditiva dessas duas cabeças. O sinal aditivo da Cabeça 1 e o sinal contrastivo da Cabeça 2 resultam no cancelamento do logit do token incorreto e na amplificação do logit do token correto.

3. Análise Espectral

A análise espectral das matrizes QK e OV confirmou a especialização funcional:

• Cabeça 1: Exibe uma dinâmica de atenção relativamente neutra com uma mistura de autovalores de amplificação e supressão, atuando como um mecanismo de "passagem" (passthrough) ou cópia.
• Cabeça 2: Exibe uma forte dinâmica supressiva (autovalores negativos dominantes em QK) e uma mistura de contribuições aditivas e rotacionais (contrastivas) no circuito OV, subtraindo efetivamente a contribuição do token incorreto.

4. Papel dos Embeddings Posicionais

Quando os embeddings posicionais foram removidos, o modelo ainda alcançou ~70% de precisão, baseando-se em relações contextuais semânticas. No entanto, com os embeddings posicionais, o modelo atingiu 100% de precisão e se desacoplou perfeitamente nos papéis aditivo-contrastivos. As pistas posicionais simplificaram o cenário de otimização, permitindo que as cabeças se especializassem de forma mais limpa.

5. Modelo de Duas Camadas e Uma Cabeça

Um modelo de duas camadas com uma cabeça por camada também resolveu a tarefa. Diferente da especialização paralela do modelo de duas cabeças, esta arquitetura dependeu de composição entre camadas. Estudos de ablação sobre composições de Q, K e V mostraram que o modelo depende fortemente da composição Q (queda de 100% na precisão quando ablada) e da composição V (93% de queda), indicando que a segunda camada lê e transforma a informação agregada da primeira camada para resolver a tarefa.

Contribuições

O artigo apresenta três contribuições primárias:

1. Suficiência Mínima: Demonstra que um modelo de atenção única de uma camada e duas cabeças é suficiente para resolver perfeitamente a tarefa IOI em um template fixo, uma tarefa anteriormente considerada como exigindo circuitos complexos de múltiplos saltos em modelos maiores.
2. Descoberta de Circuito Mecanístico: Revela um circuito mínimo onde a solução é computada via uma combinação aditiva direta de saídas de cabeças de atenção especializadas (uma aditiva, uma contrastiva), contrastando com os pipelines complexos de múltiplos saltos encontrados no GPT-2 small.
3. Insight de Dinâmica de Treinamento: Argumenta que a complexidade dos circuitos em modelos grandes e amplamente pré-treinados pode advir de pressões multitarefa, enquanto o treinamento restrito à tarefa pode revelar mecanismos mais parcimoniosos e interpretáveis.

Significância e Alegações

Os autores alegam que seu trabalho fornece um banco de testes controlado para investigar as fundações computacionais do raciocínio em transformers. Ao remover a complexidade da linguagem natural e dos objetivos de pré-treinamento, eles demonstram que:

• O treinamento específico da tarefa induz circuitos mínimos altamente interpretáveis.
• A complexidade de "caixa preta" dos LLMs pode não ser inerente à própria tarefa de raciocínio, mas sim um subproduto do cenário de otimização em configurações de larga escala e multitarefa.
• Os motivos computacionais específicos identificados (circuitos aditivo-contrastivos e composição por camada) oferecem uma linha de base para entender como modelos maiores podem implementar raciocínios semelhantes, sugerindo que a lógica fundamental da resolução de IOI é mais simples do que observado anteriormente em modelos pré-treinados.

O artigo permanece modesto quanto ao seu escopo, reconhecendo que estas descobertas são limitadas por estruturas de sequência rígidas e ainda não exploram como esses circuitos mínimos escalam para variações de comprimento de sequência, sintaxe dinâmica ou a dinâmica de desenvolvimento durante o treinamento do surgimento de circuitos.