When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures

Resumo Técnico: Trajetórias de Desenvolvimento da Capacidade e Emergência de Sumidouros de Atenção (Attention-Sinks)

Definição do Problema
Este artigo aborda uma lacuna na compreensão mecanística da dinâmica de pré-treinamento em modelos de linguagem transformer. Embora trabalhos anteriores tenham identificado dois fenômenos distintos — cabeças de indução (implementando o padrão de cópia $A \dots A \to B$, ligado ao aprendizado em contexto) e sumidouros de atenção (atenção confiável ao primeiro token, independentemente do conteúdo) — eles são frequentemente confundidos sob o guarda-chuva de "emergência de atenção". Olsson et al. [2022] descreveram a formação da indução como uma "transição de fase" aguda, enquanto Xiao et al. [2024] documentaram os sumidouros de atenção como uma propriedade de inferência estável. Este artigo questiona: esses dois fenômenos emergem simultaneamente como uma única transição ou são temporalmente separáveis? Além disso, como a arquitetura (denso vs. Mixture-of-Experts) e o corpus de pré-treinamento (The Pile vs. DCLM) influenciam o tempo e a forma dessas emergências em modelos de classe 1B?

Metodologia
Os autores rastreiam a trajetória de desenvolvimento de circuitos de atenção através de três modelos de classe 1B abrangendo duas arquiteturas e dois corpora:

1. Pythia 1B: Transformer denso, treinado no The Pile.
2. OLMo 1B-0724-hf: Transformer denso (estilo Llama), treinado no DCLM.
3. OLMoE 1B-7B-0924: Transformer Mixture-of-Experts (1B ativo/7B total), treinado no DCLM.

O estudo utiliza um painel de desenvolvimento de 30 execuções, aplicando uma receita de interpretabilidade mecanística de três etapas em 10 revisões log-espaçadas por modelo:

• Lote de Indução Sintética: Um conjunto de dados controlado de 2.000 sequências ($A \dots A \to B$) usado para sondar capacidades de indução.
• Sinal Espectral da Razão de Participação (PR): Computado na saída da atenção da segunda posição de $A$. A PR mede a diversidade espectral da saída da cabeça, servindo como um sinal de computação especializada.
• Triagem de Seletividade Específica de Capacidade: Uma triagem de todas as cabeças classificando-as em seis categorias (indução, token anterior, token duplicado, BOS/primeiro token, self, local) com base em razões de seletividade de atenção. As cabeças são atribuídas a uma classe se a seletividade exceder um limiar específico (ex: 50× para indução, 30× para BOS).
• Verificação Causal: Ablação de grupo dos circuitos identificados para confirmar seu papel funcional.

Principais Descobertas

1. O Piso Zero-BOS de L0/L1 é uma Propriedade Arquitetural (F1)
Em todas as 30 revisões e em todos os três modelos, as camadas 0 e 1 produzem zero cabeças classificadas como atratores de BOS. Este "piso zero-BOS" mantém-se desde a inicialização aleatória até o fim do treinamento. Os autores interpretam isso como uma restrição arquitetural: as entradas de L0 são embeddings de tokens não contextualizados, e as saídas de L1 carecem de integração entre tokens, tornando impossível para os sumidouros de atenção (que exigem informação entre posições não triviais) se formarem nessas camadas. É um resultado aprendido do sinal de gradiente, não um artefato de dados.

2. Formas de Emergência Distintas para Atratores de BOS (F2)
A formação da fração de atrator de BOS segue três trajetórias qualitativamente diferentes dependendo do par dado-arquitetura:

• Pythia 1B (Pile, Denso): Uma rampa gradual e monotônica de 0% a ~58%.
• OLMo 1B (DCLM, Denso): Uma transição de fase aguda. A fração salta de 7,4% em 117B tokens para 70,3% em 264B tokens (um aumento de 63 pontos percentuais entre checkpoints adjacentes).
• OLMoE 1B-7B (DCLM, MoE): Uma rampa gradual e monotônica, semelhante ao Pythia, mas atingindo uma saturação maior (~76%).
  Isso demonstra que a "agudeza" da transição do sumidouro de atenção não é uma propriedade universal dos dados (DCLM), mas é modulada pela arquitetura (Denso vs. MoE).

3. Indução e Sumidouros de Atenção são Temporalmente Separáveis (F3)
Nos modelos treinados no DCLM, a formação de circuitos de indução precede a formação de atratores de BOS por uma ordem de magnitude em tokens:

• OLMo 1B: Circuitos de indução formam-se em 23B tokens; atratores de BOS atingem 50% de saturação em 264B tokens (11,5× de diferença).
• OLMoE 1B-7B: Indução forma-se em 20B tokens; BOS atinge 50% em 419B tokens (21× de diferença).
  O artigo conclui que a formação de circuito de capacidade e a formação de sumidouro de atenção são duas transições distintas, não um único evento de transição de fase.

4. Convergência Precoce de Triagens de Capacidade (F4)
A triagem específica de capacidade converge para o circuito de indução final usando apenas uma pequena fração do orçamento de treinamento.

• OLMo 1B: 67% do circuito de indução final é identificado por 10B tokens (~0,3% do treinamento total).
• OLMoE 1B-7B: 67% identificado por 41B tokens (~0,8%).
• Pythia 1B: 67% identificado por 6B tokens (~2,0%).
  Isso implica que, para a descoberta de circuitos, o modelo final não é necessário; os checkpoints intermediários contêm a maior parte do circuito identificável.

5. Sinais Espectrais Precedem Limiares de Seletividade (F5)
Para cada cabeça de indução do checkpoint final amostrada, a Razão de Participação (PR) por cabeça aumenta significativamente no ou antes da revisão em que a razão de seletividade de capacidade da cabeça cruza seu limiar de classificação. No Pythia 1B, o sinal de PR para a principal cabeça de indução subiu ~12× mais cedo (em contagem de tokens) do que o cruzamento do limiar de seletividade. Isso sugere que o sinal espectral é um indicador precoce de especialização.

Significância e Alegações
O artigo posiciona-se como a "metade do espaço de ativação" de um estudo mais amplo sobre emergência, complementando as análises de dinâmica de borda espectral no espaço de parâmetros. Suas principais contribuições são:

• Refinando a "Transição de Fase de Indução": Os autores argumentam que o termo "transição de fase de indução" é ambíguo. Em dados DCLM na escala 1B, ele se refere a dois eventos distintos: uma transição de capacidade precoce (indução) e uma transição posterior, dependente de dados e arquitetura (sumidouros de atenção).
• Restrições para a Teoria Mecanística: As descobertas impõem restrições específicas a qualquer teoria de sumidouros de atenção:
  1. Deve explicar o piso universal de zero-BOS de L0/L1.
  2. Deve explicar como os mesmos dados (DCLM) produzem uma transição aguda em modelos densos, mas uma rampa gradual em modelos MoE.
  3. Deve distinguir o tempo de emergência da capacidade e da emergência do sumidouro.
• Utilidade Metodológica: O artigo demonstra que a interpretabilidade mecanística pode ser realizada de forma eficaz em checkpoints intermediários (0,3–2% do treinamento) sem esperar pelo modelo final, e que métodos de triagem específicos são necessários para distinguir cabeças de capacidade da população dominante de atratores de BOS em estágios avançados de treinamento.

Os autores declaram explicitamente que estas descobertas baseiam-se em execuções de treinamento específicas e não pretendem representar a expectativa total de todas as possíveis sementes (seeds), embora notem que os padrões qualitativos (piso L0/L1, separação de transições) são robustos através das configurações testadas.