When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures

Resumen Técnico: Trayectorias de Desarrollo de la Capacidad y Emergencia de Sumideros de Atención

Planteamiento del Problema
Este artículo aborda una brecha en la comprensión mecanística de la dinámica de preentrenamiento en los modelos de lenguaje transformer. Mientras que trabajos previos han identificado dos fenómenos distintos —cabezales de inducción (que implementan el patrón de copia $A \dots A \to B$, vinculado al aprendizaje en contexto) y sumideros de atención (atención fiable al primer token independientemente del contenido)—, estos suelen confundirse bajo el paraguas de la "emergencia de atención". Olsson et al. [2022] describieron la formación de la inducción como una "transición de fase" abrupta, mientras que Xiao et al. [2024] documentaron los sumideros de atención como una propiedad de inferencia estable. Este artículo se pregunta: ¿Emergen estos dos fenómenos simultáneamente como una única transición, o son temporalmente separables? Además, ¿cómo influyen la arquitectura (densa frente a Mixture-of-Experts) y el corpus de preentrenamiento (The Pile frente a DCLM) en el cronometraje y la forma de estas emergencias en modelos de clase 1B?

Metodología
Los autores rastrean la trayectoria de desarrollo de los circuitos de atención a través de tres modelos de clase 1B que abarcan dos arquitecturas y dos corpus:

1. Pythia 1B: Transformer denso, entrenado en The Pile.
2. OLMo 1B-0724-hf: Transformer denso (estilo Llama), entrenado en DCLM.
3. OLMoE 1B-7B-0924: Transformer Mixture-of-Experts (1B activo/7B total), entrenado en DCLM.

El estudio utiliza un panel de desarrollo de 30 ejecuciones, aplicando una receta de interpretabilidad mecanística de tres pasos en 10 revisiones con espaciado logarítmico por modelo:

• Lote de Inducción Sintética: Un conjunto de datos controlado de 2,000 secuencias ($A \dots A \to B$) utilizado para sondear las capacidades de inducción.
• Señal Espectral de la Razón de Participación (PR): Computada en la salida de atención de la segunda posición-$A$. La PR mide la diversidad espectral de la salida del cabezal, sirviendo como una señal de computación especializada.
• Pantalla de Selectividad Específica de Capacidad: Una pantalla de todos los cabezales que clasifica los mismos en seis categorías (inducción, token-anterior, token-duplicado, BOS/primer-token, self, local) basándose en las razones de selectividad de atención. Los cabezales se asignan a una clase si la selectividad supera un umbral específico (por ejemplo, 50× para inducción, 30× para BOS).
• Verificación Causal: Ablación de grupo de los circuitos identificados para confirmar su rol funcional.

Hallazgos Clave

1. El Suelo de Cero-BOS en L0/L1 es una Propiedad Arquitectónica (F1)
A través de las 30 revisiones y los tres modelos, las capas 0 y 1 producen cero cabezales clasificados como atractores de BOS. Este "suelo de cero-BOS" se mantiene desde la inicialización aleatoria hasta el final del entrenamiento. Los autores interpretan esto como una restricción arquitectónica: las entradas de L0 son embeddings de tokens no contextualizados, y las salidas de L1 carecen de integración entre tokens, lo que hace imposible que los sumideros de atención (que requieren información entre posiciones no trivial) se formen en estas capas. Es un resultado aprendido de la señal del gradiente, no un artefacto de los datos.

2. Formas de Emergencia Distintas para los Atractores de BOS (F2)
La formación de la fracción de atractores de BOS sigue tres trayectorias cualitativamente diferentes dependiendo de la combinación de datos y arquitectura:

• Pythia 1B (The Pile, Denso): Una rampa gradual y monotónica del 0% al ~58%.
• OLMo 1B (DCLM, Denso): Una transición de fase abrupta. La fracción salta del 7.4% a 117B de tokens al 70.3% a 264B de tokens (un aumento de 63 puntos porcentuales entre checkpoints adyacentes).
• OLMoE 1B-7B (DCLM, MoE): Una rampa gradual y monotónica, similar a Pythia pero alcanzando una saturación más alta (~76%).
  Esto demuestra que la "agudeza" de la transición del sumidero de atención no es una propiedad universal de los datos (DCLM), sino que está modulada por la arquitectura (Denso frente a MoE).

3. La Inducción y los Sumideros de Atención son Temporalmente Separables (F3)
En los modelos entrenados con DCLM, la formación de los circuitos de inducción precede a la formación de los atractores de BOS por un orden de magnitud en tokens:

• OLMo 1B: Los circuitos de inducción se forman a 23B de tokens; los atractores de BOS alcanzan la saturación del 50% a 264B de tokens (11.5× de diferencia).
• OLMoE 1B-7B: La inducción se forma a 20B de tokens; los atractores de BOS alcanzan el 50% a 419B de tokens (21× de diferencia).
  El artículo concluye que la formación del circuito de capacidad y la formación del sumidero de atención son dos transiciones distintas, no un único evento de transición de fase.

4. Convergencia Temprana de las Pantallas de Capacidad (F4)
La pantalla específica de capacidad converge al circuito de inducción final utilizando solo una pequeña fracción del presupuesto de entrenamiento.

• OLMo 1B: El 67% del circuito de inducción final se identifica a los 10B de tokens (~0.3% del entrenamiento total).
• OLMoE 1B-7B: 67% identificado a los 41B de tokens (~0.8%).
• Pythia 1B: 67% identificado a los 6B de tokens (~2.0%).
  Esto implica que para el descubrimiento de circuitos, no se requiere el modelo final; los checkpoints intermedios contienen la mayor parte del circuito identificable.

5. Las Señales Espectrales Predicen los Umbrales de Selectividad (F5)
Para cada cabezal de inducción del checkpoint final muestreado, la Razón de Participación (PR) por cabezal aumenta significativamente en o antes de la revisión donde la razón de selectividad de capacidad del cabezal cruza su umbral de clasificación. En Pythia 1B, la señal de PR para el principal cabezal de inducción aumentó ~12× antes (en conteo de tokens) que el cruce del umbral de selectividad. Esto sugiere que la señal espectral es un indicador temprano de especialización.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como la "mitad del espacio de activación" de un estudio más amplio sobre la emergencia, complementando los análisis de dinámica de borde espectral en el espacio de parámetros. Sus contribuciones principales son:

• Refinamiento de la "Transición de Fase de Inducción": Los autores argumentan que el término "transición de fase de inducción" es ambiguo. En datos DCLM a escala 1B, se refiere a dos eventos distintos: una transición de capacidad temprana (inducción) y una posterior, dependiente de los datos y la arquitectura (sumideros de atención).
• Restricciones para la Teoría Mecanística: Los hallazgos imponen restricciones específicas a cualquier teoría de los sumideros de atención:
  1. Debe explicar el suelo universal de cero-BOS en L0/L1.
  2. Debe dar cuenta de cómo los mismos datos (DCLM) producen una transición abrupta en modelos densos pero una rampa gradual en modelos MoE.
  3. Debe distinguir el tiempo de la emergencia de la capacidad frente a la emergencia del sumidero.
• Utilidad Metodológica: El artículo demuestra que la interpretabilidad mecanística puede realizarse eficazmente en checkpoints intermedios (0.3–2% del entrenamiento) sin esperar al modelo final, y que se requieren métodos de cribado específicos para distinguir los cabezales de capacidad de la población dominante de atractores de BOS en las etapas finales del entrenamiento.

Los autores declaran explícitamente que estos hallazgos se basan en ejecuciones de entrenamiento específicas y no pretenden representar la expectativa completa de todas las posibles semillas, aunque señalan que los patrones cualitativos (suelo L0/L1, separación de transiciones) son robustos a través de las configuraciones probadas.