When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures

Résumé Technique : Trajectoires de Développement de la Capacité et Émergence des Puits d'Attention

Énoncé du Problème
Cet article traite d'une lacune dans la compréhension mécaniste de la dynamique de pré-entraînement des modèles de langage transformeurs. Alors que des travaux antérieurs ont identifié deux phénomènes distincts — les têtes d'induction (implémentant le motif de copie $A \dots A \to B$, lié à l'apprentissage en contexte) et les puits d'attention (attention fiable au premier jet quel que soit le contenu) — ils sont souvent confondus sous l'étiquette de « l'émergence de l'attention ». Olsson et al. [2022] ont décrit la formation de l'induction comme une « transition de phase » abrupte, tandis que Xiao et al. [2024] ont documenté les puits d'attention comme une propriété d'inférence stable. Cet article pose la question suivante : ces deux phénomènes émergent-ils simultanément lors d'une transition unique, ou sont-ils temporellement séparables ? De plus, comment l'architecture (dense vs Mixture-of-Experts) et le corpus de pré-entraînement (The Pile vs DCLM) influencent-ils le moment et la forme de ces émergences dans les modèles de classe 1B ?

Méthodologie
Les auteurs suivent la trajectoire de développement des circuits d'attention à travers trois modèles de classe 1B couvrant deux architectures et deux corpus :

1. Pythia 1B : Transformeur dense, entraîné sur The Pile.
2. OLMo 1B-0724-hf : Transformeur dense (style Llama), entraîné sur DCLM.
3. OLMoE 1B-7B-0924 : Transformeur Mixture-of-Experts (1B actif / 7B total), entraîné sur DCLM.

L'étude utilise un panel de développement de 30 exécutions, appliquant une recette de l'interprétabilité mécaniste en trois étapes à 10 révisions espacées logarithmiquement par modèle :

• Lot d'Induction Synthétique : Un ensemble de données contrôlé de 2 000 séquences ($A \dots A \to B$) utilisé pour sonder les capacités d'induction.
• Signal Spectral du Rapport de Participation (PR) : Calculé sur la sortie de l'attention de la seconde position-$A$. Le PR mesure la diversité spectrale de la sortie de la tête, servant de signal pour la spécialisation du calcul.
• Écran de Sélectivité Spécifique à la Capacité : Un écran de toutes les têtes classant celles-ci en six catégories (induction, jet précédent, jet dupliqué, BOS/premier jet, soi, local) sur la base des ratios de sélectivité de l'attention. Les têtes sont assignées à une classe si la sélectivité dépasse un seuil spécifique (ex: 50× pour l'induction, 30× pour le BOS).
• Vérification Causale : Ablation par groupe des circuits identifiés pour confirmer leur rôle fonctionnel.

Principaux Résultats

1. Le Plancher Zéro-BOS L0/L1 est une Propriété Architecturale (F1)
À travers les 30 exécutions et les trois modèles, les couches 0 et 1 produisent zéro tête classée comme attracteur de BOS. Ce « plancher zéro-BOS » se maintient de l'initialisation aléatoire jusqu'à la fin de l'entraînement. Les auteurs interprètent cela comme une contrainte architecturale : les entrées L0 sont des plongements de jet non contextualisés, et les sorties L1 manquent d'intégration inter-jets, rendant impossible la formation de puits d'attention (qui nécessitent une information inter-positions non triviale) dans ces couches. C'est un résultat appris du signal de gradient, et non un artefact de données.

2. Formes d'Émergence Distinctes pour les Attracteurs BOS (F2)
La formation de la fraction d'attracteur BOS suit trois trajectoires qualitativement différentes selon l'appariement données-architecture :

• Pythia 1B (Pile, Dense) : Une montée graduelle et monotone de 0 % à ~58 %.
• OLMo 1B (DCLM, Dense) : Une transition de phase abrupte. La fraction passe de 7,4 % à 117B de jet à 70,3 % à 264B de jet (une augmentation de 63 points de pourcentage entre les points de contrôle adjacents).
• OLMoE 1B-7B (DCLM, MoE) : Une montée graduelle et monotone, similaire à Pythia mais atteignant une saturation plus élevée (~76 %).
  Cela démontre que la « netteté » de la transition de l'attracteur d'attention n'est pas une propriété universelle des données (DCLM) mais est modulée par l'architecture (Dense vs MoE).

3. L'Induction et les Puits d'Attention sont Temporellement Séparables (F3)
La formation des circuits d'induction précède la formation des attracteurs BOS d'un ordre de grandeur en nombre de jets dans les modèles entraînés sur DCLM :

• OLMo 1B : Les circuits d'induction se forment à 23B de jets ; les attracteurs BOS atteignent 50 % de saturation à 264B de jets (11,5× d'écart).
• OLMoE 1B-7B : L'induction se forme à 20B de jets ; les attracteurs BOS atteignent 50 % à 419B de jets (21× d'écart).
  L'article conclut que la formation du circuit de capacité et la formation du puits d'attention sont deux transitions distinctes, et non un événement de transition de phase unique.

4. Convergence Précoce des Écrans de Capacité (F4)
L'écran spécifique à la capacité converge vers le circuit d'induction final en utilisant seulement une petite fraction du budget d'entraînement.

• OLMo 1B : 67 % du circuit d'induction final est identifié dès 10B de jets (~0,3 % de l'entraînement total).
• OLMoE 1B-7B : 67 % identifiés à 41B de jets (~0,8 %).
• Pythia 1B : 67 % identifiés à 6B de jets (~2,0 %).
  Cela implique que pour la découverte de circuits, le modèle final n'est pas requis ; les points de contrôle intermédiaires contiennent l'essentiel du circuit identifiable.

5. Les Signaux Spectraux Précèdent les Seuils de Sélectivité (F5)
Pour chaque tête d'induction du point de contrôle final échantillonnée, le Rapport de Participation (PR) par tête augmente de manière significative au moment ou avant la révision où le ratio de sélectivité de la capacité de la tête franchit son seuil de classification. Dans Pythia 1B, le signal PR pour la principale tête d'induction a augmenté ~12× plus tôt (en nombre de jets) que le franchissement du seuil de sélectivité. Cela suggère que le signal spectral est un indicateur précoce de spécialisation.

Signification et Revendications
L'article se positionne comme la « moitié de l'espace d'activation » d'une étude plus large sur l'émergence, complétant les analyses de l'espace des paramètres sur la dynamique du bord spectral. Ses principales contributions sont :

• Affinement de la « Transition de Phase d'Induction » : Les auteurs soutiennent que le terme « transition de phase d'induction » est ambigu. Sur les données DCLM à l'échelle 1B, il fait référence à deux événements distincts : une transition de capacité précoce (induction) et une transition plus tardive, dépendante des données et de l'architecture (puits d'attention).
• Contraintes pour la Théorie Mécaniste : Les résultats imposent des contraintes spécifiques à toute théorie des puits d'attention :
  1. Elle doit expliquer le plancher zéro-BOS universel en L0/L1.
  2. Elle doit rendre compte de la façon dont les mêmes données (DCLM) produisent une transition abrupte dans les modèles denses mais une montée graduelle dans les modèles MoE.
  3. Elle doit distinguer le moment de l'émergence de la capacité de celui de l'émergence du puits.
• Utilité Méthodologique : L'article démontre que l'interprétabilité mécaniste peut être effectuée efficacement sur des points de contrôle intermédiaires (0,3–2 % de l'entraînement) sans attendre le modèle final ; et que des méthodes de screening spécifiques sont nécessaires pour distinguer les têtes de capacité de la population dominante des attracteurs BOS lors des phases ultérieures de l'entraînement.

Les auteurs déclarent explicitement que ces conclusions sont basées sur des exécutions d'entraînement spécifiques et ne prétendent pas représenter l'attente complète de tous les germes possibles, bien qu'ils notent que les motifs qualitatifs (plancher L0/L1, séparation des transitions) sont robustes à travers les configurations testées.