Résumé Technique : Circuits de Sonde Spectrale

Énoncé du Problème

L'interprétabilité mécaniste des transformateurs pré-entraînés repose généralement sur une analyse post-hoc : l'identification de circuits de têtes d'attention après qu'un modèle est entièrement entraîné, en ablatant des têtes et en observant la dégradation des performances sur une tâche fixe et pré-spécifiée. Ce flux de travail est coûteux en calcul (nécessitant des passes avant sur des réseaux entièrement entraînés pour chaque condition) et intrinsèquement réactif, car la capacité cible doit être définie avant le début de la recherche. De plus, les méthodes existantes ont souvent du mal à distinguer entre le calcul dépendant du contenu général et les circuits causaux spécifiques à la tâche, en particulier dans les modèles plus grands où les « puits d'attention » (têtes s'attendant au premier jeton) dominent le paysage.

Méthodologie : Une Recette en Trois Étapes

L'article propose une recette en trois étapes pour identifier les circuits de têtes d'attention qui opère par tête, ne nécessite ni étiquettes de tâche ni gradients d'attribution, et peut être appliquée pendant l'entraînement ou sur des points de contrôle finaux.

Étape 1 : Signal Spectral par Tête (L'Indicateur Général)

La première étape identifie les têtes effectuant un calcul soutenu et dépendant du contenu en utilisant une métrique spectrale dérivée de la théorie des matrices aléatoires.

• Métrique : Pour chaque tête à chaque point de contrôle d'entraînement, le Rapport de Participation (PR) de la matrice de sortie d'attention par tête est calculé. Le PR mesure le rang effectif (dimensionnalité) de la distribution de sortie.
• Caractéristique de Trajectoire : La méthode intègre l'évolution temporelle de ce signal : $I(L, H) = \sum_t \max(PR(L, H, t) - 1, 0) \cdot \Delta \log(\text{tokens}_t)$.
• Fonction : Ce « PR-intégral » classe les têtes qui maintiennent un rang effectif élevé (s'étendant sur de nombreuses directions) au fil du temps. Il sert d'indicateur général de spécialisation, filtrant les têtes qui s'effondrent vers des états de faible rang (indépendants du contenu) ou restent bruyantes. Crucialement, il ne distingue pas ce que la tête fait, seulement qu'elle effectue un calcul spécialisé.

Étape 2 : Filtrage par Motif de Tâche (Le Filtre Spécifique à la Tâche)

Le signal spectral général est spécialisé pour une tâche cible en mesurant les motifs d'attention par rapport à des cibles canoniques.

• Mécanisme : Un filtrage « toutes-têtes » mesure la sélectivité de chaque tête pour des motifs d'attention spécifiques (par exemple, induction, jeton précédent, jeton dupliqué, premier jeton/BOS, soi-même, local).
• Définition de la Sélectivité : La sélectivité est le rapport entre l'attention portée aux positions cibles et une base uniforme.
• Seuils : Les têtes sont classées si leur sélectivité dépasse un seuil (par exemple, $\ge 30\times$ pour l'affectation, $\ge 50\times$ pour l'appartenance au circuit d'induction).
• Fonction : Cette étape convertit le signal général de « spécialisation » en un circuit candidat pour une capacité spécifique. Elle adresse la limitation de l'Étape 1, qui, dans les modèles dominés par les puits d'attention, classerait les têtes dépendantes du contenu génériques plus haut que les têtes spécifiques à la tâche.

Étape 3 : Vérification Causale (L'Affirmation Falsifiable)

Les circuits candidats sont validés par ablation de groupe avec des contrôles rigoureux pour garantir que l'effet est causal et non un artefact de la composition des couches.

• Procédure : La tranche par tête du flux résiduel à la projection de sortie d'attention est mise à zéro.
• Contrôles :
  1. Aléatoire Apparié : Ablation d'un nombre égal de têtes dans les mêmes couches qui n'ont pas été sélectionnées par le filtrage. Cela écarte l'hypothèse selon laquelle « l'ablation de n'importe quelles têtes dans ces couches cause une dégradation ».
  2. Limite Supérieure : Ablation de toutes les têtes dans les couches sélectionnées. Cela établit l'effet maximal possible pour cette couche.
• Critère : Un circuit est considéré comme causal si les têtes sélectionnées par le filtrage produisent une dégradation significativement plus grande que le contrôle aléatoire apparié, tandis que la limite supérieure sature près de zéro.

Résultats Clés

1. Replication Trans-Architecture et Trans-Échelle

La recette a été validée sur une plage de paramètres de 8$\times$ (51M à 1B-actif / 7B-total) et trois familles d'architectures (GPT-NeoX dense, style Llama dense, et MoE style Llama) entraînées sur différents pipelines de données (TinyStories, FineWeb, Pile, DCLM).

• Circuit d'Induction : Un petit circuit d'induction (3–6 têtes) a été trouvé être causalement nécessaire pour des tâches d'induction synthétiques dans chaque modèle testé.
• Échelle Sous-Linéaire : Bien que le nombre total de têtes augmente linéairement avec la taille du modèle, la taille du circuit d'induction reste sous-linéaire (3–11 têtes), indiquant que la capacité spécifique ne s'échelle pas linéairement avec la capacité du modèle.

2. La Fraction Conservée des Têtes Spécialisées

Sur la plage d'échelle de 8$\times$ (124M à 410M), la fraction de têtes effectuant un calcul spécialisé identifiable est conservée à $\sim$17–19%.

• Cette fraction a été récupérée indépendamment en utilisant deux méthodes : (1) classer les choix spectraux top-$K$ en classes de capacités, et (2) compter les têtes avec une sélectivité d'induction au-dessus d'un plancher de bruit de distribution nulle.
• Dans les modèles plus grands de la classe 1B, cette fraction varie plus significativement (4,7% à 27,3%) et corréle avec la dominance des attracteurs BOS (puits d'attention) plutôt qu'avec l'échelle du modèle, suggérant que la conservation est une propriété au sein de familles spécifiques d'architectures/données.

3. Pouvoir Prédictif et Spécificité de la Graine

• Spécificité de la Graine : Dans un modèle de 51M de paramètres entraîné avec six graines aléatoires différentes, la recette a identifié des circuits distincts et spécifiques à la graine pour la même tâche. L'ablation du circuit identifié pour la Graine A n'a eu aucun effet sur le modèle de la Graine B, confirmant que la méthode trouve la véritable implémentation du modèle plutôt qu'un motif universel.
• Timing Prédictif : Le signal spectral (Étape 1) augmente avant que la sélectivité de la capacité ne franchisse son seuil fonctionnel. La recette peut identifier le circuit en utilisant seulement une petite fraction (0,3–2%) des tokens d'entraînement totaux, précédant l'émergence complète de la capacité.

4. Robustesse aux Déplacements de Données

Dans un modèle entraîné sur FineWeb puis poursuivi sur OpenWebText, le circuit d'induction identifié au point de terminaison FineWeb est resté invariant (Jaccard = 1,00) à travers le déplacement de données. Les têtes ont maintenu leur sélectivité et leurs trajectoires de PR, suggérant que la méthode identifie une spécialisation structurelle plutôt que des statistiques spécifiques au corpus.

5. Dépendances Compositionnelles

La méthode a identifié avec succès le circuit « jeton précédent » (8–9 têtes) et a démontré son rôle causal dans l'induction. L'ablation du circuit jeton précédent a détruit les performances d'induction, confirmant la structure compositionnelle standard où les têtes jeton précédent construisent les vecteurs clés utilisés par les têtes d'induction.

Signification et Revendications

L'article se positionne comme l'ancrage méthodologique d'un programme de trois articles. Ses revendications principales sont modestes et se concentrent sur la validité de la recette elle-même :

1. La Recette est une Recette, pas un Filtrage Universel : Les auteurs déclarent explicitement que l'Étape 1 (signal spectral) est un indicateur général de spécialisation, et non un détecteur spécifique à la tâche. L'Étape 2 (filtrage) fournit la spécificité de la tâche, et l'Étape 3 (ablation) fournit la falsifiabilité causale. La combinaison est ce qui rend la méthode robuste.
2. Cadrage Honnête des Revendications Causales : L'article souligne que c'est le différentiel « aléatoire apparié » qui rend la revendication causale honnête. Sans ce contrôle, on ne peut pas distinguer entre un circuit spécifique et un effet de couche général.
3. Antécédent Développemental : Le signal spectral précède l'émergence de la sélectivité de la capacité, offrant une fenêtre potentielle pour surveiller la formation des circuits pendant le pré-entraînement (détaillé dans un article compagnon).
4. Limitations : Les auteurs notent que pour les tâches composées (par exemple, l'identification d'objet indirect), le motif d'attention principal peut se découpler de la structure causale de la tâche à travers différentes familles de modèles, nécessitant un ensemble plus large de filtres candidats. De plus, la méthode repose sur des lots d'évaluation fixes, et les têtes de circuit spécifiques peuvent varier entre les ré-entraînements (bien que la fraction de têtes spécialisées semble stable).

En résumé, l'article fournit un cadre reproductible et sans étiquettes pour isoler de petits circuits de têtes d'attention causalement nécessaires, démontrant qu'une fraction conservée de la capacité du modèle est dédiée à un calcul spécialisé qui s'échelle de manière sous-linéaire avec la taille du modèle.