🤖 machine learning

Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks

Cet article introduit un cadre théorique démontrant que la dynamique d'apprentissage des Transformers sur des tâches de raisonnement inductif généralisées est confinée à une variété invariante de faible dimension, permettant la caractérisation de l'apprentissage en contexte par rapport à l'apprentissage dans les poids, la prédiction de la sélection de circuits basée sur l'initialisation, et la détection automatique des circuits appris.

Auteurs originaux : Tiberiu Musat, Tiago Pimentel, Nicholas Zucchet, Thomas Hofmann

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tiberiu Musat, Tiago Pimentel, Nicholas Zucchet, Thomas Hofmann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle de langage Transformer non pas comme un cerveau géant et chaotique composé de millions de neurones s'activant de manière aléatoire, mais comme une piste de danse massive et de haute technologie. Pendant des années, les scientifiques ont observé ces modèles apprendre à raisonner — par exemple, comprendre que si « Alan » est suivi de « Turing » dans une histoire, alors « Alan » devrait être suivi de « Turing » à nouveau plus tard — mais ils ne pouvaient pas expliquer comment les danseurs bougeaient. Ils pensaient que la chorégraphie était trop complexe pour être cartographiée, un fouillis tourbillonnant de millions de paramètres.

Ce papier lâche une bombe : la piste de danse n'est pas du tout désordonnée.

La scène invisible : l'IMIR

Les auteurs ont découvert que lorsqu'un Transformer apprend à raisonner, il ne s'égare pas dans le vide infini de ses millions de réglages possibles. Au lieu de cela, il se retrouve coincé sur une petite scène invisible et de faible dimension appelée l'Invariant Manifold of Inductive Reasoning (IMIR) (Variété Invariante du Raisonnement Inductif).

Considérez tout le cerveau du modèle comme un océan géant en 3D. On s'attendrait à ce que le processus d'apprentissage nage n'importe où dans cet océan. Mais le papier prouve que pour une vaste classe de tâches de raisonnement, le modèle est en réalité confiné sur une seule feuille plate en 2D flottant dans cet océan. Peu importe la façon dont le modèle s'entraîne, il ne quitte jamais cette feuille.

Pourquoi est-ce important ? Parce qu'au lieu d'essayer de comprendre des millions de nombres flottants, nous pouvons désormais décrire toute la capacité de raisonnement du modèle en utilisant seulement une poignée de coordonnées sur cette feuille. C'est comme réaliser que, bien qu'une voiture possède des milliers de pièces, son mouvement sur une route droite peut être décrit par seulement deux nombres : la vitesse et la direction.

Les deux danseurs : Mémoire vs Raisonnement

Sur cette scène spéciale, le modèle doit choisir entre deux manières différentes de résoudre un puzzle :

Le danseur « In-Weights » (Mémorisation) : Ce danseur se contente de mémoriser la réponse. Si l'amorce est « Alan », il se souvient de « Turing » parce qu'il l'a vu un million de fois auparavant. C'est rapide, mais cela ne fonctionne que pour les choses qu'il a déjà vues.
Le danseur « In-Context » (Raisonnement) : C'est la « tête d'induction ». Il observe l'histoire actuelle, trouve un motif (comme le fait que « Alan » est apparu avant « Turing » plus tôt dans le texte) et déduit la réponse à la volée. C'est la magie de la généralisation.

Le papier montre que ces deux danseurs sont en compétition féroce. Si les données sont pleines de motifs communs et répétitifs (comme une histoire où « Alan » est toujours suivi de « Turing »), le danseur « Mémorisation » gagne facilement et prend le contrôle de la scène. Mais si les données sont désordonnées, avec des mots rares et des motifs changeants, le danseur « Raisonnement » doit prendre le relais. Les auteurs prouvent mathématiquement que le danseur « Raisonnement » n'a une chance de bouger que si le danseur « Mémorisation » est privé de victoires faciles.

Le billet de loterie : Qui gagne la danse ?

C'est ici que cela devient vraiment fascinant. Le papier examine pourquoi certains modèles apprennent à raisonner et d'autres non, même s'ils partent des mêmes règles. Il s'avère que tout dépend du mélange initial.

Imaginez que vous avez un jeu de cartes (les poids de départ du modèle). Le papier suggère qu'un « billet gagnant » est caché à l'intérieur de ce jeu de cartes aléatoire : un sous-réseau spécifique et minuscule qui est parfaitement configuré pour apprendre la tâche de raisonnement. Mais attention : quel billet gagnant vous obtenez dépend entièrement de la façon dont les cartes ont été mélangées au tout début.

Les auteurs ont découvert que le circuit « gagnant » n'est pas seulement une question de grands nombres ; c'est une bataille complexe entre différents circuits potentiels. Parfois, un circuit qui devrait perdre gagne en réalité à cause d'une interaction étrange avec un circuit qui devrait gagner. C'est comme un jeu de chaises musicales où la musique s'arrête, et la personne qui s'assoit n'est pas celle qui courait le plus vite, mais celle qui se trouvait par hasard au bon endroit lors du mélange.

Ce que cela exclut

Le papier est très clair sur ce qu'il ne dit pas :

Il ne dit pas que l'apprentissage est un chaos aléatoire. Les auteurs rejettent explicitement l'idée que nous devions suivre des millions de paramètres pour comprendre l'apprentissage. Ils montrent que l'apprentissage est confiné à un chemin prévisible et de faible dimension.
Il ne dit pas que la « Mémorisation » est la seule façon d'apprendre. En fait, ils prouvent que le « Raisonnement » (l'apprentissage inductif) est un mécanisme distinct et nécessaire qui émerge sous des conditions de données spécifiques.
Il ne prétend pas que nous pouvons prédire le vainqueur de la « bataille de circuits » simplement en regardant la taille des poids de départ. Le papier stipule explicitement que les prédicteurs simples (comme « poids initial plus grand = vainqueur ») échouent à expliquer les transitions de phase complexes qu'ils ont observées.

À quel point sont-ils certains ?

Les auteurs ne font pas que deviner ou lancer quelques simulations. Ils ont mathématiquement prouvé que cet « Invariant Manifold » existe pour une classe généralisée de tâches. Ils ont montré que si un modèle commence sur cette feuille, les lois de la descente de gradient (les mathématiques qui enseignent au modèle) garantissent qu'il restera sur cette feuille pour toujours.

Cependant, ils notent que s'ils ont prouvé que le modèle reste sur la feuille, ils n'ont pas mathématiquement prouvé que le modèle est toujours attiré vers la feuille à partir d'un départ aléatoire (bien que leurs expériences le suggèrent). Ils ont également simulé la compétition entre les circuits de « Mémorisation » et de « Raisonnement » pour montrer comment les statistiques des données (comme la fréquence de répétition des mots) font pencher la balance.

La vue d'ensemble

En présentant la formation de ces circuits de raisonnement comme une danse de faible dimension sur une scène spécifique, les auteurs ont franchi une étape majeure vers une « théorie prédictive » de la façon dont les Transformers apprennent. Ils ont transformé une boîte noire de millions de nombres en une carte claire et interprétable. Au lieu de se demander « que fait ce modèle ? », nous pouvons maintenant regarder la carte et dire : « Ah, il est actuellement en train de danser sur la coordonnée de la "tête d'induction", et il perd la bataille face à la coordonnée de "mémorisation" parce que les données sont trop répétitives. »

Ce n'est pas seulement une théorie ; c'est un nouveau prisme qui rend les mécanismes invisibles de l'IA visibles, prévisibles et enfin, compréhensibles.

Résumé technique : Dynamique d'apprentissage invariante des Transformers dans les tâches de raisonnement inductif

Énoncé du problème

Malgré des progrès significatifs dans l'identification des circuits (sous-réseaux) au sein des grands modèles de langage, la dynamique d'apprentissage sous-jacente à leur formation reste mal comprise. Ce manque de compréhension rend l'acquisition de compétences dans les modèles de langage largement imprévisible, compliquant le développement des modèles et posant des risques pour la sécurité de l'IA. Les travaux théoriques précédents sur la dynamique d'apprentissage des Transformers ont été largement restreints à des tâches spécifiques et isolées (par exemple, les n-grammes en contexte ou l'induction k-hop) ou à des architectures simplifiées (par exemple, une ou deux têtes d'attention). Par conséquent, trois phénomènes critiques restent inexpliqués :

Compétition de circuits : Comment différents composants interagissent dynamiquement pendant l'entraînement, particulièrement lorsque plusieurs solutions (par exemple, apprentissage en contexte vs apprentissage dans les poids) sont possibles.
Dépendance aux données : La compréhension mécaniste de la manière dont les propriétés distributionnelles des données (par exemple, la fréquence des tokens, la burstiness/caractère explosif) régissent l'émergence de l'apprentissage en contexte (ICL).
Sensibilité à l'initialisation : Pourquoi certaines initialisations aléatoires produisent des circuits « gagnants » (selon l'hypothèse du ticket de loterie) tandis que d'autres non.

Les auteurs visent à fournir un cadre théorique unifié pour expliquer l'émergence des capacités de raisonnement inductif, en allant au-delà des analyses de tâches spécifiques vers une classe générale de tâches.

Méthodologie

La classe de tâches unifiée : Tâches de type "Block-List"

Les auteurs définissent une classe généralisée de tâches appelées tâches de type Block-List. Dans ces tâches, la prédiction du prochain token dépend d'une liste de $n$ blocs de tokens, où chaque bloc contient au plus $k$ tokens. La tâche consiste à prédire le token suivant le dernier bloc en se basant sur les relations entre les blocs précédents. Cette classe unifie diverses tâches synthétiques présentes dans la littérature, notamment :

Rappel associatif en contexte (structure par paires).
Induction k-hop (associations en chaîne).
n-grammes en contexte.
Identification de l'objet indirect et récupération conditionnelle.

Symétries des données et hypothèses

Pour dériver des résultats généraux, le cadre repose sur des symétries spécifiques inhérentes aux tâches inductives :

Symétries de tokens : Le modèle doit apprendre des relations entre les tokens, et non des identités de tokens spécifiques. La distribution des données est invariante sous un groupe de relabellisations de tokens (automorphismes) qui préservent la structure relationnelle de la tâche (par exemple, échanger des paires associées).
Symétries positionnelles : Les blocs pertinents peuvent apparaître à des décalages (offsets) aléatoires dans le contexte. La distribution des données est invariante aux décalages de ces positions.
Hypothèses architecturales : L'analyse se concentre sur les Transformers composés uniquement d'attention (bien que des extensions aux FFN et à la Layer Norm soient discutées dans les annexes). Les hypothèses clés incluent des plongements (embeddings) orthonormés, des produits clé-requête fusionnés, et des projections valeur-sortie orthogonales fixes.

La Variété Invariante du Raisonnement Inductif (IMIR)

La contribution théorique centrale est l'identification de la Variété Invariante du Raisonnement Inductif (IMIR). Les auteurs prouvent que pour la classe de tâches définie, la dynamique d'entraînement des modèles d'attention est confinée à un sous-espace de faible dimension de l'espace des paramètres.

Construction : L'IMIR est engendrée par un ensemble de matrices de base dérivées d'« actions élémentaires ». Ces actions incluent :
- Matrices de sélection : Opérations sur les plongements de tokens (Identité, mapping d'association $C$ ) et les plongements de position (Identité, matrices de décalage $M, M^2, \dots$ ).
- Bases d'écriture : Comment les têtes écrivent l'information dans le flux résiduel.
- Bases d'action : Comment les têtes d'attention en chaîne transforment les plongements originaux à travers les couches.
Théorème 1 (Confinement du gradient) : Si les poids d'un Transformer appartiennent à l'espace engendré par ces matrices de base (l'espace $S$ ), le gradient attendu de la fonction de perte appartient également à $S$ .
Corollaire 1 (Variété invariante) : Par conséquent, si un modèle est initialisé dans $S$ , la descente de gradient le maintient dans $S$ tout au long de l'entraînement. Cela réduit la dynamique d'apprentissage de millions de paramètres à une poignée de coordonnées interprétables.

Contributions clés et résultats

1. Caractérisation de la compétition de circuits

En utilisant le cadre IMIR, les auteurs analysent la compétition entre l'Apprentissage en Contexte (ICL) et l'Apprentissage dans les Poids (IWL) dans un Transformer à 2 couches et une seule tête.

Mécanisme : L'IMIR permet la décomposition des poids appris en directions interprétables. L'ICL est implémenté par une « tête d'induction canonique » (trois directions spécifiques : $\alpha, \beta, \gamma$ ), tandis que l'IWL est une direction unique ( $\delta$ ) qui mémorise les associations.
Dépendance aux données : Les auteurs prouvent que l'émergence de l'ICL est gouvernée par les statistiques des données. Plus précisément, la présence de tokens communs (qui peuvent être mémorisés via l'IWL) supprime le gradient pour le circuit ICL.
- Théorème 2 : En présence d'un circuit IWL, le gradient de l'ICL est supprimé par un facteur dépendant de la fréquence des tokens rares ( $f_r$ ) et de la variabilité intra-classe ( $f_v$ ).
- Burstiness : À l'inverse, le Théorème 3 démontre que la burstiness des données (répétition de blocs pertinents) amplifie le gradient de l'ICL, accélérant l'émergence des têtes d'induction.

2. Initialisation et circuits « gagnants »

Le cadre explique comment l'initialisation aléatoire détermine quel circuit émerge lorsque plusieurs solutions existent (par exemple, dans un Transformer à 3 couches, différentes paires de couches peuvent former des têtes d'induction).

Transitions de phase : Les auteurs identifient des transitions de phase abruptes dans l'espace d'initialisation. Le circuit « gagnant » n'est pas uniquement déterminé par la magnitude des poids appartenant à ce circuit.
Dynamiques complexes : L'émergence d'un circuit spécifique peut dépendre de l'initialisation des poids en dehors de ce circuit, en raison d'interactions compétitives (par exemple, un circuit stimulant un autre qui inhibe ensuite un troisième). Cela fournit une explication mécaniste pour l'hypothèse du ticket de loterie dans le contexte du raisonnement inductif.

3. Détection automatisée de circuits

La structure de faible dimension et interprétable de l'IMIR permet une nouvelle méthode de découverte automatisée de circuits.

Méthode : En projetant les paramètres appris sur l'IMIR et en ablations les dimensions qui n'impactent pas la performance, les auteurs peuvent récupérer automatiquement les structures de poids précises responsables du raisonnement inductif.
Résultat : Cette approche a réussi à identifier des circuits dans des Transformers profonds pour des tâches d'induction à 2 sauts (2-hop), révélant que les modèles utilisent souvent des directions d'« aide » pour réduire l'attention aux tokens non pertinents, une nuance manquée par l'analyse au niveau de la tête.

Signification et revendications

L'article prétend faire un pas vers une théorie prédictive de la façon dont les Transformers apprennent en présentant la formation de circuits comme un phénomène dynamique de faible dimension.

Unification : Il fournit un cadre théorique unifié qui explique diverses tâches inductives sous une seule structure géométrique, dépassant l'analyse de tâches isolées.
Interprétabilité : Il offre un système de coordonnées hautement interprétable pour les poids des Transformers, permettant aux chercheurs de décrire des circuits de raisonnement complexes comme des sommes d'actions élémentaires.
Aperçu mécaniste : Il fournit la première compréhension mécaniste de la manière dont la distribution des données (fréquence, burstiness) et l'initialisation gouvernent directement la compétition entre différentes stratégies d'apprentissage (ICL vs IWL) et la sélection de circuits spécifiques.
Utilité future : Les auteurs suggèrent que ce cadre peut être utilisé pour concevoir de meilleurs pipelines d'entraînement, élaguer les circuits inutiles pour réduire l'empreinte mémoire et accélérer l'expérimentation en contraignant l'apprentissage à l'IMIR.

Ce travail ne prétend pas résoudre tous les aspects de l'apprentissage des Transformers, mais établit une fondation rigoureuse pour comprendre les dynamiques de raisonnement inductif, avec le potentiel de s'étendre à d'autres classes de tâches et architectures.