🤖 machine learning

Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic

Cet article révèle que les transformers apprennent des compétences arithmétiques par une « compositionnalité brisée » non humaine et pilotée par la corrélation plutôt que par des règles procédurales séquentielles, ce qui entraîne des erreurs de mélange caractéristiques et une faible robustesse qui persistent malgré l'augmentation de la taille du modèle ou la supervision par scratchpad.

Auteurs originaux : Xingyu Zhao, Darsh Sharma, Rheeya Uppaal, Yiqiao Zhong

Publié 2026-08-11

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xingyu Zhao, Darsh Sharma, Rheeya Uppaal, Yiqiao Zhong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment résoudre un puzzle. Dans le monde de l'intelligence artificielle, ces robots sont appelés « Modèles de Langage de Grande Taille » (LLM). Ils sont comme des étudiants super enthousiastes qui ont lu presque tous les livres de la bibliothèque. Ils sont célèbres pour être capables d'écrire des histoires, de déboguer du code et même de résoudre des problèmes mathématiques qui semblent appartenir à un manuel de lycée. Mais voici le piège : ce n'est pas parce qu'un étudiant obtient un « A » à un examen blanc qu'il comprend vraiment les règles du jeu. Si vous modifiez l'examen de façon infime — peut-être en ajoutant un chiffre supplémentaire ou en réorganisant les mots — l'étudiant pourrait soudainement paniquer et échouer de manière étrange et imprévisible. Les scientifiques appellent cela la « fragilité ». C'est comme un château de cartes qui semble parfait jusqu'à ce qu'une légère brise s'engouffre.

Pour comprendre pourquoi cela se produit, les chercheurs observent comment ces modèles « apprennent » de nouvelles compétences. Habituellement, nous espérons qu'ils apprennent comme les humains : étape par étape, en construisant une base solide avant de passer au niveau suivant. Par exemple, lors de l'apprentissage de l'addition, un humain apprend à commencer par la fin (le chiffre des unités), à gérer les « retenues » (lorsqu'un nombre devient trop grand pour une seule position), puis à passer aux dizaines, aux centaines, et ainsi de suite. C'est une façon de penser logique et hiérarchique. Mais et si le robot apprenait les règles dans un ordre complètement différent ? Et s'il apprenait les grands nombres effrayants d'abord et les petits plus tard, ou tentait d'apprendre tout en même temps ? Ce document plonge dans ce mystère, utilisant des puzzles mathématiques simples pour observer comment ces cerveaux numériques développent réellement leurs compétences, révélant qu'ils pourraient prendre un raccourci qui ressemble à l'apprentissage, mais qui n'est pas tout à fait la même chose que la compréhension humaine.

Le puzzle brisé : Comment l'IA apprend les mathématiques à l'envers

Dans cette étude, des chercheurs de l'Université du Wisconsin–Madison ont décidé d'arrêter de deviner pour commencer à observer. Ils ont entraîné de petits modèles d'IA simples (appelés transformers) sur des tâches d'arithmétique synthétiques — consistant essentiellement à leur faire pratiquer l'addition et la multiplication de nombres encore et encore. Mais au lieu de simplement vérifier s'ils obtenaient la bonne réponse à la fin, ils ont observé le processus d'apprentissage au ralenti, chiffre par chiffre. Ils voulaient voir comment les modèles comprenaient les règles.

Ce qu'ils ont découvert ressemble un peu à l'observation d'un enfant essayant de mettre ses chaussures en commençant par les lacets, pour ensuite essayer de comprendre où vont les orteils. Les chercheurs ont découvert que ces modèles d'IA n'apprennent pas les mathématiques comme les humains. Au lieu de commencer par le bas (le chiffre des unités) et de remonter, les modèles apprennent souvent les chiffres les plus élevés en premier.

Imaginez que vous additionnez quatre grands nombres ensemble. Un humain regarderait la colonne des unités, les additionnerait, reporterait l'excédent à la colonne des dizaines, et ainsi de suite. L'IA, cependant, semblait ignorer entièrement la colonne des unités au début. Elle se concentrait sur les milliers et les centaines, apprenant parfaitement ces chiffres alors que la colonne des unités restait un désordre. C'était comme si le modèle essayait de deviner la taille totale du tas avant même de savoir combien il y avait d'objets individuels. Les chercheurs appellent ce phénomène la « compositionnalité brisée ». Cela signifie que le modèle essaie de construire un château de cartes, mais qu'il empile le toit sur le sol en espérant que les fondations rattraperont plus tard.

Le raccourci de la « corrélation »

Pourquoi une IA super intelligente ferait-elle quelque chose d'aussi idiot ? Le papier suggère que la réponse réside dans la façon dont l'IA examine ses données d'entraînement. Les humains apprennent les mathématiques en comprenant la cause et l'effet : « Si j'ajoute ces deux unités, j'obtiens un dix, donc je dois reporter un 1. » L'IA, cependant, semble jouer à un jeu de « correspondance statistique ». Elle regarde les données et demande : « Quels nombres apparaissent généralement ensemble ? »

Les chercheurs ont découvert que les chiffres les plus élevés dans la réponse sont souvent fortement liés aux chiffres les plus élevés dans les nombres d'entrée, quel que soit ce qui se passe dans les chiffres inférieurs. C'est un motif fort, facile à repérer. L'IA s'accroche à ce motif facile en premier parce que c'est le signal le plus évident dans les données. C'est comme un détective qui voit la voiture d'un suspect et suppose immédiatement qu'il est coupable parce qu'il a une voiture rouge, ignorant tous les autres indices. L'IA apprend la règle de la « voiture rouge » (les chiffres élevés) en premier car c'est la corrélation la plus facile à trouver. Ce n'est que plus tard, une fois qu'elle a maîtrisé les chiffres élevés, qu'elle tente de comprendre les règles complexes et désordonnées des chiffres inférieurs.

Pour prouver cela, les chercheurs ont mené une expérience de « sabotage ». Ils ont pris les données d'entraînement et ont brouillé les chiffres de la position des milliers, les rendant aléatoires. Soudain, l'IA ne pouvait plus du tout apprendre les chiffres inférieurs. Elle était bloquée. Cela a prouvé que l'IA n'apprenait pas les règles mathématiques dans un ordre logique ; elle comptait sur les chiffres élevés pour déverrouiller le reste du puzzle. Sans les chiffres élevés, tout le processus d'apprentissage s'effondrait.

Le chaos de l'apprentissage parallèle

Le problème devient encore plus complexe lorsque l'IA essaie d'apprendre plusieurs compétences en même temps. Dans des tâches comme le tri de nombres ou la comparaison, l'IA tente d'apprendre différentes règles en parallèle. C'est comme un étudiant qui essaie d'apprendre à faire du vélo, à jongler et à jouer du piano tout à la fois. Parfois, ces compétences se gênent mutuellement.

Les chercheurs ont découvert que lorsque l'IA apprend ces compétences simultanément, elle crée des « erreurs de mélange ». Imaginez que vous triez une liste de noms. Un humain vérifierait d'abord la longueur du nom, puis la première lettre, puis la seconde. L'IA, cependant, pourrait s'embrouiller. Elle pourrait prendre la première lettre d'un nom et la dernière lettre d'un autre, les recousant pour créer un nouveau mot absurde. Le papier appelle cela des « erreurs de mélange ». C'est comme si l'IA était un chef qui a appris à hacher les oignons et à couper les carottes séparément, mais que lorsqu'on lui demande de faire une salade, il jette accidentellement l'oignon dans le bol des carottes et la carotte dans le bol des oignons, créant un mélange étrange et immangeable.

Cet apprentissage parallèle crée un système fragile. Si vous demandez à l'IA de résoudre un problème légèrement différent de ce qu'elle a vu pendant l'entraînement — comme ajouter un nombre de plus à la liste — elle s'effondre souvent. Les compétences qu'elle a apprises en parallèle commencent à se combattre, et le modèle produit des réponses qui ne sont qu'un mélange confus des entrées.

Est-ce que le fait d'être plus grand ou plus intelligent règle le problème ?

Vous pourriez penser : « D'accord, peut-être que les petits modèles sont juste confus. Qu'en est-il des modèles d'IA géants et super puissants que nous voyons aux informations ? Ou et si nous leur donnions un "bloc-notes" pour écrire leurs pensées, comme le ferait un humain ? »

Les chercheurs ont aussi testé cela. Ils ont entraîné des modèles beaucoup plus grands (jusqu'à 100 millions de paramètres) et ont même affiné un modèle pré-entraîné massif (Pythia-1B) sur ces tâches mathématiques. Ils ont également essayé de donner aux modèles un « bloc-notes » où ils pourraient écrire les étapes du problème mathématique avant de donner la réponse finale.

Le résultat ? Rien n'a changé.

Même les modèles géants apprenaient les chiffres dans le mauvais ordre. Même les modèles avec des blocs-notes continuaient de prioriser les chiffres élevés en premier et avaient du mal avec les chiffres bas. Les blocs-notes ont aidé les modèles à obtenir la bonne réponse plus rapidement, mais ils n'ont pas corrigé le style d'apprentissage sous-jacent. Les modèles continuaient de prendre le « raccourci de la corrélation » plutôt que d'apprendre la véritable logique étape par étape des mathématiques. Cela suggère que simplement rendre l'IA plus grande ou lui donner plus d'outils ne la fait pas automatiquement penser comme un humain. La « compositionnalité brisée » semble être un travers fondamental de la façon dont ces modèles apprennent à partir des données, et non pas seulement un bug spécifique à un petit modèle.

La conclusion

Ce document brosse le portrait d'une IA incroyablement capable mais fondamentalement différente de nous. Elle peut résoudre des problèmes qui ressemblent aux mathématiques humaines, mais elle le fait avec un ensemble de règles internes différent. Elle ne suit pas un algorithme logique et étape par étape ; elle suit une carte de motifs statistiques. Quand ces motifs sont parfaits, l'IA brille. Mais quand les motifs changent ne serait-ce qu'un peu — quand le problème est légèrement différent ou que les données sont désordonnées — le style d'apprentissage « brisé » de l'IA la fait trébucher.

Les chercheurs ne disent pas que l'IA est cassée ou inutile. Ils disent que nous devons comprendre comment elle apprend pour mieux lui faire confiance. Si nous voulons que l'IA soit fiable dans le monde réel, où les problèmes sont rarement parfaits et les données toujours changeantes, nous devons découvrir comment lui apprendre à construire ses compétences dans une hiérarchie stable, semblable à celle de l'humain, plutôt que de la laisser apprendre dans une précipitation chaotique et parallèle. D'ici là, nous devrons peut-être être prudents lorsque nous demanderons à ces étudiants numériques de résoudre un problème qui est juste un peu différent de ceux sur lesquels ils se sont exercés.

Résumé technique : La compositionnalité brisée des Transformers

Énoncé du problème

Les grands modèles de langage (LLM) atteignent fréquemment une précision élevée sur les tests de compositionnalité, mais font preuve de fragilité face à de légers changements de distribution. Bien que les études mécanistes aient révélé des divergences entre les compétences des LLM et celles des humains (reposant souvent sur un « sac d'heuristiques » plutôt que sur des algorithmes unifiés), la dynamique d'apprentissage de l'émergence de ces compositions non canoniques et de la manière dont les distributions de données les façonnent reste obscure. Plus précisément, on ignore comment les compositions non humaines apparaissent pendant l'entraînement et comment elles mènent à des modes de défaillance lors des changements de distribution.

Méthodologie

Les auteurs étudient ces questions en entraînant de petits transformers sur des tâches arithmétiques et logiques synthétiques où la décomposition canonique (humaine) est connue. L'étude emploie une approche boîte noire, agnostique au modèle, pour suivre l'acquisition des compétences tout au long de l'entraînement.

Configuration expérimentale

Tâches :
- Addition : Addition de 4 opérandes ( $a+b+c+d=e$ ) avec des entiers à plusieurs chiffres.
- Multiplication : Multiplication simple ( $a \times b = c$ ) avec $a$ à plusieurs chiffres et $b$ à un seul chiffre.
- Comparaison : Déterminer la relation ( $>, <, =$ ) entre deux entiers à 4 chiffres.
- Tri : Trier une liste d'entiers à 3 ou 4 chiffres.
Génération de données : Les auteurs utilisent des stratégies d'échantillonnage spécifiques, notamment un échantillonnage « doublement équilibré » pour le tri (équilibrant la longueur et la proximité) et des paires de contraste contrôlées pour la comparaison afin d'isoler la performance des sous-compétences.
Métriques :
- Taux d'erreur par chiffre : Suivi des taux d'erreur pour des positions de chiffres spécifiques (ex: unités, dizaines, milliers) au cours des étapes d'entraînement.
- Information Mutuelle (IM) : Mesure des signaux de corrélation disponibles dans les données d'entraînement ( $I(\text{entrée}, \text{sortie})$ et l'IM conditionnelle impliquant les retenues) et comparaison avec les distributions prédictives du modèle pour identifier quand le modèle correspond aux statistiques des données.
- Études d'ablation : Randomisation de chiffres de sortie spécifiques (ex: la place des milliers) pour tester la dépendance vis-à-vis des structures latentes d'ordre supérieur.

Contributions clés

Dynamique d'acquisition non canonique : Le papier identifie un phénomène nommé « compositionnalité brisée », où les transformers acquièrent les sous-compétences arithmétiques dans l'ordre inverse (ex: apprennent les chiffres des milliers avant ceux des unités) ou en parallèle, plutôt que de suivre les règles séquentielles et hiérarchiques utilisées par les humains.
Mécanisme d'appariement corrélationnel : Les auteurs fournissent la preuve que les dynamiques d'apprentissage sont pilotées par un appariement corrélationnel aux données d'entraînement plutôt que par un raisonnement causal ou procédural. Le modèle priorise les signaux de corrélation inconditionnels les plus forts (ex: la relation entre le chiffre le plus élevé de l'entrée et le chiffre le plus élevé de la sortie) avant de débloquer les compétences dépendant de signaux conditionnels (ex: la propagation de la retenue).
Conséquences de l'acquisition parallèle : L'étude démontre que l'acquisition parallèle mène à une compétition de compétences. Lorsque les sous-compétences sont apprises simultanément, elles peuvent interférer les unes avec les autres, provoquant une dégradation transitoire des performances et des « erreurs de mélange » caractéristiques (ex: échange ou répétition de chiffres dans les tâches de tri) sous les changements de distribution.
Persistance à travers les architectures : Ces comportements persistent à travers différentes échelles de modèles (jusqu'à 100M de paramètres), modèles pré-entraînés (Pythia-1B), encodages positionnels alternatifs (RoPE, T5), et même avec une supervision par raisonnement de type « scratchpad ».

Résultats clés

1. Ordres d'apprentissage inverses et bidirectionnels

Addition : Contrairement à l'intuition humaine (unités $\to$ milliers), les modèles apprennent systématiquement les chiffres les plus significatifs en premier. Même lorsque le format de sortie est inversé pour inciter à un ordre humain (unités d'abord), le modèle apprend toujours les chiffres supérieurs en premier, suggérant une préférence interne pour les signaux de corrélation les plus forts.
Multiplication : Les modèles présentent un motif d'acquisition bidirectionnel, apprenant à la fois depuis l'extrémité la plus significative et depuis la place des unités en parallèle, plutôt qu'un ordre séquentiel unique.

2. Les signaux corrélationnels pilotent l'apprentissage

Alignement de l'IM : Des chutes brusques de la perte d'entraînement correspondent précisément aux moments où les prédictions du modèle correspondent à la structure de l'information mutuelle des données d'entraînement. Le modèle exploite d'abord le signal inconditionnel $I(a_1, e_0)$ (chiffre le plus élevé) et n'acquiert que plus tard les compétences dépendant de signaux conditionnels comme $I(a_i, e_i | c_{i-1})$ (retenue).
Preuve par ablation : Lorsque les chiffres d'ordre supérieur (ex: place des milliers) sont randomisés dans les données d'entraînement, le modèle échoue à apprendre les chiffres d'ordre inférieur, confirmant que l'acquisition des compétences inférieures est bloquée par la représentation réussie des structures latentes d'ordre supérieur.

3. Compétition de compétences et fragilité

Tâche de comparaison : Les modèles présentent des courbes d'apprentissage non monotones où l'acquisition d'une sous-compétence (ex: prédire l'égalité) interfère temporairement avec une autre (ex: comparer le chiffre des milliers), entraînant un pic temporaire des taux d'erreur.
Tâche de tri : L'apprentissage parallèle conduit à des « erreurs de mélange » où le modèle produit des entiers construits à partir de fragments de différentes entrées (ex: échanger le dernier chiffre de deux nombres). Ces erreurs sont exacerbées lorsque les indices d'entrée entrent en conflit, démontrant que l'acquisition parallèle non humaine crée une fragilité concrète sous les changements de distribution.

4. Tests de robustesse

Mise à l'échelle (Scaling) : Augmenter la taille du modèle (10M $\to$ 100M) ou utiliser des modèles pré-entraînés n'élimine pas l'ordre d'apprentissage inverse.
Scratchpads : Bien que les formats de scratchpad (décomposition explicite) accélèrent la convergence, ils ne restaurent pas l'ordre d'apprentissage séquentiel humain ; le modèle priorise toujours les chiffres d'ordre supérieur ou apprend les chiffres restants en parallèle.
LLM modernes : Les évaluations sur des LLM modernes (Llama, Mistral, Qwen) utilisant des templates GSM8K avec des clauses étendues montrent une fragilité similaire : la précision diminue à mesure que le nombre d'opérandes augmente, et les modèles omettent ou répètent fréquemment des termes, reflétant les erreurs de mélange observées dans les petits transformers.

Signification et affirmations

Le papier prétend proposer un compte rendu agnostique au modèle d'un mode de défaillance de la compositionnalité ancré dans les dynamiques d'entraînement. Il soutient que la fragilité des LLM n'est pas simplement une limitation architecturale statique, mais une conséquence de la manière dont l'optimisation par gradient priorise les signaux corrélationnels sur les règles procédurales.

Décalage avec le raisonnement humain : Ce travail souligne un décalage fondamental entre l'acquisition de compétences au moment de l'entraînement (pilotée par les corrélations de données) et les compositions hiérarchiques humaines requises pour un raisonnement robuste.
Implications pour la sécurité et la fiabilité : Les résultats suggèrent que le raisonnement « presque » correct est fragile ; les modèles peuvent sembler composer correctement les compétences sur des données de distribution interne, mais échouer de manière imprévisible lorsque la demande de composition est perturbée. Cela a des implications directes pour l'alignement, la sécurité et la fiabilité des LLM dans des contextes hors distribution.
Limites : Les auteurs reconnaissent que leur analyse est intentionnellement « boîte noire », révélant que l'acquisition non humaine se produit et quelles en sont les conséquences, mais pas les circuits internes spécifiques qui les implémentent. Ils suggèrent que les travaux futurs devraient combiner cette vue de la dynamique d'entraînement avec une analyse mécaniste « boîte blanche ».