💬 NLP

Convergent Evolution: How Different Language Models Learn Similar Number Representations

Cette étude révèle un phénomène d'évolution convergente où divers modèles de langage apprennent des représentations périodiques similaires des nombres, mais démontre que la capacité à les classer géométriquement dépend de facteurs spécifiques tels que les données, l'architecture et l'optimiseur, qui peuvent fournir des signaux d'apprentissage distincts.

Auteurs originaux : Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

Publié 2026-04-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Titre : "L'Évolution Convergente des Langages"

Imaginez que vous avez un groupe d'élèves très différents : un génie en mathématiques (un modèle Transformer), un artiste qui dessine (un modèle RNN), et même un simple classeur de mots (un vieux dictionnaire). Vous leur donnez le même livre de contes à lire pour apprendre à compter.

Ce que cette étude découvre, c'est que tous ces élèves finissent par dessiner les mêmes formes magiques quand ils pensent aux nombres. C'est ce qu'on appelle l'évolution convergente : comme les ailes des oiseaux et celles des chauves-souris qui ont évolué séparément mais qui ressemblent pour voler, ces modèles d'IA apprennent la même "danse" pour comprendre les chiffres, même s'ils sont construits différemment.

1. La Danse des Chiffres (Les Pics de Fourier)

Quand on regarde comment ces modèles "voient" les nombres (par exemple, 1, 2, 3... 1000), on découvre qu'ils ne les voient pas comme une simple liste. Ils les voient comme une musique.

L'analogie : Imaginez que chaque nombre a une fréquence radio. Les chercheurs ont découvert que, pour presque tous les modèles, les nombres "chantent" fort sur trois notes spécifiques :
- La note 2 (pair/impair).
- La note 5 (les nombres qui finissent par 0 ou 5).
- La note 10 (les dizaines).

C'est comme si, en apprenant à lire, tous les modèles avaient découvert que les nombres ont un cycle caché, un rythme de 2, 5 et 10 battements. C'est ce qu'ils appellent la convergence spectrale. C'est universel : même un simple compteur de mots (sans intelligence artificielle complexe) fait cette musique !

2. Le Problème : Entendre la musique ne suffit pas à danser

C'est ici que ça devient intéressant. Avoir ces "pics" musicaux (les pics de Fourier) ne signifie pas que le modèle sait vraiment utiliser les nombres.

L'analogie : Imaginez deux pianistes.
- Le Pianiste A (Transformer) entend la musique et peut jouer une mélodie parfaite. Il sait dire : "Si je prends 13 et que je le divise par 10, le reste est 3". Il peut faire des calculs.
- Le Pianiste B (LSTM) entend la musique encore plus fort que le premier ! Ses pics sont immenses. Mais quand on lui demande de jouer la mélodie (de faire le calcul), il est perdu. Il joue n'importe quoi.

C'est le grand secret de l'article : Avoir une belle structure musicale (spectrale) ne garantit pas qu'on sait danser (géométriquement).

3. Pourquoi certains savent danser et pas d'autres ?

Les chercheurs ont joué au "Docteur Frankenstein" pour voir ce qui fait la différence. Ils ont changé trois ingrédients :

La Data (Le Livre) : Si vous enlevez les phrases qui relient les nombres aux mots (ex: "j'ai mangé 3 pommes"), le modèle perd sa capacité à calculer, même si la musique reste là. Il a besoin de voir comment les nombres interagissent avec le monde.
L'Architecture (Le Cerveau) : Certains types de modèles (comme les Transformers) sont naturellement doués pour organiser ces nombres en cercles parfaits, comme une horloge. D'autres (comme les vieux LSTM) font une grosse boule de pâte désordonnée, même si la musique est forte.
L'Entraînement (Le Professeur) : La façon dont on entraîne le modèle compte aussi.

4. Le Secret du "Token" (La façon d'écrire les nombres)

Le dernier point est crucial. Comment l'IA voit-elle le nombre "12345" ?

Cas 1 (Multi-jeton) : L'IA voit "1", "2", "3", "4", "5" séparément. Pour additionner, elle doit faire des petits calculs étape par étape (comme une retenue en mathématiques). Cela force son cerveau à créer une structure de cercle parfait pour gérer les cycles. Résultat : Elle apprend à calculer.
Cas 2 (Mono-jeton) : L'IA voit "12345" comme un seul bloc magique. Elle n'a pas besoin de faire de petits calculs. Elle peut juste "deviner" la réponse par hasard. Résultat : Elle ne développe pas de vraie structure mathématique.

En Résumé

Cette étude nous dit deux choses importantes :

L'IA apprend des structures cachées (comme des cycles de 2, 5, 10) partout, même dans des modèles très simples. C'est une forme d'évolution naturelle due à la façon dont les nombres sont écrits dans nos livres.
Ne vous fiez pas aux apparences. Juste parce qu'un modèle a une belle structure interne (des pics de musique), cela ne veut pas dire qu'il comprend vraiment les mathématiques. Il faut regarder s'il peut utiliser cette structure pour résoudre des problèmes.

C'est comme dire : "Ce n'est pas parce qu'un oiseau a de belles plumes colorées qu'il sait voler. Il faut vérifier s'il a les muscles pour battre des ailes !"

1. Problématique et Contexte

Les modèles de langage (LLM) entraînés sur du texte naturel développent des représentations périodiques pour les jetons numériques. Des travaux antérieurs ont montré que les embeddings d'entiers présentent des pics dans le domaine de Fourier aux périodes $T = 2, 5$ et $10$. Cependant, une question fondamentale restait ouverte : ces pics spectraux signifient-ils que le modèle a appris une structure numérique fonctionnelle (c'est-à-dire capable de réaliser une arithmétique modulaire) ?

Les auteurs identifient une hiérarchie à deux niveaux dans l'apprentissage de ces représentations :

Convergence Spectrale : L'apparition de pics de Fourier aux périodes $T=2, 5, 10$ .
Convergence Géométrique : La capacité à classer linéairement les nombres selon leur reste modulo $T$ (c'est-à-dire que la classe $n \mod T$ est linéairement séparable dans l'espace des embeddings).

Le problème central est de comprendre pourquoi la convergence spectrale est quasi-universelle, tandis que la convergence géométrique est sélective et dépend de facteurs spécifiques.

2. Méthodologie

L'étude combine une analyse théorique rigoureuse et des expériences empiriques contrôlées.

A. Analyse Théorique

Les auteurs prouvent que la présence de pics de Fourier (puissance spectrale $\Phi_T$ ) est une condition nécessaire mais non suffisante pour la séparabilité géométrique.

Théorème 1 : Ils démontrent que $\Phi_T > 0$ implique que la matrice de dispersion inter-classe ( $S_B$ ) est non nulle, mais ne garantit pas la séparabilité.
Rôle du bruit intra-classe : La séparabilité dépend du rapport entre la variance inter-classe et la variance intra-classe ( $S_W$ ). Si la variance intra-classe est anisotrope et alignée avec le signal périodique (un grand nombre de conditionnement de $S_W$ ), le signal périodique peut être "noyé" par le bruit, rendant la classification linéaire impossible malgré des pics de Fourier visibles.

B. Expérimentations Empiriques

Les auteurs entraînent des modèles de ~300M paramètres sur 10 milliards de tokens (FineWeb-Edu) en faisant varier systématiquement quatre facteurs :

Architecture : Transformers, RNN linéaires (Gated DeltaNet, Mamba-2), LSTM, et embeddings classiques (GloVe, FastText).
Optimiseur : AdamW vs Muon.
Données (Perturbations structurales) :
- Isolate-k : Limite le nombre de jetons numériques par séquence pour réduire les interactions entre nombres.
- Context Length : Réduit la fenêtre de contexte.
- Swap Numbers : Remplace les séquences de nombres par d'autres tout en gardant le contexte textuel (dissocie texte et nombre).
- Unigram Replace : Remplace chaque nombre par un échantillon aléatoire selon la distribution marginale (détruit toute structure de co-occurrence).
Tâche d'entraînement : Comparaison entre l'entraînement sur du texte naturel et l'entraînement sur des problèmes d'addition (9 chiffres vs 3 chiffres).

Les représentations sont évaluées via :

Le spectre de Fourier des embeddings.
La précision d'un probe linéaire (régression logistique) pour prédire $n \mod T$ , mesurée par le coefficient kappa de Cohen ( $\kappa$ ).

3. Résultats Clés

A. Universalité de la Convergence Spectrale

La convergence spectrale (pics à $T=2, 5, 10$ ) est universelle. Elle apparaît dans :

Tous les architectures étudiées (Transformers, LSTMs, Mamba, etc.).
Les embeddings classiques (GloVe, FastText).
Même la distribution brute de fréquence des jetons dans le corpus d'entraînement (sans aucun modèle appris).
Conclusion : Les pics de Fourier sont une propriété statistique inhérente à la distribution des nombres dans le langage naturel et à la tokenisation, et non nécessairement une preuve d'apprentissage de structure.

B. Sélectivité de la Convergence Géométrique

La convergence géométrique (capacité à faire du modulo) est sélective et dépend de l'alignement de plusieurs facteurs :

Architecture : Les Transformers et les RNN linéaires apprennent des représentations géométriquement séparables. Les LSTMs, même entraînés sur les mêmes données, apprennent des pics de Fourier plus marqués mais échouent à la classification linéaire (niveau du hasard). Cela est dû à une structure de bruit intra-classe défavorable chez les LSTMs.
Données : La convergence géométrique nécessite des signaux de co-occurrence complémentaires :
- L'association texte-nombre est cruciale (la perturbation "Swap Numbers" fait chuter la performance).
- L'interaction entre nombres (plusieurs nombres dans une fenêtre d'attention) améliore la performance.
- Le contexte long aide à accumuler des statistiques de co-occurrence riches.
Optimiseur : L'effet de l'optimiseur (Muon vs AdamW) dépend de l'architecture. Muon améliore généralement les Transformers, mais l'architecture reste le facteur dominant.

C. L'Impact de la Tokenisation sur l'Addition

Lors de l'entraînement sur des tâches d'arithmétique pure :

Addition multi-jetons (9 chiffres) : Force le modèle à résoudre des sous-problèmes modulaires (gestion des retenues). Cela conduit à une convergence spectrale ET géométrique parfaite, indépendamment de l'optimiseur.
Addition mono-jeton (3 chiffres) : Aucun signal de contrainte modulaire n'est imposé (la séquence $a+b=c$ est identique que ce soit en mod-1000 ou mod-1111). Les représentations deviennent aléatoires, dépendantes de l'initialisation et de l'optimiseur, sans convergence géométrique.

4. Contributions Principales

Dissociation Spectre/Géométrie : Démonstration théorique et empirique que les pics de Fourier sont nécessaires mais insuffisants pour garantir une structure fonctionnelle (arithmétique modulaire).
Concept d'Évolution Convergente : Identification de deux voies distinctes par lesquelles les modèles acquièrent des représentations similaires :
- Via les contraintes statistiques du langage naturel (convergence spectrale universelle).
- Via des signaux de co-occurrence spécifiques et des architectures adaptées (convergence géométrique sélective).
Méthodologie d'Attribution Structurelle : Introduction d'une approche de perturbation contrôlée pour attribuer l'émergence de représentations à des propriétés structurelles des données (co-occurrence, contexte), offrant une alternative aux méthodes d'attribution basées sur les exemples individuels (comme les fonctions d'influence).
Rôle de la Tokenisation : Mise en évidence du fait que la tokenisation multi-jetons crée des contraintes algorithmiques (sous-problèmes modulaires) qui forcent l'apprentissage de structures géométriques, là où la tokenisation mono-jeton ne le fait pas.

5. Signification et Implications

Interprétabilité : Les diagnostics basés uniquement sur l'analyse spectrale (pics de Fourier) peuvent être trompeurs. Un modèle peut sembler avoir appris des structures cycliques (jours, mois, nombres) sans pour autant pouvoir les exploiter fonctionnellement.
Compréhension des LLM : L'étude suggère que les représentations "convergentes" ne signifient pas toujours que le modèle a appris la même chose fonctionnellement. Des architectures différentes peuvent converger vers des formes statistiques similaires (pics) mais diverger radicalement dans leur capacité à effectuer des tâches (séparabilité linéaire).
Conception de Modèles : Pour apprendre des structures arithmétiques robustes, il ne suffit pas d'augmenter la taille des données ; l'architecture (ex: Transformers vs LSTM) et la nature des tâches d'entraînement (contraintes modulaires explicites via la tokenisation) sont déterminantes.

En résumé, cet article établit que l'apprentissage de représentations numériques dans les LLM est un phénomène d'évolution convergente où des systèmes différents développent des traits similaires sous des contraintes partagées, mais où la fonctionnalité réelle de ces traits dépend de conditions d'apprentissage beaucoup plus strictes que la simple présence de motifs statistiques.