💬 NLP

Language Models Learn Universal Representations of Numbers and Here's Why You Should Care

Cette étude démontre que les grands modèles de langage développent des représentations universelles et interchangeables des nombres sous forme de structures sinusoïdales systématiques, dont la prise en compte est essentielle pour évaluer leur précision numérique et dont l'optimisation mécanique permet de réduire leurs erreurs arithmétiques.

Auteurs originaux : Michal Štefánik, Timothee Mickus, Marek Kadlčík, Bertram Højer, Michal Spiegel, Raúl Vázquez, Aman Sinha, Josef Kuchař, Philipp Mondorf, Pontus Stenetorp

Publié 2026-04-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Michal Štefánik, Timothee Mickus, Marek Kadlčík, Bertram Højer, Michal Spiegel, Raúl Vázquez, Aman Sinha, Josef Kuchař, Philipp Mondorf, Pontus Stenetorp

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Secret des Nombres dans le Cerveau des IA

Imaginez que les grands modèles de langage (comme ceux qui écrivent des textes ou répondent à vos questions) soient de gigantesques bibliothèques remplies de livres. Quand on leur demande de faire des maths, on s'attend à ce qu'ils ouvrent un livre de calcul. Mais cette étude révèle quelque chose de plus fascinant : les IA ne "lisent" pas les nombres comme nous. Elles les "chantent".

Voici les trois grandes découvertes de l'article, expliquées simplement :

1. Tout le monde chante la même chanson 🎵

Auparavant, on pensait que chaque modèle d'IA apprenait à comprendre les nombres à sa manière, comme si chaque enfant apprenait à compter avec des règles différentes.

Les chercheurs ont découvert que ce n'est pas le cas. Que ce soit un petit modèle ou un géant, qu'il vienne d'Amérique, d'Europe ou d'Asie, tous les modèles apprennent à représenter les nombres exactement de la même façon.

L'analogie : Imaginez que si vous demandiez à 100 musiciens différents de jouer la note "Do", ils joueraient tous exactement la même fréquence sonore. De même, quand une IA voit le nombre "5", elle le transforme en une onde mathématique (une sinusoïde) qui est identique à celle d'une autre IA. C'est un langage universel, presque parfait, que toutes ces machines ont découvertes par elles-mêmes.

2. Le piège des lunettes mal adaptées 👓

Jusqu'à présent, les scientifiques utilisaient des outils pour "lire" ce que pensait l'IA. Mais ces outils étaient comme des lunettes de soleil portées par quelqu'un qui essaie de lire un menu en noir et blanc : ça brouille tout.

Le problème : Les outils classiques (comme le "TunedLens") pensaient que les IA perdaient vite le fil des grands nombres (comme "1 234 567"). Ils concluaient que les IA étaient nulles en maths.
La révélation : En utilisant une nouvelle "lunette" spécialement conçue pour voir ces ondes mathématiques (le probe sinusoïdal), les chercheurs ont vu la vérité : l'IA retient les nombres beaucoup mieux qu'on ne le pensait ! Elle garde l'information intacte, mais les vieux outils ne pouvaient pas la voir car ils ne cherchaient pas la bonne "forme" de l'information.

3. Changer la note pour corriger les erreurs 🎹

C'est la partie la plus magique. Puisque les nombres sont représentés par des ondes, si l'IA fait une erreur de calcul, c'est souvent parce que l'onde est un peu "fausse" ou déformée.

L'expérience : Les chercheurs ont pris des IA qui faisaient des erreurs de multiplication ou de division. Au lieu de les réentraîner pendant des mois, ils ont simplement "poussé" légèrement l'onde mathématique interne vers la forme correcte (comme accorder une guitare).
Le résultat : Cela a suffi à corriger jusqu'à 40 % des erreurs instantanément ! C'est comme si, au lieu d'apprendre à un élève à refaire tout son cours, on lui montrait juste comment bien tenir son crayon pour que son écriture devienne parfaite.

🌍 Pourquoi cela nous concerne-t-il ?

Cette étude nous apprend deux choses cruciales pour l'avenir :

La nature est universelle : Les IA ne sont pas des boîtes noires incompréhensibles. Elles ont découvert des lois mathématiques fondamentales (comme les ondes) pour gérer les nombres, tout comme la nature utilise des spirales pour les coquillages ou les galaxies.
Il faut les outils adaptés : Si vous voulez comprendre ou améliorer une IA, vous ne pouvez pas utiliser les mêmes outils pour tout. Pour les nombres, il faut des outils spécialisés qui comprennent leur nature "ondulatoire". Sinon, on risque de sous-estimer leur intelligence ou de ne pas savoir comment les réparer quand elles se trompent.

En résumé : Les IA ne comptent pas avec des doigts, elles comptent avec des ondes. Et une fois qu'on a compris la mélodie, on peut non seulement mieux les comprendre, mais aussi les corriger en ajustant simplement la musique. 🎶🤖

1. Problématique et Contexte

Les modèles de langage (LLM) montrent des capacités prometteuses en mathématiques, mais leur fiabilité et leur robustesse restent des défis majeurs. Des travaux antérieurs ont identifié que les représentations des nombres dans les LLM suivent une structure sinusoïdale (basée sur des opérations trigonométriques), notamment au niveau des embeddings d'entrée. Cependant, ces études présentent des limites :

Elles se concentrent souvent uniquement sur les embeddings d'entrée ou sur des contextes mathématiques synthétiques.
Elles ne quantifient pas précisément l'alignement entre différents modèles ou familles de modèles.
Elles négligent l'impact des contextes en langage naturel, ce qui restreint la généralisabilité des outils d'interprétabilité existants.

L'objectif de cet article est de combler ces lacunes en établissant une vue d'ensemble holistique de la manière dont les LLM traitent les nombres, en vérifiant l'universalité de ces représentations et en développant des outils d'analyse adaptés.

2. Méthodologie

Les auteurs proposent une approche rigoureuse combinant analyse spectrale, sondes (probes) neuronales et interventions mécanistiques.

A. Analyse de la Similarité Représentationnelle (RSA) et Décomposition de Fourier

Comparaison inter-modèles : Les auteurs utilisent l'Analyse de Similarité Représentationnelle (RSA) pour comparer les embeddings d'entrée de nombres entre huit LLMs de différentes tailles et familles (OLMo, Llama 3, Phi 4).
Analyse fréquentielle : Ils appliquent une transformation de Fourier (après une réduction de dimension par PCA) aux embeddings pour identifier les fréquences dominantes. Ils mesurent le chevauchement (Intersection-over-Union) des $k$ premières fréquences entre les modèles.

B. Développement de Sondes Sinusoïdales Avancées

Pour décoder les représentations internes, les auteurs conçoivent une nouvelle sonde, param-sin, qui va au-delà des sondes linéaires ou sinusoïdales précédentes :

Architecture : Au lieu d'utiliser une matrice fixe, cette sonde attribue une onde sinusoïdale unique à chaque caractéristique latente. Elle optimise directement les paramètres de fréquence, de déphasage et d'amplitude pour chaque onde.
Formulation : $f_{param-sin}(x) = S^T (W_{in}x)$ , où $S$ est contraint pour prendre la forme de $d$ ondes sinusoïdales échantillonnées.
Entraînement : Contrairement aux travaux précédents utilisant des commandes arithmétiques synthétiques, les sondes sont entraînées sur des données en langage naturel (domaines temporels, médicaux, culinaires, arithmétiques) pour garantir une généralisation pratique.

C. Évaluation de la Généralisation et Interventions

Transférabilité : Les sondes sont entraînées sur une couche spécifique et testées sur d'autres couches (cross-layer) et sur d'autres modèles pour vérifier l'universalité.
Comparaison d'outils : Les résultats sont comparés à des outils généralistes comme TunedLens et des sondes linéaires.
Intervention Mécanistique (Steering) : Pour prouver le lien de causalité, les auteurs "orientent" (steer) les activations des couches internes vers le motif sinusoïdal attendu lors de prédictions erronées (multiplication/division) et mesurent la réduction des erreurs.

3. Résultats Clés

A. Universalité des Représentations Sinusoïdales

Alignement Inter-Modèles : Les modèles de familles différentes convergent vers des structures d'embeddings de nombres quasi-identiques. Pour les 63 premières fréquences de Fourier, il y a un accord parfait entre tous les modèles analysés.
Cohérence Inter-Couches : La structure sinusoïdale est maintenue tout au long du processus de traitement du modèle (de l'entrée à la sortie), bien que les couches initiales et finales présentent une dispersion de l'information (moins dense) par rapport aux couches intermédiaires.
Généralisation des Contextes : Les sondes entraînées sur du langage naturel sont beaucoup plus robustes et généralisent mieux aux contextes mathématiques que l'inverse. Les sondes basées sur des données synthétiques échouent à capturer la réalité des applications pratiques.

B. Supériorité des Sondes Sinusoïdales

Décodage Multi-Jetons : Pour les grands nombres (2 à 6 jetons), les sondes sinusoïdales (param-sin) récupèrent les valeurs avec une précision de 99% pour le jeton précédent immédiat, là où les outils généralistes (TunedLens) sous-estiment gravement cette capacité (précision < 50% au-delà de 2 étapes).
Suivi des Sorties : La sonde param-sin permet de suivre la précision des résultats arithmétiques (addition, soustraction, multiplication, division) à travers les couches avec une précision > 80%, contredisant l'hypothèse d'un raffinement progressif lent observée avec d'autres méthodes.

C. Lien entre Sinusoïdalité et Précision

Corrélation : Une analyse mécanique montre que lorsque le modèle fait une erreur, la précision de la représentation sinusoïdale diminue.
Correction d'Erreurs : En forçant mécaniquement les activations vers le motif sinusoïdal optimal, les auteurs réussissent à corriger jusqu'à 30% des erreurs de multiplication et 42% des erreurs de division sur des cas précédemment erronés.

D. Généralisation aux Données Ordinales

La méthode s'étend avec succès à d'autres données ordinales cycliques (jours de la semaine, mois), validant l'hypothèse que les LLM utilisent des structures circulaires/sinusoïdales pour ces concepts, même avec des ensembles de données d'entraînement extrêmement petits (ex: 6 exemples pour 7 jours).

4. Contributions Principales

Nouvelle Sonde (param-sin) : Développement d'un outil de sondage plus précis et généralisable pour les valeurs numériques, surpassant les méthodes linéaires et sinusoïdales précédentes.
Preuve d'Universalité : Quantification démontrant que les représentations numériques sinusoïdales sont universelles à travers différentes familles de modèles, tailles et couches, au-delà des simples embeddings d'entrée.
Importance du Langage Naturel : Première analyse montrant que l'entraînement sur des contextes réels (langage naturel) est crucial pour créer des sondes interprétables et généralisables, contrairement aux contextes synthétiques.
Preuve Mécanistique : Démonstration que la précision de la sinusoïdalité détermine la précision arithmétique du modèle, et que l'intervention sur cette structure permet de réduire les erreurs.

5. Signification et Implications

Ce travail remet en question l'utilisation d'outils d'interprétabilité "génériques" pour des données spécialisées comme les nombres. Il démontre que :

Les LLM ne traitent pas les nombres de manière arbitraire, mais adoptent une convergence structurelle universelle basée sur des principes trigonométriques.
L'absence de prise en compte de cette structure sinusoïdale conduit à une sous-estimation massive des capacités réelles des modèles (comme le montre l'échec de TunedLens sur les nombres).
Pour améliorer la fiabilité des LLM en mathématiques, il est nécessaire de concevoir des outils d'analyse et d'intervention spécifiques à la nature des données (ici, les structures périodiques).

En résumé, l'article fournit une base théorique et pratique solide pour comprendre, interpréter et corriger le comportement des LLM face aux données numériques, en exploitant leur régularité sinusoïdale intrinsèque.