💬 NLP

LLMs Know More About Numbers than They Can Say

Cette étude révèle que, bien que les grands modèles de langage échouent souvent à comparer verbalement des nombres de notations différentes, leurs états internes codent précisément leurs magnitudes logarithmiques et leur classement, ce qui suggère que l'amélioration de ces représentations internes peut renforcer leurs capacités de raisonnement numérique.

Auteurs originaux : Fengting Yuchi, Li Du, Jason Eisner

Publié 2026-02-18

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Fengting Yuchi, Li Du, Jason Eisner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Secret des Géants du Numérique : Ils savent, mais ils ne disent pas

Imaginez que vous avez un ami très intelligent, disons un génie de 7 ans (c'est ce qu'on appelle un modèle de langage de 7 milliards de paramètres, comme Llama ou Mistral).

Si vous lui demandez : "Quel est le plus grand : 570 ou 580 ?", il répondra immédiatement : "580 !".
Si vous lui demandez : "Combien font 5,7 fois 100 ?", il dira : "570".

Mais voici le problème étrange découvert par les chercheurs :
Si vous lui demandez : "Lequel est plus grand : 5,7 x 10² ou 580 ?", ce génie commence à bafouiller. Il hésite, il se trompe, et il finit souvent par répondre au hasard (50 % de réussite).

C'est comme si votre ami connaissait parfaitement les nombres, mais qu'il avait un trou noir dans sa mémoire dès qu'il doit comparer deux nombres écrits différemment (l'un en "notation scientifique", l'autre en "chiffres normaux").

🔍 L'Expérience : La Radiographie du Cerveau

Les chercheurs se sont demandé : "Est-ce que ce génie ne sait vraiment pas faire le calcul, ou est-ce qu'il le sait mais ne peut pas l'expliquer ?"

Pour le savoir, ils n'ont pas demandé à l'ordinateur de parler. Ils ont fait une radiographie de son cerveau (en regardant ses "états cachés", c'est-à-dire les signaux électriques internes qui circulent quand il lit les chiffres).

1. La Révélation : Le génie sait tout !

En utilisant une simple règle de mathématiques (une "projection linéaire"), les chercheurs ont pu lire dans le cerveau du modèle.

Résultat : Le modèle possède une carte mentale très précise de la taille de ces nombres. Il sait exactement que $5,7 \times 10^2$ est égal à 570.
L'analogie : C'est comme si vous aviez un coffre-fort rempli d'or (la connaissance des nombres), mais que vous aviez perdu la clé pour l'ouvrir et montrer l'or aux autres. Le modèle a l'or, mais il ne sait pas le sortir.

2. Le Paradoxe : Savoir vs Dire

Même si le modèle a cette information précise dans sa tête (avec une précision de 95 % à 98 %), quand on lui demande de parler (de verbaliser la réponse), il tombe à 50-70 % de réussite.

L'analogie : Imaginez un chef cuisinier qui connaît par cœur la recette d'un gâteau (il a les ingrédients dans sa tête), mais quand il essaie de le dire à voix haute, il oublie les étapes et dit n'importe quoi.

🛠️ La Solution : Apprendre à "Parler" ce qu'il "Sait"

Les chercheurs ont eu une idée géniale. Au lieu de simplement entraîner le modèle à répondre à la question, ils ont ajouté un coach invisible pendant l'entraînement.

Ce coach ne regarde pas la réponse finale du modèle. Il regarde le cerveau du modèle pendant qu'il réfléchit.

Si le cerveau du modèle hésite ou ne voit pas bien la différence entre les deux nombres, le coach dit : "Non, non ! Regarde mieux dans ta tête, tu sais que l'un est plus grand !"
Ils ont forcé le modèle à entraîner sa "mémoire interne" pour qu'elle soit plus claire, en plus d'entraîner sa "bouche" pour qu'elle réponde juste.

Le Résultat Magique

Après cet entraînement spécial :

Le modèle ne s'est pas seulement amélioré dans sa tête.
Sa capacité à répondre correctement a bondi ! Certains modèles sont passés de 50 % de réussite à 99 %.

💡 La Grande Leçon

Cette étude nous apprend deux choses fondamentales sur l'intelligence artificielle :

Ils savent plus qu'ils ne peuvent dire : Les modèles ont souvent des connaissances cachées très précises, mais leur façon de les exprimer (leur "langage") est parfois bloquée ou confuse.
Pour bien parler, il faut bien penser : En améliorant la façon dont le modèle "pense" (ses représentations internes), on améliore automatiquement la façon dont il "parle".

En résumé :
Ces ordinateurs ne sont pas des idiots qui ne comprennent pas les maths. Ce sont des savants timides qui ont peur de se tromper quand les chiffres sont écrits bizarrement. Mais si on leur donne un petit coup de pouce pour qu'ils aient plus confiance en leur propre cerveau, ils deviennent soudainement des experts infaillibles !

1. Problématique

L'article aborde une contradiction fondamentale dans les capacités des grands modèles de langage (LLM) modernes. Bien que ces modèles excellent dans la résolution de problèmes mathématiques complexes et la génération de texte scientifique, ils échouent de manière surprenante sur des tâches simples de comparaison numérique entre notations mixtes.

Le paradoxe : Des modèles de pointe (comme GPT-4.1) peuvent répondre correctement à "Quel est le résultat de $5.7 \times 10^2$ ?", mais échouent fréquemment à déterminer correctement quelle est la plus grande valeur entre " $5.7 \times 10^2$ " et "$580$".
La question centrale : Les LLM possèdent-ils une véritable "sens du nombre" (une représentation interne de la magnitude des nombres) qu'ils ne parviennent pas à verbaliser, ou leur échec provient-il d'une incapacité à manipuler les symboles textuels au-delà de leur notation spécifique ?

2. Méthodologie

Les auteurs ont adopté une approche de sondage (probing) des états cachés (hidden states) de plusieurs LLM open-source (de taille 7B à 8B) pour révéler leurs connaissances internes, sans dépendre de leur sortie textuelle.

Données :
- Un ensemble de données synthétique croisant deux notations : décimale standard (ex: 580) et notation scientifique (ex: $5.7 \times 10^2$ ).
- Un ensemble de données réel extrait d'articles arXiv (via le dataset peS2o).
Techniques de sondage (Probing) :
1. Régression linéaire : Entraînement de sondes linéaires sur les états cachés des tokens numériques pour prédire le log-magnitude ( $\log_2$ ) des nombres. Cela permet de vérifier si la valeur numérique est encodée linéairement.
2. Classification binaire : Entraînement d'un classifieur (régression logistique) sur l'état caché final du prompt pour prédire directement si $a > b$ .
Analyse de la verbalisation : Comparaison des performances des sondes internes avec la précision des réponses textuelles générées par le modèle (via un prompt "one-shot").
Fine-tuning causal : Pour tester la causalité, les auteurs ont ajouté la perte (loss) du classifieur de sondage comme objectif auxiliaire lors du fine-tuning du modèle, afin de voir si l'amélioration des représentations internes améliore la sortie verbale.

3. Contributions Clés et Résultats

A. Existence de représentations internes précises

Les résultats montrent que les LLM possèdent une connaissance numérique robuste et linéairement encodée dans leurs couches intermédiaires :

Prédiction de magnitude : Une simple projection linéaire sur une couche appropriée permet de reconstruire les nombres avec une erreur relative médiane d'environ 2,3 % sur des données synthétiques et 19,06 % sur des articles scientifiques.
Comparaison interne : Un classifieur linéaire entraîné sur les états cachés atteint une précision de > 90 % (souvent > 95 % dans les couches supérieures) pour déterminer quel nombre est le plus grand, même lorsque les nombres sont très proches.
Corrélation couche profonde : Les représentations les plus précises pour la comparaison apparaissent dans les couches profondes du modèle, là où l'attention a déjà intégré les deux nombres.

B. L'échec de la verbalisation (Le "Gap")

Malgré ces représentations internes quasi-parfaites, la performance verbale est médiocre :

Faible précision : Sur les mêmes paires de nombres, les modèles open-source (7B-8B) n'atteignent que 50 % à 70 % de précision en mode "one-shot", ce qui est proche du hasard pour certains modèles (comme Llama-2-7B et Mistral-7B qui semblent ignorer les valeurs et choisir systématiquement la deuxième option).
Décalage : Il existe un fossé massif entre la capacité interne à comparer (sonde > 90 %) et la capacité à exprimer cette comparaison (verbalisation < 70 %).

C. Causalité et Amélioration par Fine-tuning

L'étude démontre que ce décalage n'est pas une limite fondamentale de l'architecture, mais un problème d'accès aux représentations :

Corrélation : La qualité des sondes dans les premières couches (3 premières couches) prédit fortement la performance verbale finale du modèle.
Intervention : En ajoutant la perte du classifieur de sondage ( $\beta L_{cls}$ ) à l'objectif d'entraînement lors du fine-tuning, les auteurs ont amélioré la précision verbale de 3,22 % en moyenne par rapport au fine-tuning standard.
Résultat spectaculaire : Pour certains modèles (Mistral, Qwen), cette méthode a permis de corriger plus des deux tiers des erreurs restantes, atteignant une précision de > 99 %.

4. Signification et Implications

Connaissance vs. Expression : L'article prouve que les LLM "savent" plus qu'ils ne peuvent "dire". Ils possèdent des représentations vectorielles riches et précises des grandeurs numériques, mais leur mécanisme de génération de texte échoue à exploiter ces représentations pour des tâches de comparaison inter-notation.
Amélioration par ciblage interne : L'approche suggère que pour améliorer les capacités de raisonnement numérique (numératie) des LLM, il ne suffit pas de leur donner plus d'exemples de texte ; il faut optimiser leurs représentations internes via des objectifs auxiliaires (comme la perte de sondage).
Limites actuelles : Les auteurs notent que les sondes linéaires fonctionnent mieux sur des données synthétiques contrôlées que sur des textes scientifiques réels (arXiv), où les nombres ont des rôles sémantiques variés, suggérant que des sondes non-linéaires ou des architectures plus complexes pourraient être nécessaires pour le monde réel.

En conclusion, ce travail ouvre une voie prometteuse pour améliorer la numératie des LLM en agissant directement sur la qualité de leurs représentations internes plutôt que sur leur comportement de surface.