🧬 biology

Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability

Cette étude démontre que, contrairement aux systèmes biologiques qui présentent une variabilité scalaire constante, les modèles de langage transformer reproduisent la géométrie logarithmique des grandeurs numériques mais affichent une variabilité représentative qui diminue avec la magnitude, révélant ainsi que l'apprentissage distributionnel seul ne suffit pas à générer la signature de bruit scalaire observée dans les systèmes biologiques.

Auteurs originaux : Jon-Paul Cacioli

Publié 2026-04-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jon-Paul Cacioli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

🧠 Le Grand Mystère : Comment les cerveaux (et les IA) comptent-ils ?

Imaginez que vous avez un système pour mesurer des choses (comme des poids, des distances ou des nombres). Les scientifiques ont découvert une règle étrange chez les êtres vivants (nous, les animaux) : plus le nombre est grand, plus notre "mesure" devient floue, mais de manière très précise.

C'est ce qu'on appelle la variabilité scalaire.

L'analogie du balai : Imaginez que vous essayez de balayer le sol. Si vous balayez un petit coin de cuisine (petit nombre), vous êtes très précis. Si vous devez balayer tout un stade de football (grand nombre), votre coup de balai sera moins précis, mais l'erreur sera toujours proportionnelle à la taille du stade.
La règle biologique : Plus le chiffre est grand, plus le "bruit" (l'erreur) augmente, mais le pourcentage d'erreur reste le même. C'est comme si notre cerveau avait un budget d'énergie fixe : il ne peut pas être précis partout en même temps, alors il répartit son effort.

🤖 L'Expérience : Et si on testait une IA ?

L'auteur de cette étude, Jon-Paul Cacioli, s'est demandé : "Est-ce que les intelligences artificielles modernes (les grands modèles de langage comme Llama ou Mistral) fonctionnent comme nos cerveaux biologiques ?"

Il a pris trois IA puissantes et leur a demandé de représenter des nombres (de 1 à 1000) dans différentes phrases. Il a ensuite regardé comment ces IA "voyaient" ces nombres.

🚫 Le Résultat Surprenant : L'IA fait l'inverse !

Au lieu de suivre la règle biologique, les IA ont fait exactement le contraire.

Chez l'humain : Plus le nombre est grand, plus c'est flou (le bruit augmente).
Chez l'IA : Plus le nombre est grand, plus c'est précis (le bruit diminue).

L'analogie du musée :
Imaginez un musée où les visiteurs (les nombres) sont représentés par des statues.

Le cerveau humain : Les petites statues (petits nombres) sont très nettes. Les grandes statues (grands nombres) sont un peu floues, mais c'est normal, elles sont immenses.
L'IA (Transformer) : Les petites statues sont un peu floues et dispersées. Mais dès qu'on arrive aux très grands nombres, l'IA les place dans un coffre-fort ultra-sécurisé, parfaitement alignés, sans aucune erreur. Plus le nombre est grand, plus l'IA le "verrouille" avec précision.

🔍 Pourquoi l'IA agit-elle ainsi ?

L'étude révèle deux choses fascinantes :

La géométrie est la même, le bruit est différent :
Les IA ont bien appris à organiser les nombres comme nous (en "comprenant" que 100 est plus loin de 1 que 2 ne l'est), mais elles n'ont pas le même "système de bruit".
La faute revient à la fréquence (la popularité) :
C'est ici que l'analogie devient intéressante.
- Les petits nombres (1, 2, 3...) apparaissent dans des millions de contextes différents dans les livres et sur internet ("1 pomme", "1 heure", "1 chance", "1 erreur"). Parce qu'ils sont partout, l'IA les voit sous des angles très variés, ce qui crée un peu de "flou" ou de dispersion.
- Les grands nombres (1000, 5000...) sont rares. Ils n'apparaissent que dans des contextes très spécifiques (des rapports financiers, des statistiques précises). Comme ils sont rares et toujours utilisés de la même façon, l'IA les apprend de manière très rigide et très précise.

En résumé : L'IA n'a pas de "budget d'énergie" limité comme un cerveau biologique. Elle n'a pas besoin de faire des compromis. Elle devient simplement plus précise sur les choses qu'elle voit rarement, car elles sont toujours les mêmes.

💡 La Conclusion en une phrase

Cette étude nous dit que l'apprentissage statistique seul (lire des milliards de textes) suffit à créer la forme de notre compréhension des nombres, mais pas le bruit naturel de notre cerveau. Pour avoir ce "bruit" biologique, il faudrait peut-être que l'IA ait des limites d'énergie ou de ressources, comme nous, ce qu'elle n'a pas pour l'instant.

C'est une preuve que les IA ne sont pas encore de vraies "machines à penser" biologiques, mais des miroirs très puissants de la fréquence des mots dans notre monde.

1. Problématique et Contexte

Les systèmes biologiques de représentation des grandeurs (magnitudes) possèdent deux propriétés fondamentales :

Géométrie log-compressive : Les distances internes suivent une fonction logarithmique de la magnitude du stimulus, ce qui respecte la loi de Weber.
Variabilité scalaire (Scalar Variability) : Le bruit de représentation augmente proportionnellement à la magnitude, résultant en un coefficient de variation (CV) constant.

Selon le cadre du codage efficace, ces deux propriétés émergent conjointement lorsqu'un système avec un budget de bruit fixe encode des entrées distribuées selon une loi de puissance. Cependant, ces propriétés sont théoriquement dissociables.

Le problème central de cet article est de déterminer si les modèles de langage transformeurs (LLM), qui apprennent par distribution sans contraintes métaboliques (pas de limite de taux de tir, pas de budget de bruit fixe), reproduisent la signature de bruit scalaire observée dans les systèmes biologiques, ou s'ils ne reproduisent que la géométrie log-compressive.

2. Méthodologie

L'étude s'appuie sur une analyse pré-enregistrée (OSF) des états cachés de trois modèles transformeurs de 7 à 8 milliards de paramètres :

Llama-3-8B-Instruct
Mistral-7B-Instruct-v0.3
Llama-3-8B-Base

Données :

Stimuli : 26 magnitudes numériques (de 1 à 1000, incluant des valeurs comme 1, 2, ..., 100, 150, ..., 1000).
Contexte : Chaque magnitude est présentée dans 5 phrases porteuses (carrier sentences) différentes.
Extraction : Les vecteurs d'états cachés sont extraits à la position du token de magnitude (avant RMSNorm) sur toutes les couches (33 couches au total), avec un focus sur les 16 couches principales (16–31).

Mesures de variabilité :
La variabilité représentative est estimée par la dispersion des vecteurs d'états cachés à travers les 5 phrases porteuses pour une magnitude donnée. Trois mesures ont été utilisées :

$V_{eucl}$ : Distance euclidienne moyenne par rapport au centroïde (mesure brute).
$V_{residual}$ : Distance après soustraction des moyennes par phrase (correction de l'identité de la phrase).
$V_{proj}$ : Variance projetée sur l'axe principal des magnitudes (PC1 des centroïdes), isolant la dispersion liée à la magnitude.

Analyse statistique :
Pour chaque couche et modèle, la relation entre la variabilité $V$ et la magnitude $n$ a été modélisée par une régression linéaire sur les échelles logarithmiques : $\log(V) = \alpha \log(n) + C$ .

Hypothèse nulle (Variabilité scalaire biologique) : $\alpha = 1$ (le bruit augmente proportionnellement).
Hypothèse alternative : $\alpha < 1$ ou $\alpha < 0$ (bruit constant ou décroissant).

3. Résultats Clés

A. Inversion de la variabilité (Anti-scalaire)
Contrairement à l'hypothèse biologique ( $\alpha = 1$ ), les résultats montrent systématiquement une variabilité décroissante avec la magnitude :

L'exposant de mise à l'échelle $\alpha$ est négatif dans toutes les couches principales pour les trois modèles et les trois mesures.
Valeurs moyennes de $\alpha$ :
- Llama-3-8B-Instruct : $\approx -0.046$ (brut), $-0.189$ (sur l'axe magnitude).
- Mistral-7B : $\approx -0.042$ (brut), $-0.210$ (sur l'axe magnitude).
- Llama-3-8B-Base : $\approx -0.031$ (brut), $-0.085$ (sur l'axe magnitude).
Cela signifie que la variabilité représentative diminue d'environ 10 à 15 % sur toute la plage de magnitudes, et ce phénomène est 3 à 5 fois plus fort le long de l'axe de la magnitude que dans les dimensions orthogonales.

B. Indépendance de la profondeur des couches
L'hypothèse selon laquelle le profil de variabilité changerait avec la profondeur de la couche (H4) n'est pas soutenue. Le motif « anti-scalaire » est stable à travers toutes les couches (de la couche 1 à 33), sans corrélation significative entre la profondeur et l'exposant $\alpha$ .

C. Rôle de la fréquence du corpus
Une corrélation forte ( $\rho \approx 0.84$ ) a été trouvée entre la fréquence du corpus et la variabilité représentative :

Les nombres fréquents (généralement petits) apparaissent dans des contextes linguistiques très diversifiés, entraînant une plus grande dispersion représentative.
Les nombres rares (généralement grands) apparaissent dans des contextes plus stéréotypés et étroits, conduisant à des clusters représentatifs plus serrés.

D. Impact du réglage par instruction (Instruction Tuning)
Le modèle Llama-Instruct présente un $\alpha$ plus négatif que le modèle Llama-Base. Le réglage par instruction amplifie donc le motif anti-scalaire, resserrant davantage les représentations des grands nombres.

4. Contributions et Signification

Dissociation Géométrie/Bruit :
L'article démontre que l'apprentissage distributionnel seul suffit à produire la géométrie log-compressive (observée précédemment dans Cacioli 2026), mais il est insuffisant pour générer la variabilité scalaire (bruit proportionnel).

Implications pour le Codage Efficace :
Les résultats suggèrent que la variabilité scalaire dans les systèmes biologiques ne découle pas uniquement des statistiques d'entrée (loi de puissance), mais nécessite l'interaction avec des contraintes métaboliques (budget de bruit fixe, limites de population neuronale).

Les transformeurs, n'ayant pas de contraintes métaboliques, allouent moins de variabilité aux magnitudes grandes (rares) car leur structure distributionnelle les place dans des contextes plus prévisibles.
La variabilité dans les LLM est pilotée par la diversité contextuelle plutôt que par une allocation de bruit proportionnelle à la magnitude.

Conclusion :
Les transformeurs reproduisent la forme géométrique des systèmes de magnitude biologiques mais échouent à reproduire leur signature de bruit. Cela indique que la variabilité scalaire est probablement une adaptation évolutive liée aux contraintes énergétiques et physiologiques des organismes, et non une propriété émergente purement computationnelle de l'apprentissage distributionnel sur des données naturelles.

Limites et Perspectives :
Bien que la dispersion sur 5 phrases soit une approximation du bruit stochastique, la cohérence du signe négatif de $\alpha$ sur 48 cellules (modèle × couche) rend la conclusion robuste statistiquement. Des recherches futures sont nécessaires pour généraliser ces résultats à des modèles plus grands et à d'autres domaines non numériques.