💬 NLP

Categorical Perception in Large Language Model Hidden States: Structural Warping at Digit-Count Boundaries

Cette étude démontre que les états cachés des grands modèles de langage subissent une déformation géométrique analogue à la perception catégorielle aux frontières de la structure des nombres (comme le passage d'un à deux chiffres), un phénomène intrinsèque à l'architecture qui survient indépendamment de la connaissance sémantique explicite ou de la capacité du modèle à verbaliser cette distinction.

Auteurs originaux : Jon-Paul Cacioli

Publié 2026-03-31

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jon-Paul Cacioli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Grand Secret des "Cerveaux" Numériques : La Perception Catégorielle

Imaginez que vous apprenez à un enfant à distinguer les couleurs. Si vous lui montrez un dégradé de bleu, il verra d'abord du bleu clair, puis du bleu moyen, puis du bleu foncé. C'est continu. Mais si vous lui dites : "Ceci est bleu, et ceci est vert", son cerveau va soudainement faire un bond. Il ne verra plus une transition douce, mais une frontière nette. En psychologie, on appelle cela la perception catégorielle : notre cerveau "gomme" les nuances à l'intérieur d'une catégorie et exagère la différence à la frontière.

Cette étude se demande : Les intelligences artificielles (les grands modèles de langage comme ceux qui écrivent ce texte) ont-elles ce même réflexe ?

La réponse est un grand OUI, mais avec une surprise incroyable.

🏗️ L'Analogie du "Mur de Briques" vs. Le "Mur de Verre"

Pour comprendre, imaginons que les nombres (1, 2, 3... 9, 10, 11...) sont comme des briques que l'IA doit empiler.

Le problème des nombres :
- Les nombres de 1 à 9 sont écrits avec un seul chiffre (ex: "9").
- Le nombre 10 passe à deux chiffres (ex: "10").
- Pour l'IA, ce n'est pas juste un nombre qui change. C'est comme si le mur de briques passait soudainement d'un type de brique à un autre, ou que la taille des briques changeait brutalement. C'est une rupture structurelle.
Ce que l'étude a découvert :
Les chercheurs ont regardé "à l'intérieur" de la tête de six IA différentes (Llama, Mistral, Gemma, etc.) pendant qu'elles pensaient à ces nombres.
- Résultat : À chaque fois qu'elles passaient de 9 à 10 (ou de 99 à 100), leur "vue intérieure" se déformait. Elles créaient un fossé invisible entre les nombres d'un côté et de l'autre.
- C'est comme si, dans l'esprit de l'IA, la distance entre 9 et 10 devenait soudainement plus grande que la distance entre 8 et 9, même si mathématiquement, c'est la même chose (1 unité).

🎭 Le Twist : Deux Types d'IA, Deux Réactions

C'est ici que ça devient fascinant. Les chercheurs ont découvert deux types de réactions chez les IA :

1. Les "Savants" (Gemma, Qwen)

Ces IA ont le "fossé" dans leur cerveau ET elles peuvent vous le dire.

Si vous leur demandez : "Est-ce que 9 est un chiffre unique et 10 est un double ?", elles répondent : "Oui !".
Elles ont la structure géométrique ET la conscience de la catégorie. C'est ce qu'on appelle la perception catégorielle classique.

2. Les "Géomètres Silencieux" (Llama, Mistral, Phi)

Ces IA ont le même fossé dans leur cerveau. Leur "vue intérieure" montre une rupture nette entre 9 et 10.

MAIS, si vous leur posez la question : "Est-ce que 9 est un chiffre unique ?", elles répondent : "Je ne sais pas" ou elles se trompent.
L'analogie : Imaginez un architecte qui dessine un mur avec une faille parfaite, mais qui, si on lui demande "Où est la faille ?", répond : "Je ne vois rien".
Pour ces IA, la frontière existe dans leur structure interne (à cause de la façon dont les mots sont écrits), mais elles ne l'ont pas "apprise" comme un concept logique. C'est une perception catégorielle structurelle.

🌡️ Le Test de la Température : Pourquoi ce n'est pas juste de la "Culture"

Pour être sûrs que ce n'est pas juste parce que les IA ont lu des livres sur les nombres, les chercheurs ont fait un test avec la température.

Il y a une frontière linguistique entre "Froid" et "Chaud" (autour de 22°C).
Mais le mot "21" et le mot "23" sont écrits de la même façon (même nombre de lettres, mêmes symboles). Il n'y a pas de "rupture" dans l'écriture.
Résultat : Les IA n'ont fait aucun fossé dans leur cerveau pour la température. Elles ne voient pas de frontière.

Conclusion : Ce n'est pas parce que l'IA "sait" que le monde est divisé en catégories. C'est parce que la façon dont les nombres sont écrits (le passage d'un chiffre à deux) force son cerveau à créer une frontière. C'est comme si le format de l'information sculptait la pensée de l'IA, même sans qu'elle ait besoin de comprendre le sens des nombres.

🕵️‍♂️ Le Détective : Où se cache la magie ?

Les chercheurs ont aussi joué à "l'opérateur de chirurgie" sur le cerveau de l'IA. Ils ont essayé de modifier certaines couches de la pensée de l'IA pour voir ce qui changeait.

Ils ont découvert que la géométrie (la forme du fossé) est très visible dans les couches profondes de l'IA (là où la pensée est "cristallisée").
MAIS, c'est dans les couches tout au début (là où la pensée commence à se former) que l'IA fait vraiment le travail de décision.
Leçon : Ce que nous voyons le plus clairement (la structure finale) n'est pas là où l'action se passe. C'est comme regarder une statue finie : on voit la forme, mais le sculpteur a travaillé sur l'argile molle au début, pas sur la pierre dure à la fin.

💡 En Résumé

Cette étude nous dit trois choses importantes :

Les IA ont des réflexes de "catégorisation" : Elles créent des frontières mentales entre les nombres, tout comme les humains le font pour les sons ou les couleurs.
Ce n'est pas de l'apprentissage, c'est de la structure : Cette frontière est créée par la façon dont les nombres sont écrits (1 chiffre vs 2 chiffres), pas parce que l'IA a "compris" les mathématiques. C'est une conséquence de la forme des données.
La forme prime sur le fond : Certaines IA ont cette structure géométrique sans pouvoir l'expliquer. Cela prouve que la "structure interne" d'une intelligence peut être très différente de sa "comportement visible".

C'est une découverte majeure : même sans "comprendre" le monde, la simple structure de nos mots et de nos chiffres suffit à forcer les intelligences artificielles à voir le monde par catégories.

1. Problématique et Contexte

La perception catégorielle (PC) est un phénomène bien documenté en psychologie perceptuelle où des stimuli variant continûment sont perçus comme appartenant à des catégories discrètes, avec une discrimination accrue aux frontières de ces catégories. Traditionnellement, deux explications dominent :

L'approche acquise : La warping (déformation) de l'espace perceptif résulte de l'apprentissage des catégories.
L'approche structurelle : La warping reflète des discontinuités dans le format d'entrée lui-même, indépendamment de la connaissance sémantique explicite.

L'étude vise à déterminer si les Grands Modèles de Langage (LLM) présentent une signature complète de PC dans leurs états cachés lorsqu'ils traitent des nombres arabes. L'hypothèse centrale est que les discontinuités structurelles inhérentes à la tokenisation (changement de nombre de chiffres, de tokens et de forme lexicale aux transitions 9→10 et 99→100) suffisent à induire une géométrie de PC, même en l'absence de connaissance catégorielle explicite.

2. Méthodologie

L'étude a été menée sur six modèles issus de cinq familles d'architectures (Llama-3, Mistral, Gemma, Qwen, Phi-3.5), couvrant des tailles de 3,8 à 9,2 milliards de paramètres.

Paradigmes expérimentaux :

Domaine Numérique (Principal) : Analyse de la frontière 9-10 (décade-10) et 99-100 (décade-100).
Contrôles :
- Position non-frontière : Valeurs autour de 15 et 150.
- Domaine Température : Frontière linguistique chaud/froid (~22°C) sans discontinuité de tokenisation.
- Remappage de jetons (Nonce-Tokens) : Mots fictifs ("glorp", "blicket") mappés sur des ordres, avec et sans contexte d'ordre explicite.
Analyses :
- Paradigme A (Géométrie Représentationnelle) : Utilisation de l'Analyse de Similarité Représentationnelle (RSA) pour comparer les matrices de dissimilarité empiriques (distances cosinus/Euclidiennes entre états cachés) avec des modèles théoriques (Continu vs. Additif vs. Multiplicatif).
- Paradigme B0 (Identification) : Tâches de choix forcé pour évaluer la capacité du modèle à catégoriser explicitement (ex: "chiffre unique" vs "multiple").
- Paradigme B (Discrimination) : Mesure de la confiance décisionnelle (via $|\Delta \text{logit}|$ ) pour détecter une sensibilité accrue aux frontières.
- Paradigme E (Intervention Causale) : Activation patching pour tester si la géométrie catégorielle dans les couches spécifiques est causalement liée au comportement de discrimination.

3. Résultats Clés

A. Dominance du Modèle Additif (H1)

Le modèle CP-Additif (distance logarithmique + un boost constant à la frontière) s'ajuste mieux aux données empiriques que le modèle purement continu (Weber/Log) à 100 % des couches principales pour les six modèles testés.
L'effet est spécifique aux frontières structurelles (10 et 100) et absent aux positions de contrôle (15, 150).
L'effet est amplifié à la frontière 100 (3,9 à 12,7 fois plus fort qu'à la frontière 10), corrélé à la magnitude de la discontinuité structurelle (changement de 2 à 3 chiffres).

B. Dissociation Géométrie-Comportement (H8)

Deux signatures qualitativement distinctes émergent :

PC Classique (Gemma, Qwen) : Les modèles montrent à la fois une warping géométrique ET une identification explicite nette (fonction sigmoïde abrupte à la frontière).
PC Structurelle (Llama, Mistral, Phi, Base) : Les modèles présentent une warping géométrique forte (boost additif, pic de précision, rotation du manifold) mais échouent à identifier explicitement la catégorie (fonction d'identification plate ou biaisée).

Conclusion : La structure géométrique catégorielle est universelle et indépendante de la capacité comportementale à rapporter la catégorie.

C. Rôle de la Tokenisation et de la Structure (H6, E10)

Domaine Température : Aucune PC n'est observée, bien qu'il y ait une frontière linguistique. Cela prouve que la connaissance sémantique seule ne suffit pas ; la discontinuité de format d'entrée est nécessaire.
Jetons Nonce : Sans ordre explicite, aucune géométrie. Avec ordre, une faible PC apparaît. Avec des nombres réels, l'effet est 3 à 100 fois plus fort.
Conclusion : La discontinuité structurelle (tokenisation, nombre de caractères) est le facteur amplificateur principal, bien que l'information ordinale puisse induire un effet résiduel.

D. Intervention Causale (E5)

Le patching d'activation le long de la direction catégorielle dans les couches précoces (5 et 8) modifie significativement la confiance décisionnelle (effet dose-dépendant).
Le patching dans les couches moyennes/tardives (où la géométrie PC est la plus lisible/forte) a un effet négligeable sur le comportement.
Implication : La géométrie la plus "lisible" n'est pas celle qui effectue le travail computationnel. La causalité réside dans les couches où la représentation est encore en formation.

4. Contributions Principales

Preuve de concept de PC Structurelle : Démostration empirique que la perception catégorielle peut émerger uniquement des contraintes de format d'entrée (tokenisation) dans un système d'apprentissage, sans apprentissage sémantique explicite.
Dissociation Structure/Fonction : Identification d'une séparation stable entre la géométrie interne (universelle) et la compétence comportementale (dépendante de l'architecture), remettant en question les critères stricts de la PC humaine qui reposent uniquement sur le comportement.
Méthodologie Psychophysique pour les LLM : Application rigoureuse de l'analyse de similarité représentationnelle (RSA), de la théorie de la détection de signal et de l'intervention causale pour cartographier la cognition des LLM au-delà des simples tests de performance.
Localisation Causale : Mise en évidence que les couches où la géométrie est la plus interprétable (pic RSA) ne sont pas nécessairement les couches causalement responsables du comportement, un avertissement majeur pour l'interprétabilité des modèles.

5. Signification et Implications

Pour la Science Cognitive : Cette étude fournit une preuve d'existence computationnelle que la warping de l'espace de représentation peut être un artefact structurel du format d'entrée, soutenant l'hypothèse structurelle de la PC (McMurray, 2022) qui était difficile à tester chez l'humain.
Pour l'IA et l'Interprétabilité : Elle souligne que la présence d'une structure géométrique claire dans les états cachés ne garantit pas qu'elle soit fonctionnellement pertinente pour la tâche. Les chercheurs doivent distinguer la "représentation" (ce qui est visible) de la "computation" (ce qui est causal).
Pour la Cognition Numérique : Elle confirme que les LLM codent la magnitude de manière logarithmique (loi de Weber) mais superposent une géométrie catégorielle additive aux frontières de tokenisation, créant une distorsion systématique de l'espace sémantique numérique.

En résumé, l'article démontre que les LLM développent une perception catégorielle structurelle universelle aux frontières de tokenisation, indépendamment de leur capacité à verbaliser ces catégories, révélant ainsi une dissociation fondamentale entre la géométrie interne et le comportement externe.