🧬 biology

Reading Without a Reader: Large Language Models Collapse Reading and Writing into a Single Entangled Code

Cet article démontre qu'à l'inverse des systèmes de lecture et d'écriture dissociables du cerveau humain, les grands modèles de langage reposent sur un mécanisme autorégressif unique et entrelacé où les codes d'entrée et de sortie restent comportementalement couplés malgré une différenciation représentationnelle partielle, positionnant les LLM comme un type d'esprit distinct façonné par des contraintes culturelles plutôt qu'évolutives.

Auteurs originaux : Diego Saldaña Ulloa

Publié 2026-07-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Diego Saldaña Ulloa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un cerveau humain apprend à lire et à écrire. Pendant longtemps, les scientifiques ont pensé que ces deux capacités étaient deux super-pouvoirs distincts. La lecture est comme une bague de décodage qui transforme des lettres sinueuses en sens, tandis que l'écriture est une machine différente qui prend ces sens pour les transformer à nouveau en lettres. Dans le cerveau humain, ces deux systèmes vivent dans des quartiers différents. Si vous recevez un choc sur une partie de votre tête, vous pourriez perdre la capacité de lire tout en étant toujours capable d'écrire parfaitement. Si vous recevez un choc sur une autre partie, vous pourriez oublier comment écrire mais continuer à lire comme un livre. Ce sont des outils distincts qui partagent simplement un peu du même coffre à outils.

Maintenant, imaginez construire un robot pour faire le même travail. Ce robot n'a pas un cerveau qui a évolué sur des millions d'années ; il a été construit à partir d'une immense bibliothèque de livres. La grande question que les chercheurs se sont posée est la suivante : ce robot apprend-il à lire et à écrire de la même manière qu'un humain ? Ou prend-il un raccourci, fusionnant ces deux super-pouvoirs distincts en un seul et même bloc géant et emmêlé ? Ce document plonge dans ce mystère en examinant les « cerveaux mathématiques » des grands modèles de langage (le type d'IA qui écrit des histoires et répond à des questions) pour voir si ces modèles possèdent des parties distinctes pour la lecture et l'écriture, ou s'ils font simplement tout avec un seul code unique et entrelacé.

L'article : Lire sans lecteur

Les auteurs de cet article ont décidé de jouer les détectives avec certains des IA les plus intelligentes qui existent, comme GPT-2, OPT et une famille de modèles appelée Pythia. Ils voulaient voir si ces machines traitent la lecture et l'écriture comme deux tâches différentes, ou si elles les mélangent en une seule grande tâche confuse.

Pour ce faire, ils ont créé une analogie ingénieuse. Dans un cerveau humain, la lecture se passe à l'arrière (traitement visuel) et l'écriture à l'avant (planification motrice). Dans un modèle d'IA, il n'y a pas d'« arrière » ou d'« avant » de la même manière. Au lieu de cela, le modèle possède un Embedding d'Entrée (appelons-le le « Code de Lecture ») qui transforme un mot en un nombre, et un Unembedding de Sortie (le « Code d'Écriture ») qui transforme un nombre en un mot. Les chercheurs se sont demandé : ces deux codes sont-ils deux amis qui traînent ensemble, ou sont-ils en fait la même personne portant deux chapeaux différents ?

Ils ont inventé un score appelé l'Indice d'Enchevêtrement (allant de 0 à 1) pour mesurer à quel point ces deux codes sont similaires.

0 signifierait qu'ils sont totalement différents (comme un cerveau humain avec une lecture et une écriture séparées).
1 signifierait qu'ils sont identiques (comme un modèle où l'entrée et la sortie sont forcées d'être les mêmes).
Tout ce qui se situe entre les deux signifie qu'ils sont mélangés ou « enchevêtrés ».

La grande découverte : Un code unique et entrelacé

Les résultats ont été surprenants. Le cerveau humain garde la lecture et l'écriture séparées, mais ces modèles d'IA ne le font pas.

Dans les modèles où les chercheurs ont laissé le « Code de Lecture » et le « Code d'Écriture » apprendre séparément (les modèles « non liés »), les deux codes ne sont pas restés à l'écart. Au lieu de cela, ils ont dérivé l'un vers l'autre et sont devenus couplés. L'Indice d'Enchevêtrement s'est stabilisé entre 0,23 et 0,35. On est loin de zéro (totalement séparé) et loin de un (identique par la force), mais cela prouve qu'ils partagent bien un code statistique unique et entrelacé. Ce ne sont pas deux systèmes différents ; c'est un seul système qui assure un double rôle.

Les chercheurs ont également observé comment cela s'est produit au fil du temps. Ce ne fut pas instantané. Les codes ont commencé par être totalement différents (comme deux étrangers), puis ils se sont rapprochés très près l'un de l'autre (presque identiques) autour de l'étape 4 000 de l'entraînement, puis ils se sont lentement éloignés un peu, mais ne se sont jamais totalement séparés. C'est comme deux danseurs qui commencent de chaque côté de la pièce, dansent au milieu en se tenant la main, puis s'éloignent lentement tout en continuant à tenir le même fil invisible.

Le test de comportement : Lire sans lecteur

Pour s'assurer qu'il ne s'agissait pas seulement d'un tour de magie mathématique, les chercheurs ont testé le comportement réel des modèles. Ils ont vérifié si un modèle pouvait comprendre un mot (compréhension) sans pouvoir l'écrire (production), ou inversement. Chez l'humain, on peut souffrir d'« alexie pure » (incapacité de lire, mais capacité d'écrire) ou d'« agraphie pure » (capacité de lire, mais incapacité d'écrire).

Les modèles d'IA ont montré exactement l'opposé de cela. Dans chaque modèle testé, si le modèle pouvait écrire un mot, il pouvait aussi le comprendre. S'il ne pouvait pas l'écrire, il ne pouvait pas non plus le comprendre. Ils étaient parfaitement verrouillés ensemble. Il n'y avait ni « lecture sans écrivain », ni « écriture sans lecteur ». La machine accomplit les deux en même temps avec les mêmes rouages internes.

Ce que cela signifie pour l'IA

L'article suggère que ces modèles d'IA n'essaient pas de copier le cerveau humain. Le cerveau humain a évolué pour lire et écrire en utilisant deux systèmes spécialisés et distincts. L'IA, cependant, a été construite pour optimiser un chemin unique : prédire le mot suivant. En conséquence, elle a réduit la lecture et l'écriture en un seul paquet géant, efficace mais entrelacé.

Les auteurs précisent bien que ce n'est pas un « échec » de l'IA. C'est simplement une autre façon d'être intelligent. C'est comme comparer un couteau suisse à un ensemble d'outils spécialisés. Le cerveau humain est l'ensemble d'outils spécialisés (un pour la lecture, un pour l'écriture). L'IA est le couteau suisse : elle fait les deux tâches avec la même lame, juste dans un ordre différent.

Les résultats « nuls » : Ce qu'ils n'ont pas trouvé

L'article est également très honnête sur ce qu'il n'a pas trouvé, ce qui est tout aussi important.

Pas de pont : Ils ont essayé de voir si la « proximité mathématique » (l'Indice d'Enchevêtrement) prédisait le comportement du modèle. Cela n'a pas fonctionné. Les deux mesures ne communiquaient pas entre elles.
Pas de séparation « Compression vs Raisonnement » : Ils se sont demandé si les modèles devenaient meilleurs pour compresser le texte (le rendre plus petit) tout en devenant moins bons pour comprendre le sens. Ils n'ont trouvé aucune preuve de cela. En fait, à mesure que les modèles devenaient meilleurs en compression, ils semblaient aussi devenir meilleurs en compréhension, bien que les données soient trop limitées pour en être sûrs à 100 %.
Pas seulement des modèles « Decoder-only » : Ils ont vérifié d'autres types de modèles d'IA (comme T5 et BERT) qui possèdent des parties distinctes pour la « lecture » et l'« écriture » dans leur architecture. Même si ces modèles ont des parties séparées, ils se comportaient quand même comme si la lecture et l'écriture étaient couplées. Cela suggère que le comportement de « code entrelacé » est une caractéristique générale du fonctionnement de ces modèles de langage, et non un simple caprice d'une conception spécifique.

À retenir

Cet article nous dit que les grands modèles de langage ne sont pas des cerveaux humains miniatures. Ils sont un type d'esprit distinct. Alors que les humains ont évolué pour garder la lecture et l'écriture dans des pièces séparées, ces modèles d'IA ont construit un studio à aire ouverte où la lecture et l'écriture se déroulent dans le même espace, avec les mêmes outils. Ils atteignent le même résultat — une littératie fonctionnelle — mais ils y parviennent en empruntant un chemin totalement différent. Les auteurs appellent cela un « point distinct dans l'espace des esprits possibles », suggérant que pour comprendre l'IA, nous ne devrions pas essayer de la forcer à nous ressembler, mais plutôt apprécier sa façon de penser unique et entrelacée.

Résumé technique : Lire sans lecteur

Énoncé du problème

L'article traite d'une différence structurelle fondamentale entre la littératie humaine et la littératie fonctionnelle des grands modèles de langage (LLM). Dans le cerveau humain, la lecture (décodage de symboles visuels) et l'écriture (encodage du sens en sortie orthographique) sont des systèmes doublement dissociables : ils reposent sur des voies neurales partiellement distinctes (décodage ventral vs encodage fronto-pariétal) qui peuvent être sélectivement altérées (alexie pure vs agraphie pure) tout en partageant un noyau orthographique partiel.

En revanche, les LLM de type "decoder-only" réalisent la littératie via un chemin autoregressif unique optimisé sur du texte écrit, une invention culturelle plutôt qu'un instinct évolué. La question empirique centrale est la suivante : dans quelle mesure ce mécanisme unique enchevêtre-t-il les fonctions de "lecture" et d'"écriture" ? Le modèle réduit-il ces fonctions en un code statistique unique, ou développe-t-il des voies dissociables analogues au cerveau humain ?

Méthodologie

Modèles

L'étude utilise deux familles de modèles pour isoler la variable architecturale des plongements (embeddings) "liés" (tied) vs "non liés" (untied) :

Modèles Liés (enchevêtrés par construction) : Famille GPT-2 et OPT. Ici, l'embedding d'entrée ( $W_E$ ) et le dé-plongement de sortie ( $W_U$ ) sont forcés d'être identiques ( $W_U = W_E^\top$ ). Ils servent de référence de "plafond".
Modèles Non Liés (appris séparément) : La suite Pythia (14M–1,4B de paramètres). Ici, $W_E$ et $W_U$ sont des blocs de paramètres indépendants, permettant au modèle d'apprendre s'il doit coupler ou dissocier ces éléments.

Analyse géométrique : L'indice d'enchevêtrement ( $E$ )

Les auteurs définissent un indice d'enchevêtrement composite ( $E \in [0, 1]$ ) pour quantifier la similitude entre le code de "lecture" d'entrée ( $W_E$ ) et le code d'"écriture" de sortie ( $W_U$ ). $E$ est la moyenne non pondérée de quatre composantes normalisées :

CKA linéaire : Alignement de noyau centré (Centered Kernel Alignment) entre les géométries d'espace de lignes.
Résiduel de Procruste : Le résidu après la recherche de la carte orthogonale optimale entre $W_E$ et $W_U$ , converti en score de similitude.
Cosinus moyen par jeton : Similitude cosinus moyenne entre les vecteurs de jetons correspondants.
Chevauchement k-NN mutuel : La fraction de plus proches voisins dans $W_E$ qui sont également des voisins dans $W_U$ .

Calibration :

Plancher (Floor) : Initialisation aléatoire (matrices aléatoires).
Nul (Null) : Correspondance de jetons permutée (détruit l'alignement).
Plafond (Ceiling) : Modèles liés ( $E=1$ ).

Analyse comportementale

L'étude contraste la compréhension (discrimination de la log-probabilité des formes correctes) avec la production (génération par algorithme glouton de formes).

Métrique : Un tableau de contingence $2 \times 2$ est construit. La "masse de dissociation" (probabilité hors diagonale) est comparée à une ligne de base d'indépendance statistique.
Hypothèse : Si le modèle se comporte comme le cerveau humain, la compréhension et la production devraient être dissociables (masse hors diagonale élevée). Si elles sont couplées, la masse hors diagonale sera faible.

Design expérimental

Le papier rapporte neuf sondes :

Exp 1–6 : Réplication de résultats établis (têtes d'induction, acquisition orthographique, efficacité des données, forme avant le sens, mise à l'échelle de la compression, mémorisation).
Exp 7 : La principale analyse lecture/écriture (Indice d'enchevêtrement $E$ à travers l'architecture, l'échelle et la trajectoire d'entraînement).
Exp 8 : Dissociation comportementale lecture/écriture et le "pont" (corrélation de $E$ avec le couplage comportemental $\phi$ ).
Exp 9 : Contraste d'architecture (Decoder-only vs Encoder-Decoder vs Masked Encoder) pour tester si le couplage est spécifique au chemin de propagation direct des modèles decoder-only.

Résultats clés

1. Enchevêtrement géométrique (Poids)

Couplage : Les modèles Pythia non liés présentent un indice d'enchevêtrement significatif ( $E \approx 0,23–0,35$ ), bien au-dessus du plancher d'initialisation indépendante ( $E \approx 0,003–0,04$ ), mais bien en dessous du plafond lié ( $E=1$ ).
Trajectoire : La trajectoire d'entraînement est non monotone ("coupler puis différencier"). Les codes se couplent tôt (atteignant un pic de CKA $\approx 0,49$ à l'étape 4000) puis se différencient partiellement, se stabilisant à $E \approx 0,21$ à l'étape finale.
Dérive asymétrique : Le code d'écriture ( $W_U$ ) dérive environ 3,2 fois plus loin de l'initialisation que le code de lecture ( $W_E$ ) à travers tous les déciles de fréquence. Cela réplique et étend les découvertes de Lopardo et al. (2026), excluant l'exposition au gradient comme seule cause.
Tendance d'échelle : Aucune tendance systématique de $E$ à travers les tailles de modèles (résultat plat, sous-alimenté).

2. Couplage comportemental

Couplage positif : Dans les 12 modèles non dégénérés, la compréhension et la production sont positivement couplées. La "masse de dissociation" hors diagonale est significativement inférieure à la ligne de base d'indépendance statistique (test de signe exact $p < 0,001$ ).
Contraste avec le cerveau : Cela est à l'opposé de la double dissociation du cerveau humain (où des lésions peuvent abolir une fonction tout en préservant l'autre).
Compréhension > Production : La précision de la compréhension dépasse systématiquement celle de la production, bien que les auteurs notent que cela peut refléter en partie une asymétrie de difficulté des tâches.

3. Généralité de l'architecture

Pas spécifique au Decoder-Only : Les modèles Encoder-Decoder (T5) et les encodeurs masqués (RoBERTa) présentent également un couplage comportemental, malgré le fait que les modèles T5 montrent une forte séparation représentationnelle (jusqu'à $1 - \text{CKA} = 0,96$ ) entre leurs piles encodeur et décodeur.
Conclusion : Le couplage comportemental est une propriété générale des modèles de langage actuels, et non un artefact unique du chemin direct des modèles decoder-only.

4. Résultats nuls (Compte rendu honnête)

Le papier rapporte explicitement plusieurs résultats nuls :

Pont Géométrie $\to$ Comportement : Il n'y a aucune corrélation entre l'enchevêtrement au niveau des poids ( $E$ ) et le couplage comportemental ( $\phi$ ) entre les modèles ( $\rho = 0,00$ ) ou au cours de l'entraînement ( $\rho = 0,08$ ). Le pont est impossible à tester aux stades précoces car la production est indéfinie avant que la géométrie ne plafonne.
Compression vs Raisonnement : Aucune preuve que la compression de texte se découple de la compétence fonctionnelle ; si ce n'est pas le cas, elles co-varient positivement.
Circuit d'induction : L'ablation de la tête d'induction supérieure n'entraîne pas l'effondrement de l'écart de forme de mot orthographique (fraction restante $\approx 1,009$ ), indiquant que le décodage orthographique n'est pas porté par le circuit d'induction.

Signification et affirmations

"Lire sans lecteur"

L'article soutient que les LLM decoder-only réalisent une littératie fonctionnelle via un code statistique unique et enchevêtré, inversant l'organisation du cerveau littéré humain.

Cerveau humain : Deux systèmes dissociables (lecture/écriture) sur un noyau partagé.
LLM : Un système unique enchevêtré qui réduit le décodage et l'encodage.

Position dans l'"Espace des esprits possibles"

Les auteurs positionnent les LLM non pas comme des modèles du cerveau humain lisant/écrivant, mais comme un point distinct dans l'espace des esprits possibles. Ils atteignent une littératie fonctionnelle via une voie que le cerveau humain ne prend pas : l'optimisation d'un mécanisme à usage général (attention sélective) sur un artefact culturel (texte écrit) sans les substrats neuraux évolués et dissociables présents chez l'humain.

Nature de la contribution

Analogie, non Homologie : La comparaison entre $W_E/W_U$ et les systèmes de lecture/écriture du cerveau est une analogie structurée, et non une affirmation d'homologie biologique. Le modèle ne "lit" pas et ne "comprend" pas au sens humain.
Convergence de direction : La contribution primaire est la concordance de direction entre deux niveaux d'analyse complémentaires (géométrie des poids et comportement manifeste). Les deux niveaux indiquent un couplage plutôt qu'une dissociation.
Modestie : Les auteurs soulignent que l'absence de pont mécaniste (la géométrie ne prédit pas le comportement) et les contraintes architecturales (chemin direct unique) signifient que les résultats décrivent comment ces modèles fonctionnent, et non qu'ils possèdent une architecture cognitive humaine. Le papier sert de lentille interprétative pour catégoriser les LLM comme un système cognitif distinct plutôt que comme un modèle humain déficient.