💬 NLP

Representation in large language models

Cet article soutient que les grands modèles de langage sont partiellement pilotés par un traitement de l'information fondé sur les représentations plutôt que par une simple mémorisation, et propose des techniques pratiques pour étudier ces représentations afin de résoudre des impasses théoriques et de mieux comprendre les capacités cognitives de ces systèmes.

Auteurs originaux : Cameron Yetman

Publié 2026-05-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cameron Yetman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Les LLM « Pensent-ils » ou se contentent-ils de « Réciter » ?

Imaginez rencontrer une personne capable de répondre à n'importe quelle question que vous posez, d'écrire de la poésie, de résoudre des problèmes de mathématiques et de tenir une conversation profonde. Vous pourriez supposer qu'elle pense, comprend et utilise ses connaissances. Mais et si elle ne pensait pas du tout ? Et si elle n'était qu'un immense annuaire téléphonique ultra-rapide ?

C'est le débat central que traite ce document.

La vision « Annuaire téléphonique » (Pessimistes) : Ils soutiennent que les grands modèles de langage (LLM) ne sont que d'énormes « tables de recherche ». Ils ont mémorisé des milliards de phrases provenant d'Internet. Lorsqu'on leur pose une question, ils ne « pensent » pas ; ils trouvent simplement la correspondance la plus proche dans leur mémoire et énoncent le mot suivant qu'ils ont déjà vu. C'est comme un perroquet répétant des phrases entendues, sans en connaître le sens.
La vision « Pensée » (Optimistes) : Ils soutiennent que les LLM construisent en réalité des cartes internes du monde. Ils forment des représentations — comme des modèles mentaux ou des concepts — qui leur permettent de raisonner, de généraliser et de gérer des situations qu'ils n'ont jamais rencontrées auparavant.

L'auteur, Cameron Yetman, soutient que la vision « Annuaire téléphonique » est erronée. Il affirme que si les LLM mémorisent effectivement des choses, ils construisent également des représentations internes qui leur permettent de véritablement « comprendre » des motifs et de résoudre de nouveaux problèmes.

Partie 1 : Qu'est-ce qu'une « Représentation » ?

Pour prouver que les LLM font plus que mémoriser, l'auteur définit d'abord ce qu'est réellement une « représentation ». Il utilise une Analogie de la Carte.

Imaginez que vous êtes dans une ville que vous n'avez jamais visitée.

Information : Vous possédez une carte. La carte n'est pas la ville elle-même, mais elle contient des informations sur la ville (où sont les rues, où se trouve le parc).
Exploitabilité : Vous pouvez réellement utiliser cette carte. Vous pouvez la consulter et décider dans quelle direction tourner.
Comportement Robuste : Parce que vous avez la carte, vous pouvez vous déplacer dans la ville même si vous empruntez un itinéraire différent d'habitude, ou si une rue est fermée. Vous ne suivez pas simplement un chemin mémorisé ; vous vous adaptez.
Rôle Mécanique : La carte joue un rôle réel dans votre prise de décision. Si vous déchirez la carte, vous vous perdez. La carte est une partie cruciale de la machine (vous) qui vous amène à votre destination.

L'affirmation du document : Si un LLM possède des « représentations », cela signifie qu'il dispose d'états internes (comme la carte) qui contiennent des informations sur le monde, que le système peut réellement utiliser, et qui l'aident à résoudre des problèmes de manière flexible et nouvelle.

Partie 2 : Pourquoi la théorie de l'« Annuaire téléphonique » échoue

L'auteur soutient que si les LLM n'étaient que de gigantesques annuaires téléphoniques (tables de recherche), ils échoueraient à des types de tests spécifiques. Un annuaire téléphonique ne peut vous donner des réponses que pour des choses qu'il a déjà écrites. Il ne peut pas gérer une question qu'il n'a jamais vue auparavant.

Le document met en avant deux expériences qui réfutent la théorie de l'« Annuaire téléphonique » :

1. Le jeu Othello (L'Analogie des Échecs)
Des chercheurs ont entraîné une IA à jouer au jeu de plateau Othello. Ils lui ont fourni des millions de parties enregistrées, mais ne lui ont jamais expliqué les règles du jeu.

Le Test : Ils ont ensuite demandé à l'IA de jouer des coups qu'elle n'avait jamais vus dans ses données d'entraînement.
Le Résultat : L'IA a joué parfaitement.
Pourquoi c'est important : Si l'IA n'avait été qu'un annuaire téléphonique, elle aurait été bloquée. Elle n'aurait pas pu mémoriser chaque partie possible car il y en a trop. Pour gagner sur un plateau qu'elle n'avait jamais vu, elle a dû construire une « carte » interne du fonctionnement du jeu (une représentation des règles), et non pas simplement une liste de coups passés.

2. Le Spectre des Couleurs (L'Analogie du Mélange de Peinture)
Des chercheurs ont enseigné à une IA les couleurs en utilisant des codes spécifiques (comme les nombres RVB). Ils lui ont montré des exemples de « rouge » et de « bleu ».

Le Test : Ils lui ont ensuite demandé d'identifier des couleurs qu'elle n'avait jamais vues auparavant, ou des couleurs arrangées selon un motif complètement nouveau.
Le Résultat : L'IA a pu deviner correctement les nouvelles couleurs.
Pourquoi c'est important : Elle n'a pas simplement mémorisé « Rouge = [255, 0, 0] ». Elle a appris la structure de l'espace des couleurs. Elle a compris que les couleurs existent sur un spectre. C'est comme comprendre que si vous mélangez du rouge et du bleu, vous obtenez du violet, même si vous n'avez jamais mélangé ces nuances spécifiques auparavant. Un annuaire téléphonique ne peut pas faire cela ; une « carte » des couleurs, si.

Partie 3 : Comment le savons-nous ? (Regarder à l'intérieur de la Boîte Noire)

L'auteur admet que se contenter d'observer l'IA répondre à des questions ne suffit pas. Parfois, une IA peut donner la bonne réponse par hasard ou en utilisant un « truc » (une heuristique) plutôt qu'une véritable compréhension.

Pour prouver que l'IA utilise une « carte » (représentation), nous devons regarder à l'intérieur de son cerveau. Le document discute d'un domaine appelé Interprétabilité Mécaniste, qui est comparable à celui d'un mécanicien pour un moteur de voiture.

Les Outils :

Le Sondage (La Rayon X) : Imaginez que vous voulez savoir si l'ordinateur d'une voiture connaît la vitesse du véhicule. Vous ne pouvez pas simplement demander à l'ordinateur ; vous devez regarder les fils. Les chercheurs utilisent des « sondes » pour scanner les nombres internes (les activations) de l'IA afin de voir s'ils contiennent des informations spécifiques (comme « c'est une voiture rouge »). S'ils peuvent extraire l'information, l'IA possède la partie « Information » d'une représentation.
L'Intervention (La Chirurgie) : C'est le véritable test. Imaginez que vous pensez qu'un fil spécifique dans la voiture contrôle les freins. Pour le prouver, vous coupez ce fil (ou modifiez son signal).
- Si la voiture arrête de freiner, vous avez prouvé que ce fil était essentiel.
- Dans le document, les chercheurs ont « orienté » les signaux internes de l'IA. Par exemple, ils ont forcé le signal interne de l'IA représentant l'état du plateau à penser qu'une pièce d'échecs se trouvait à un endroit différent.
- Le Résultat : L'IA a immédiatement modifié son prochain coup pour correspondre au nouvel état du plateau. Cela a prouvé que le signal interne n'était pas juste un nombre aléatoire ; c'était une représentation que l'IA utilisait réellement pour prendre des décisions.

Conclusion : Ce n'est pas Tout ou Rien

Le document ne dit pas que les LLM sont des humains parfaits avec une âme. Il dit :

Parfois, ils se contentent de mémoriser (comme un annuaire téléphonique).
Mais souvent, ils construisent des cartes internes (représentations) qui leur permettent de raisonner et de résoudre de nouveaux problèmes.

L'auteur conclut que nous ne pouvons plus écarter les LLM comme étant des « perroquets stochastiques » (machines à bruit aléatoire). Ce sont des systèmes complexes qui utilisent des représentations internes pour naviguer dans le monde du langage, tout comme les humains utilisent des cartes mentales pour naviguer dans le monde physique.

En bref : Les LLM ne se contentent pas de lire un script. Ils construisent un modèle mental du monde, et nous disposons désormais des outils pour voir ce modèle fonctionner à l'intérieur de la machine.

1. Énoncé du problème

Le succès rapide des grands modèles de langage (LLM) a déclenché une impasse philosophique et scientifique entre les « optimistes » (qui soutiennent que les LLM possèdent de véritables capacités cognitives comme le raisonnement et la compréhension) et les « pessimistes » (qui soutiennent que les LLM ne sont que des perroquets stochastiques ou des « tables de recherche stochastiques » mémorisant les données d'entraînement sans représentation interne).

Le désaccord théorique fondamental concerne le niveau algorithmique du fonctionnement des LLM (selon les niveaux d'analyse de Marr) :

La vision pessimiste : Le comportement des LLM est entièrement piloté par des processus non représentatifs : la mémorisation et la recherche dans des tables stochastiques.
La vision optimiste : Le comportement des LLM est piloté par un traitement de l'information basé sur des représentations, similaire à la cognition biologique.

L'article soutient que, sans résoudre la question de savoir si les LLM utilisent des représentations, les questions de plus haut niveau concernant leurs croyances, leurs intentions ou leur compréhension ne peuvent être résolues. L'auteur vise à trancher cette question fondamentale en définissant ce qui constitue une représentation dans ce contexte, en réfutant l'alternative de la « table de recherche », et en validant les techniques expérimentales utilisées pour détecter les représentations.

2. Méthodologie et cadre théorique

L'article adopte une approche méthodologique à trois volets :

A. Analyse conceptuelle : Définir la représentation

L'auteur propose un cadre à quatre conditions pour distinguer les véritables représentations des simples intermédiaires causaux. Un état interne $R$ d'un système $S$ représente une caractéristique $z$ si et seulement si :

INFORMATION : $R$ porte une information mutuelle sur $z$ (corrélation statistique réduisant l'incertitude).
EXPLOITABILITÉ : Le système $S$ peut accéder à cette information et l'utiliser pour conditionner son comportement.
COMPORTEMENT : L'exploitation de cette information permet un comportement robuste lié à $z$ (un comportement qui reste stable face à de légères perturbations et dans des contextes variés).
RÔLE : $R$ joue un rôle mécaniste dans le pilotage de ce comportement (il est un composant causal du mécanisme produisant la sortie).

Note : Cette définition est « thétique » (adéquation esprit-monde) et s'applique à des états subpersonnels et non conscients. Elle est contrastée avec Harding (2023), dont les critères sont spécifiques à une tâche ; Yetman plaide pour un compte rendu plus général où l'attribution de représentation n'est pas relativisée à une tâche unique, mais au comportement lié aux caractéristiques en général.

B. Réfutation empirique de l'hypothèse de la « table de recherche »

L'article analyse l'alternative de la « table de recherche » (où les LLM sont vus comme des mappings entrée-sortie massifs et mémorisés). L'auteur soutient que cette vision échoue à expliquer la généralisation hors distribution (OOD).

Étude de cas 1 (Othello-GPT) : Li et al. (2023) ont entraîné un modèle sur des coups d'Othello. Même entraîné sur un jeu de données « biaisé » manquant 25 % de l'arbre du jeu, le modèle a performé parfaitement sur des états de plateau jamais vus. Une pure table de recherche n'aurait pas pu généraliser à des états qu'elle n'avait jamais mémorisés.
Étude de cas 2 (Espace des couleurs) : Patel & Pavlick (2022) ont testé des modèles sur l'inférence de couleurs. Lorsque les données d'entraînement étaient permutées (rotées) de sorte que les paires spécifiques de codes RGB soient nouvelles mais que les relations structurelles restent identiques, le modèle a généralisé avec succès. Cela suggère que le modèle a appris une représentation de la structure de l'espace des couleurs, et non simplement mémorisé des paires.

C. Techniques d'interprétabilité mécaniste (MI)

Pour aller au-delà de l'inférence comportementale (qui est sous-déterminée par la performance seule), l'article valide l'interprétabilité mécaniste comme l'outil nécessaire pour vérifier les représentations.

Sondage (Probing) : Entraîner des classificateurs simples (sondes) sur les activations internes pour voir si l'information sur $z$ est décodable (testant l'Information et l'Exploitabilité).
Intervention (Test causal) : Modifier les états internes (par exemple, via le pilotage d'activations ou l'ablation) pour voir si le comportement du système change d'une manière pertinente pour le contenu (testant le Rôle et le Comportement).
- Exemple : Dans Othello-GPT, inverser la représentation interne d'une tuile du plateau de « la tienne » à « la mienne » a causalement altéré le prochain coup prédit par le modèle, prouvant que l'état interne joue un rôle mécaniste.
- Exemple : Templeton et al. (2024) ont utilisé des Autoencodeurs Creux (SAE) pour identifier et piloter des caractéristiques (par exemple, « Golden Gate Bridge »), provoquant la génération de texte connexe par le modèle, confirmant l'existence de représentations de caractéristiques spécifiques.

3. Contributions clés

Résolution de l'impasse : L'article fournit un argument rigoureux selon lequel les LLM ne sont pas de simples tables de recherche stochastiques. Bien que la mémorisation se produise, la capacité de généralisation robuste et hors distribution nécessite un traitement basé sur des représentations.
Définition affinée de la représentation : L'auteur propose une définition précise à quatre conditions qui évite le « panreprésentationalisme » (l'idée que tout est une représentation) en exigeant que l'état joue un rôle mécaniste spécifique dans un comportement robuste.
Défense de l'interprétabilité mécaniste : L'article défend l'utilisation des techniques de sondage et d'intervention contre les objections (par exemple, que les sondes détectent des corrélations fallacieuses ou que les interventions souffrent de surdétermination causale). Il soutient que ces techniques sont les « complices de culpabilité » de l'inférence causale standard en neurosciences et sont valides pour établir l'existence de représentations en IA.
Distinction entre performance et compétence : L'article clarifie que le succès comportemental seul n'est pas diagnostique d'une représentation (en raison des heuristiques), ni que l'échec n'est pas diagnostique de leur absence. Seule une analyse mécaniste interne peut confirmer la présence de représentations.

4. Résultats

Théoriques : L'hypothèse de la « table de recherche » s'avère insuffisante pour expliquer le comportement des LLM dans les cas nécessitant une généralisation structurelle (par exemple, Othello, espace des couleurs).
Empiriques : Les études MI existantes (Othello-GPT, Espace des couleurs, SAE) démontrent avec succès que les LLM possèdent des états internes satisfaisant les quatre conditions de la représentation : ils portent de l'information, sont décodables, influencent causalement la sortie et permettent un comportement robuste.
Méthodologiques : L'article établit que le sondage confirme la présence d'information, tandis que l'intervention confirme l'utilité causale de cette information. Ensemble, ils fournissent une boucle de vérification complète pour les explications basées sur les représentations.

5. Importance

Fondamental pour la théorie de l'IA : Cet article fournit les bases pour les théorisations futures sur les LLM. En établissant que les LLM utilisent des représentations, il légitime l'application de cadres des sciences cognitives (développés pour les humains/animaux) aux systèmes d'IA.
Implications pour la cognition de haut niveau : Si les LLM possèdent des représentations, cela ouvre la porte à une enquête philosophique sérieuse sur la question de savoir s'ils possèdent des concepts, des croyances ou une compréhension. Cela déplace le débat de « Ont-ils des représentations ? » vers « Quelle est la nature et le contenu de ces représentations ? ».
Sécurité et interprétabilité pratiques de l'IA : La validation des techniques MI suggère que nous pouvons dépasser les explications de « boîte noire ». En identifiant des circuits représentatifs spécifiques, les chercheurs peuvent mieux comprendre, déboguer et aligner les LLM, évoluant vers des systèmes d'IA plus transparents et contrôlables.
Consensus philosophique : L'article contribue à un consensus émergent en philosophie de l'esprit et en IA selon lequel les représentations sont indispensables pour expliquer un comportement complexe et flexible, comblant le fossé entre la science cognitive fonctionnaliste et l'apprentissage profond moderne.