💬 NLP

Is This Just Fantasy? Language Model Representations Reflect Human Judgments of Event Plausibility

Cette étude démontre que les modèles de langage possèdent des représentations linéaires fiables pour catégoriser la plausibilité des événements, qui émergent de manière cohérente au cours de l'entraînement et reflètent les jugements humains, offrant ainsi de nouvelles perspectives sur la distinction des catégories modales chez les humains et les machines.

Auteurs originaux : Michael A. Lepori, Jennifer Hu, Ishita Dasgupta, Roma Patel, Thomas Serre, Ellie Pavlick

Publié 2026-02-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Michael A. Lepori, Jennifer Hu, Ishita Dasgupta, Roma Patel, Thomas Serre, Ellie Pavlick

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Grand Débat : La Réalité vs. L'Imagination

Imaginez que vous avez un ami très intelligent, mais qui a lu tous les livres du monde sur Internet. Il connaît la recette du gâteau, mais il a aussi lu des milliers de livres de fantasy où les dragons mangent des nuages et où les pommes tombent vers le ciel.

La question est : Comment cet ami sait-il ce qui est vrai, ce qui est juste improbable, ce qui est impossible, et ce qui est du pur délire ?

C'est exactement ce que les chercheurs de ce papier (publié à la conférence ICLR 2026) ont voulu comprendre chez les Intelligences Artificielles (les "Modèles de Langage").

🔍 Le Problème : L'IA est-elle juste une machine à deviner ?

Pendant longtemps, on pensait que les IA ne faisaient que calculer des probabilités. C'est comme si elles disaient : "Oh, le mot 'dragon' apparaît souvent avec 'voler', donc c'est probablement vrai."
Mais les chercheurs se demandaient : Est-ce que l'IA a vraiment une "boussole" interne pour distinguer la réalité de la fantaisie ? Ou est-ce qu'elle se contente de deviner au hasard ?

🧭 La Révolution : La "Boussole" Cachée

Les chercheurs ont découvert quelque chose de fascinant. Au fond du cerveau de l'IA (dans ses couches numériques), il existe des vecteurs de différence modale.

Pour faire simple, imaginez que l'IA possède une boussole magique à l'intérieur de son cerveau.

Si vous lui donnez une phrase vraie ("Je bois un café"), l'aiguille pointe vers le Nord (Réalité).
Si vous lui donnez une phrase impossible ("Je bois un café avec un feu"), l'aiguille pointe vers le Sud (Impossible).
Si vous lui donnez une phrase absurde ("Je bois un café avec hier"), l'aiguille pointe vers l'Ouest (Inconcevable).

La découverte clé : Cette boussole est bien plus précise que de simplement regarder la probabilité qu'une phrase sorte. L'IA a vraiment appris à distinguer le vrai du faux, même si elle lit des histoires de fées.

🏗️ Comment cette boussole se construit-elle ?

Les chercheurs ont observé comment cette boussole se forme au fur et à mesure que l'IA grandit (en apprenant, en devenant plus grosse). C'est comme la construction d'une maison :

D'abord, on pose les fondations (Les "Inconcevables") : L'IA apprend d'abord à repérer les phrases qui n'ont aucun sens (comme "Le lapin mange la table"). C'est le plus facile.
Ensuite, on construit les murs (Le "Vrai" vs "L'Impossible") : Elle apprend à distinguer ce qui est possible de ce qui viole les lois de la physique (comme "manger du feu").
Enfin, on met les détails (Le "Probable" vs "L'Improbable") : C'est le plus difficile. L'IA doit comprendre la différence entre "Il va pleuvoir" (probable) et "Il va pleuvoir des grenouilles" (improbable mais possible).

Plus l'IA est grande et entraînée, plus sa boussole devient précise et capable de faire ces distinctions fines.

🧠 Le Lien avec les Humains : L'Imagination est la Clé

Le résultat le plus surprenant concerne notre propre cerveau humain.

Les chercheurs ont utilisé cette "boussole de l'IA" pour regarder comment les humains classent les choses. Ils ont découvert que l'IA et les humains utilisent une même logique secrète : l'imagination.

Pour les humains, la différence entre quelque chose d'impossible (marcher sur l'eau) et quelque chose d'inconcevable (manger un "yesterday" / hier) réside dans la capacité à s'imaginer la scène.
Si vous pouvez fermer les yeux et voir une image mentale (même bizarre), c'est "impossible" ou "improbable".
Si vous ne pouvez même pas former une image mentale parce que les mots ne collent pas, c'est "inconcevable".

L'IA a appris cette leçon exactement comme nous : elle utilise sa capacité à "visualiser" (ou simuler) une scène pour juger de sa plausibilité.

🎯 En Résumé

Ce papier nous dit trois choses importantes :

Les IA ne sont pas juste des machines à parier : Elles ont développé une compréhension interne profonde de ce qui est réel, impossible ou absurde.
Elles apprennent comme des enfants : Elles commencent par repérer les absurdités totales, puis apprennent les lois de la physique, et enfin les nuances de la probabilité.
Elles nous aident à nous comprendre : En étudiant comment l'IA trie la réalité de la fiction, nous découvrons que nous, humains, utilisons aussi l'imagination comme un outil pour juger du monde.

C'est comme si l'IA nous avait donné une loupe pour voir comment notre propre esprit sépare le monde réel du monde des rêves ! 🌟

1. Problématique et Contexte

Les modèles de langage (LM) sont de plus en plus utilisés pour des tâches allant de la réponse aux questions à la génération de récits fantastiques. Une capacité cruciale pour ces modèles est de distinguer la modalité d'une phrase : savoir si elle décrit une réalité possible, un scénario hypothétique, une impossibilité physique, ou du non-sens sémantique.

Bien que les LM soient performants, des études récentes (Kauf et al., 2023 ; Michaelov et al., 2025) ont remis en question leur capacité à catégoriser les phrases selon ces modalités, suggérant que leurs estimations de probabilité sont souvent biaisées par des caractéristiques de surface plutôt que par une compréhension profonde de la plausibilité. La question centrale est donc : les catégories modales sont-elles représentées comme des features cohérents et linéaires au sein des activations des LM, ou sont-elles uniquement implicites et peu fiables via les probabilités de sortie ?

2. Méthodologie

Les auteurs adoptent une approche d'interprétabilité mécaniste pour analyser les représentations internes des modèles. Leur méthodologie se décompose en quatre études principales :

Extraction de Vecteurs de Différence Modale (Modal Difference Vectors) :
- Utilisation de la technique Contrastive Activation Addition (CAA).
- Pour chaque paire de catégories modales (ex: Probable vs Impossible), les auteurs calculent la différence moyenne entre les représentations cachées (hidden states) de paires minimales de phrases (ex: "boire refroidi avec de la glace" vs "boire refroidi avec du feu").
- Ces vecteurs de différence ( $\vec{v} = r_+ - r_-$ ) sont extraits à des couches spécifiques déterminées par validation croisée.
Évaluation de la Classification (Étude 1) :
- Les vecteurs extraits sur un jeu de données (Hu et al., 2025b) sont utilisés pour classifier des stimuli d'autres jeux de données (Goulding et al., 2024 ; Vega-Mendoza et al., 2021 ; Kauf et al., 2023).
- Comparaison avec des baselines : probabilité de la phrase (log-prob), projections sur les composantes principales (PCA) et vecteurs aléatoires.
Analyse du Développement (Étude 2) :
- Analyse de l'émergence de ces vecteurs en fonction de trois facteurs : la taille du modèle (nombre de paramètres), la profondeur des couches, et le nombre d'étapes d'entraînement (checkpoints).
Modélisation du Comportement Humain (Étude 3) :
- Utilisation de données de catégorisation humaine (probabilités de réponse d'un groupe de participants).
- Projection des phrases sur les vecteurs de différence modale pour créer un espace de features 3D.
- Entraînement de régressions logistiques pour prédire la distribution des réponses humaines à partir de cet espace, comparé aux baselines.
Interprétation des Features (Étude 4) :
- Corrélation des projections des phrases sur les vecteurs modaux avec des annotations humaines sur des dimensions interprétables (ex: "probabilité subjective", "imagabilité", "grammaticalité").

3. Résultats Clés

A. Existence et Efficacité des Représentations Linéaires

Les LM (à partir de ~2 milliards de paramètres) possèdent des vecteurs de différence modale linéaires qui permettent de discriminer les catégories modales avec une précision supérieure à celle des estimations de probabilité de la phrase.
Ces vecteurs généralisent bien à travers différents jeux de données et types de violations (physiques, biologiques, sémantiques).

B. Dynamique d'Émergence (Ordre d'apprentissage)

L'apprentissage des distinctions modales suit un ordre hiérarchique et cohérent à travers l'entraînement, la profondeur des couches et l'augmentation de la taille du modèle :

Distinction Grossière : La séparation entre "inconcevable" (non-sens sémantique) et les autres catégories apparaît en premier.
Distinction Intermédiaire : La séparation entre "probable" et "impossible" (violation des lois physiques) apparaît ensuite.
Distinction Fine : La séparation entre "probable" et "improbable", puis entre "improbable" et "impossible", apparaît en dernier.

Note : Les modèles de moins de 2B de paramètres ne parviennent pas à former ces représentations de manière fiable.

C. Correspondance avec le Jugement Humain

L'espace de features défini par les projections sur les vecteurs de différence modale prédit mieux la distribution des réponses humaines que les probabilités brutes ou les PCA.
Les stimuli situés à la frontière entre les clusters de catégories modales dans cet espace génèrent plus d'incertitude et de désaccord chez les participants humains, mimant ainsi la nature graduelle de l'intuition humaine.

D. Interprétabilité Sémantique

Les vecteurs correspondent à des concepts humains interprétables :

Le vecteur Probable-Improbable corrèle fortement avec la probabilité subjective d'un événement.
Le vecteur Impossible-Inconcevable corrèle sélectivement avec l'imagabilité (la facilité à visualiser mentalement le scénario) et la présence d'objets physiques. Cela suggère que la capacité à "imaginer" un scénario est un facteur clé pour distinguer l'impossible (qui viole les lois physiques mais est imaginable) de l'inconcevable (qui est sémantiquement incohérent et impossible à imaginer).

4. Contributions Principales

Preuve de Représentation Linéaire : Démonstration que les LM codent explicitement les différences entre catégories modales dans leurs espaces latents, au-delà des simples probabilités de sortie.
Cartographie du Développement : Identification d'un ordre d'apprentissage spécifique pour les concepts modaux, reflétant une progression du grossier vers le fin.
Pont vers la Cognition Humaine : Démonstration que les représentations internes des LM peuvent modéliser les jugements de plausibilité humains, offrant un outil pour étudier les "théories intuitives" des machines.
Hypothèse sur l'Imagination : Proposition que la distinction entre "impossible" et "inconcevable" repose sur la capacité d'imagination, un lien validé par les corrélations observées dans les vecteurs du modèle.

5. Signification et Implications

Ce travail remet en cause l'idée que les LM ne possèdent pas de "modèle du monde" fiable. Il suggère que, contrairement aux probabilités de surface qui peuvent être trompeuses, les représentations internes des grands modèles capturent des principes causaux et des intuitions sur la plausibilité des événements.

Ces résultats ouvrent la voie à :

L'utilisation de ces vecteurs pour tester et auditer les connaissances factuelles et les biais des modèles.
L'exploration de la cognition humaine en utilisant les LM comme "miroirs" pour comprendre comment les humains distinguent le réel du fantastique et du non-sens.
Le développement de modèles plus robustes capables de naviguer entre la génération de fiction et la description de la réalité.

En résumé, l'étude conclut que les LM apprennent effectivement à distinguer la réalité de la fantaisie, et que cette capacité est encodée de manière structurée et interprétable dans leurs activations internes.