🤖 AI

Representation Without Control: Testing the Realization Effect in Language Models

Cet article démontre que, bien que les grands modèles de langage présentent des changements comportementaux sensibles aux invites et possèdent des représentations internes linéairement décodables de l'« effet de réalisation », l'impossibilité de piloter causalement ces représentations pour modifier les décisions de prise de risque révèle que les lectures latentes n'indiquent pas nécessairement une véritable dépendance à ces représentations pour la prise de décision en aval.

Auteurs originaux : Ciarán Walsh, Emilio Barkett

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ciarán Walsh, Emilio Barkett

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot très intelligent et très bavard capable de faire semblant d'être un humain. Vous lui posez des questions sur l'argent, le jeu et le risque, espérant qu'il agisse comme une personne prenant de vraies décisions dans la vie réelle. Mais voici la grande question : le robot « pense-t-il» réellement comme un humain, ou est-il simplement doué pour deviner quels mots dire en fonction de la manière dont vous avez posé la question ?

Ce document met ce robot à l'épreuve en utilisant un célèbre tour de psychologie appelé l'« Effet de Réalisation ».

Le Scénario : Le Portefeuille « Ouvert » vs « Fermé »

Dans la vie réelle, les humains se comportent différemment selon qu'un gain ou une perte est « ouvert » (sur papier) ou « réalisé » (encaissé).

Papier (Ouvert) : Imaginez que vous gagnez 50 $ sur un ticket à gratter mais que vous ne l'avez pas encore encaissé. Vous pourriez avoir l'impression d'être toujours « dans le jeu » et prendre des risques plus grands pour doubler votre argent.
Réalisé (Fermé) : Imaginez que vous avez encaissé ces 50 $, mis l'argent dans votre poche, puis l'avez perdu. Vous pourriez avoir l'impression que cet argent est parti et devenir plus prudent.

Les chercheurs se sont demandé : L'IA fait-elle la différence entre un portefeuille « ouvert » et un portefeuille « fermé », et modifie-t-elle réellement son comportement à cause de cela ?

Ils ont testé l'IA de trois manières, comme vérifier un suspect à trois niveaux différents d'une enquête policière.

Niveau 1 : Le Test de « Jeu d'Acteur » (Comportement)

D'abord, ils ont simplement demandé à l'IA de répondre à des questions.

Le Résultat : L'IA a changé ses réponses selon que l'histoire disait que l'argent était « ouvert » ou « fermé ». Elle était sensible aux mots.
Le Problème : Mais elle n'agissait pas comme un vrai humain. Lorsque les humains perdent de l'argent dans un compte « ouvert », ils deviennent imprudents. Lorsque l'IA perdait de l'argent dans un compte « ouvert », elle ne devenait pas imprudente de la même manière. Elle imitait simplement la forme de la réponse, pas la logique derrière celle-ci.

Niveau 2 : Le Test « Rayons X » (Lecture du Cerveau)

Ensuite, les chercheurs ont regardé à l'intérieur du « cerveau » de l'IA (ses couches mathématiques internes) pour voir si elle possédait réellement un concept de « Ouvert vs Fermé » stocké là.

Le Résultat : Ils l'ont trouvé ! À une couche spécifique (Couche 18) de l'IA, il y avait un signal clair et lisible. Si vous regardiez les mathématiques, vous pouviez dire exactement quelles requêtes étaient « ouvertes » et lesquelles étaient « fermées ».
La Métaphore : C'est comme trouver un interrupteur dans une maison clairement étiqueté « Lumière de la Cuisine ». Vous pouvez voir l'interrupteur, et vous savez qu'il est connecté à la cuisine.

Niveau 3 : Le Test de « Télécommande » (Contrôle Causal)

C'est la partie la plus importante. Si l'IA « comprend » vraiment le concept, alors nous devrions pouvoir actionner cet interrupteur interne et forcer l'IA à changer d'avis.

L'Expérience : Les chercheurs ont utilisé une « télécommande » (pilotage d'activation) pour actionner manuellement cet interrupteur « Ouvert vs Fermé » à l'intérieur du cerveau de l'IA pendant qu'elle répondait aux questions. Ils ont essayé de forcer l'IA à agir comme si elle avait un portefeuille « ouvert » ou un portefeuille « fermé ».
Le Résultat : Rien ne s'est produit. Même s'ils pouvaient voir l'interrupteur et l'actionner, les décisions finales de l'IA concernant le jeu et le risque n'ont pas changé.
La Métaphore : C'est comme trouver un interrupteur étiqueté « Lumière de la Cuisine », l'actionner en marche et arrêt, et réaliser que la lumière de la cuisine ne s'allume pas. L'interrupteur existe, mais il n'est pas réellement connecté à l'ampoule. C'est simplement une décoration.

La Grande Conclusion

Le document conclut que le fait qu'une IA puisse dire les bons mots (Niveau 1) et possède un « interrupteur » lisible à l'intérieur de son cerveau (Niveau 2) ne signifie pas que cet interrupteur contrôle réellement ses actions (Niveau 3).

L'« Effet de Réalisation » chez les humains est un mécanisme profond et causal : la façon dont nous nous sentons à l'égard de l'argent modifie notre façon de jouer.
L'« Effet de Réalisation » chez cette IA n'était qu'un motif de surface. L'IA a remarqué les mots « ouvert » et « fermé » et a ajusté son vocabulaire, mais elle n'a pas réellement utilisé ce concept pour prendre sa décision finale.

L'Essentiel :
Ne supposez pas qu'une IA « pense » comme un humain simplement parce qu'elle donne des réponses humaines. Elle pourrait juste être une très bonne actrice. Pour prouver qu'elle « pense » réellement, vous devez montrer que vous pouvez plonger à l'intérieur, actionner un interrupteur et la faire agir différemment. Dans ce cas, les chercheurs ont essayé d'actionner l'interrupteur, et l'IA n'a pas bougé.

En bref : L'IA a les mots pour le concept, et elle a le signal interne pour le concept, mais elle n'a pas le contrôle sur son comportement. Le signal est là, mais il ne fait aucun travail réel.

Résumé technique : Représentation sans contrôle

Énoncé du problème
L'article comble une lacune critique dans l'évaluation des grands modèles de langage (LLM) utilisés comme simulateurs comportementaux. Bien que les LLM soient de plus en plus employés pour modéliser la cognition humaine, il reste incertain si leurs sorties sensibles aux conditions reflètent une véritable implémentation interne des mécanismes cognitifs humains ou simplement des motifs de surface sensibles aux invites. Les auteurs enquêtent sur cette question en testant « l'effet de réalisation », un phénomène bien caractérisé en économie comportementale où le comportement de prise de risque change systématiquement en fonction du fait que les gains ou pertes antérieurs soient « papier » (compte mental ouvert) ou « réalisés » (compte mental fermé). La question centrale est de savoir si les LLM ne se contentent pas d'exhiber une sensibilité comportementale à ce cadrage, mais encodent également le concept sous-jacent comme une représentation causale qui pilote les décisions en aval.

Méthodologie
L'étude emploie un design expérimental en trois étapes utilisant le modèle Gemma 3 4B pour tester trois affirmations liées : la sensibilité comportementale, la décodabilité linéaire et le contrôle causal.

Tâche comportementale par invite uniquement : Les auteurs ont construit 11 conditions de vignettes couvrant des résultats papier et réalisés (finance, casino, etc.) pour tester si les réponses des LLM (montants des paris et préférences de risque) reproduisent les prédictions directionnelles des effets de réalisation humains.
Lecture des activations : L'équipe a analysé les activations du flux résiduel de Gemma pour déterminer si le « statut de réalisation » est décodable linéairement. Ils ont construit un vecteur de direction de différence de moyennes ( $v_{realization} = \mu_{realized\_closed} - \mu_{paper\_open}$ ) en utilisant un ensemble d'entraînement de 756 paires appariées à la couche 18. Cette direction a été testée pour sa généralisation sur des ensembles de validation retenus et un nouvel ensemble d'invites généré par DeepSeek.
Intervention de pilotage causal : Pour tester si la représentation décodée régit causalement le comportement, les auteurs ont mis en œuvre un pilotage du flux résiduel. Ils ont ajouté la direction de réalisation mise à l'échelle et normalisée aux activations du modèle à la couche 18 pendant la génération. Ils ont testé diverses échelles de pilotage (de -50 à +150) pour voir si le déplacement des activations vers les états « réalisés » ou « papier » modifiait de manière fiable les choix de paris et de risque du modèle. Une tâche de classification à contrôle positif a également été exécutée pour vérifier les changements sémantiques dans les jugements directs.

Résultats clés
Les résultats révèlent une dissociation significative entre la représentation et le contrôle :

Sensibilité comportementale (Partielle) : Les LLM sont sensibles aux conditions, produisant des réponses différentes selon le cadrage. Cependant, le motif directionnel ne correspond pas de manière robuste aux prédictions de l'effet de réalisation humain. Par exemple, les pertes réalisées ont augmenté la prise de risque dans le modèle, contrairement à la tendance humaine à diminuer le risque après des pertes réalisées.
Lecture linéaire (Succès) : Le statut de réalisation est décodable linéairement à partir du flux résiduel de Gemma à la couche 18. Une direction entraînée sur un ensemble d'invites sépare avec succès les invites « papier » des invites « réalisées » dans les ensembles retenus, y compris ceux provenant d'une source différente (DeepSeek).
Contrôle causal (Échec) : Le pilotage le long de la direction de réalisation décodée ne déplace pas de manière fiable le comportement de risque en aval.
- Paris et Risque : À travers les échelles de pilotage positives et négatives, les deltas moyens de paris et de risque étaient faibles, et les deltas médians étaient constamment nuls.
- Symétrie : Le renversement attendu symétrique par signe (le pilotage vers « papier » devrait diminuer le risque, le pilotage vers « réalisé » devrait l'augmenter, ou vice versa) n'a pas été observé.
- Corrélation : Bien que la force de projection brute ait été faiblement corrélée aux montants des paris au niveau de l'invite, cette association a disparu après contrôle de la structure de l'invite. Au sein des paires appariées, les deltas de projection n'ont pas prédit les deltas comportementaux.
Contrôle positif : Une tâche de classification a montré un faible déplacement directionnel dans le jugement sémantique (augmentation des prédictions « réalisées » aux échelles positives élevées), mais la précision est restée proche du hasard, et le déplacement était asymétrique.

Contributions clés
La contribution principale de l'article est la démonstration empirique que la sensibilité comportementale, la lecture latente et le contrôle causal sont trois propriétés distinctes qui ne coexistent pas automatiquement.

Il établit qu'une lecture linéaire réussie d'une variable est une preuve insuffisante qu'un modèle s'appuie sur cette représentation lors de la prise de décision en aval.
Il fournit une étude de cas concrète où un modèle passe les deux premiers tests de l'interprétabilité mécaniste (sensibilité et décodabilité) mais échoue au troisième (contrôle causal).
Il remet en question l'hypothèse selon laquelle un comportement sensible aux conditions chez les LLM implique l'implémentation de mécanismes cognitifs de type humain.

Portée et affirmations
Les auteurs soutiennent que leurs résultats nécessitent un changement dans la manière dont la recherche comportementale sur les LLM est menée et interprétée.

Pour l'évaluation comportementale : La sensibilité aux conditions seule est une preuve faible d'une cognition de type humain. Les modèles peuvent suivre des caractéristiques de surface des invites (cadrage) sans encoder les constructions mentales sous-jacentes (par exemple, la comptabilité mentale).
Pour l'interprétabilité mécaniste : L'étude met en garde contre le traitement de la décodabilité linéaire comme un proxy pour l'explication causale. Une représentation peut être lisible dans les activations tout en étant épiphénoménale par rapport à la politique régissant les sorties. Les auteurs postulent que « la validation causale, et pas seulement le décodage corrélationnel, est nécessaire pour établir qu'une représentation accomplit un travail réel ».
Conclusion : L'article conclut que prouver qu'un modèle implémente véritablement une construction de prise de décision humaine nécessite de montrer que la représentation pertinente est causalement en amont du comportement d'intérêt. C'est un seuil plus élevé que celui actuellement appliqué par le domaine, et les auteurs suggèrent que le contrôle causal devrait être traité comme une condition nécessaire pour de telles affirmations mécanistes.

Les auteurs restent modestes quant à la portée, notant que le résultat nul est spécifique à la configuration Gemma 3 4B (couche 18, pilotage du dernier token) et que la dissociation pourrait varier selon les modèles, les couches ou les types de tâches. Cependant, cette découverte motive une norme plus stricte pour affirmer que les LLM implémentent des mécanismes cognitifs spécifiques.