🤖 AI

Superficial Beliefs in LLM Decision-Making

Cet article démontre que les grands modèles de langage manifestent des « croyances superficielles » dans la prise de décision, où leurs choix sont systématiquement dictés par des priorités d'attributs sous-jacentes qu'ils ne peuvent articuler que de manière partielle et imparfaite dans leurs justifications auto-rapportées.

Auteurs originaux : Gabriel Freedman, Francesca Toni

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gabriel Freedman, Francesca Toni

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un robot très intelligent, mais légèrement mystérieux, prend ses décisions. Vous lui demandez de choisir entre deux options, comme le « Médicament A » ou le « Médicament B ». Le robot en choisit un, puis vous explique pourquoi il l'a choisi.

La grande question posée par ce document est la suivante : Le robot réfléchit-il réellement aux raisons qu'il donne, ou est-il simplement en train d'inventer une histoire après coup ?

Voici une décomposition simple de ce que les chercheurs ont fait et de ce qu'ils ont découvert, en utilisant des analogies de la vie quotidienne.

L'expérience : Le « Test de Goût »

Les chercheurs ont mis en place un jeu où le robot devait choisir entre deux profils (comme deux candidats à un emploi ou deux médicaments différents). Chaque profil possédait quatre « statistiques » (comme la Sécurité, le Coût, la Vitesse et la Qualité), évaluées comme Faibles, Moyennes ou Élevées.

Ils ont demandé au robot de faire deux choses pour chaque choix :

Choisir un vainqueur.
Expliquer son choix en nommant la statistique unique la plus importante qui a conduit à la décision.

Pour voir si le robot disait la vérité, les chercheurs ont utilisé un « anneau de décodage secret » (un modèle mathématique). Ils ont observé le robot faire des centaines de choix et ont calculé un « score de préférence » caché pour chaque statistique basé sur ce que le robot a réellement choisi. C'est comme observer une personne manger mille repas et deviner son plat préféré en fonction de ce qu'elle commande, plutôt que de lui demander ce qu'elle aime.

La découverte : La « Personnalité Multiple »

Les résultats étaient un mélange de bonnes et de mauvaises nouvelles.

1. Le robot possède bien un schéma (La « Logique Cachée »)
L'« anneau de décodage secret » a fonctionné de manière surprenante. Lorsque les chercheurs ont utilisé les choix passés du robot pour prédire ses choix futurs, ils ont eu raison 80 % du temps.

Analogie : C'est comme observer un ami commander un café pendant un mois. Même s'il ne le dit pas à voix haute, vous pouvez prédire qu'il commandera un latte demain parce qu'il le fait toujours. Le robot ne choisit pas au hasard ; il possède une logique cachée et cohérente.

2. L'« Histoire » du robot ne correspond pas à la « Logique » (La « Croyance Superficielle »)
Voici le tournant : lorsque les chercheurs ont comparé la logique cachée réelle du robot avec les raisons qu'il a exprimées à voix haute, elles ne correspondaient pas parfaitement.

La logique cachée du robot disait : « J'ai choisi le Médicament A à cause de la Sécurité ».
Mais quand on lui demandait, le robot disait souvent : « J'ai choisi le Médicament A à cause de l'Efficacité ».
Analogie : Imaginez que vous conduisez une voiture. Vos mains tournent le volant vers la gauche parce qu'il y a un nid-de-poule (la logique cachée). Mais si quelqu'un vous demande : « Pourquoi tournes-tu à gauche ? », vous pourriez répondre : « Parce que je veux voir la vue » (l'histoire). Vous ne mentez pas de manière malveillante ; vous n'avez juste pas un accès complet à la véritable raison pour laquelle vos mains ont bougé.

Les chercheurs appellent cela la « Croyance Superficielle ». Le robot se comporte comme s'il avait des croyances et des priorités profondes, mais il n'a qu'une capacité « superficielle » (de surface) à les expliquer. Il peut prendre la bonne décision, mais il ne peut pas toujours articuler le véritable moteur de cette décision.

Le test de la « Carte de Score »

Les chercheurs ont essayé une deuxième méthode pour obtenir la vérité. Au lieu de demander au robot de choisir un vainqueur, ils lui ont demandé de donner un « score » (de 0 à 1) pour l'importance de chaque statistique.

Résultat : Cette méthode était plus cohérente (le robot donnait des scores similaires à chaque fois), mais elle ne correspondait toujours pas parfaitement à la logique cachée dérivée des choix. C'était comme demander au robot d'évaluer sa faim ; il donnait des chiffres cohérents, mais ces chiffres n'expliquaient toujours pas parfaitement quel sandwich il voulait réellement manger.

La vérification du « Contrôle »

Pour s'assurer que le robot ne choisissait pas des mots au hasard, ils ont ajouté des statistiques « fictives » qui n'avaient aucune importance (comme la « Symétrie de l'Emballage » pour un médicament).

Résultat : Le robot n'a presque jamais choisi ces statistiques fictives comme étant la raison de son choix. Cela prouve que le robot prête attention aux données réelles ; il est simplement moins doué pour expliquer quelle donnée réelle a été la plus importante.

L'essentiel

Le document conclut que les modèles de langage étendus (LLM) ne sont pas de simples machines à bruit aléatoire, ni des penseurs totalement transparents.

Ils ne sont pas aléatoires : Ils suivent un schéma caché et prévisible lors de la prise de décision.
Ils ne sont pas totalement transparents : Leurs explications verbales ne sont qu'un reflet partiel et imparfait de ce schéma caché.

La métaphore : Considérez le LLM comme un chef très talentueux capable de cuisiner un repas parfait à chaque fois (la décision). Mais si vous demandez au chef : « Quel était l'ingrédient secret ? », il pourrait deviner « le sel » alors que le vrai secret était en fait « un type spécifique de poivre ». Le chef sait comment réussir son plat, mais il n'a pas de carte verbale claire de la façon dont son propre cerveau procède. Il possède une « croyance superficielle » dans son propre processus de cuisine.

Résumé Technique : Croyances Superficielles dans la Prise de Décision des LLM

Énoncé du Problème

Cet article examine si les grands modèles de langage (LLM) possèdent une structure de décision sous-jacente systématique ou s'ils se contentent d'imiter le langage de la croyance lors de la prise de décision. Plus précisément, il traite l'écart entre le comportement extérieur d'un LLM (ses choix) et ses auto-rapports explicites (ses raisons déclarées). Les auteurs se demandent : les LLM présentent-ils des priorités stables, semblables à des croyances, sur les attributs dans des contextes de décision binaire, et si oui, ces priorités sont-elles accessibles par une élicitation verbale directe ?

S'appuyant sur une perspective « superficialiste » (Schwitzgebel, 2025), l'article postule que l'attribution de croyance devrait dépendre de schémas comportementaux stables plutôt que de l'architecture interne. L'hypothèse centrale est que, bien que les choix des LLM puissent être suffisamment systématiques pour soutenir une forme faible de « croyance superficielle », les raisons explicites fournies par les modèles peuvent ne suivre que partiellement les véritables moteurs de ces choix.

Méthodologie

Conception du Benchmark

Les auteurs ont construit un benchmark synthétique pour la prise de décision binaire impliquant :

Structure : 400 problèmes d'entraînement et 100 de test, chacun consistant en deux options (profils) définies par quatre attributs gradués (Bas, Moyen, Haut).
Thèmes : Les attributs de base sont instanciés à travers trois thèmes principaux (Médicaments, Politique, Logiciel) et deux thèmes de contrôle (remplaçant un attribut par des éléments non pertinents : Symétrie de l'emballage ou Épaisseur de la bordure de l'étiquette).
Objectifs : Chaque thème inclut un objectif d'optimisation spécifique (ex: « Optimiser le résultat global du patient sur 5 ans »).
Variantes : Chaque problème est rendu dans quatre variantes d'ordre de prompt pour tester la robustesse face à l'ordre des attributs.
Échantillonnage : Chaque prompt est échantillonné trois fois pour mesurer la cohérence.

Configuration Expérimentale

L'étude évalue quatre familles de modèles (GPT-5-mini, GPT-5-nano, Qwen3-14B, Ministral-3-14B) à travers deux configurations : Non-Pensant (NT) et Pensant (T).

Trois flux d'évaluation distincts sont comparés :

Rapport Direct : Le modèle est invité à choisir une option et à énoncer l'attribut le plus important pour ce choix.
Juge basé sur le Score : Le modèle est invité à attribuer un score de décisivité $[0, 1]$ à chacun des quatre attributs. Ces scores sont signés en fonction de la direction de la différence d'attribut et agrégés (somme signée) pour inférer un choix et un « moteur » (l'attribut ayant la plus grande contribution absolue signée).
Modèle Comportemental : Une régression logistique binomiale est ajustée sur les choix de l'ensemble d'entraînement. Le modèle utilise les différences d'attributs visibles comme prédicteurs pour apprendre des poids globaux ( $\beta$ ). Sur l'ensemble de test, ce modèle prédit le choix et identifie le « moteur révélé » (l'attribut qui contribue le plus fortement au choix réellement observé du modèle).

Métriques d'Évaluation

La comparaison principale s'effectue entre les moteurs explicitement élicités (via le Rapport Direct et le Juge basé sur le Score) et le moteur comportementalement inféré (via la Régression Logistique). L'accord est mesuré à deux niveaux :

Niveau du Choix : La méthode élicitée prédit-elle la même option que le modèle comportemental ?
Niveau de l'Attribut : La méthode élicitée identifie-t-elle le même « moteur » que le modèle comportemental ?

Contributions Clés

Benchmark Synthétique : Introduction d'un benchmark de décision binaire contrôlé avec des attributs gradués, des thèmes multiples et des variantes de contrôle pour isoler les structures de décision du bruit sémantique.
Méthodologie Opérationnelle : Un cadre pour reconstruire les priorités de décision locales via la modélisation comportementale et les comparer aux méthodes d'élicitation explicite (Rapport Direct et Juge basé sur le Score).
Résultats Empiriques : Une démonstration systématique que, bien que les choix des LLM soient hautement prévisibles et structurés, les raisons explicites fournies par les modèles (et même les juges basés sur les scores) ne s'alignent que partiellement sur les moteurs déduits du comportement.

Résultats

Prédiction du Choix

Le modèle comportemental prédit les choix sur l'ensemble de test avec une grande précision à travers tous les thèmes et modèles.

Précision Globale : 80,4 % d'accord entre le choix prédit par le modèle comportemental et le choix observé du modèle.
Juge basé sur le Score : Atteint 71,7 % d'accord avec la cible de choix du modèle comportemental.
Thèmes de Contrôle : Les attributs non pertinents sont sélectionnés rarement (<2 %), confirmant que les modèles ne choisissent pas de manière aléatoire mais répondent à des structures sémantiquement significatives.

Récupération de l'Attribut (La Découverte Centrale)

Il existe une dissociation significative entre le choix et la raison énoncée :

Rapport Direct : L'attribut nommé par le modèle ne correspond au moteur révélé par le modèle comportemental que 61,0 % du temps.
Juge basé sur le Score : Correspond au moteur révélé 61,3 % du temps.
Conclusion : Les deux méthodes explicites n'offrent qu'un accès partiel à la structure de décision. L'« attribut le plus important » déclaré par le modèle ne s'aligne souvent pas sur l'attribut qui, mathématiquement, pilote son choix dans le modèle comportemental.

Robustesse et Perturbation

Reproductibilité : Le Juge basé sur le Score est plus reproductible à travers les variantes de prompt que les Rapports Directs, mais il ne récupère pas le moteur comportemental avec plus de précision.
Analyse d'Intervention : L'occlusion ciblée (suppression ou neutralisation d'un attribut) montre que les attributs classés plus haut par le modèle comportemental provoquent des perturbations plus importantes tant dans les choix que dans les attributs énoncés. Cela confirme que le modèle comportemental récupère une structure pertinente pour le processus de décision réel du modèle, même si celui-ci ne peut l'articuler explicitement.

Signification et Revendications

L'article plaide pour une « forme de croyance superficielle, faible et locale à la décision » dans les LLM.

Structuré mais Opaque : Les décisions des LLM ne sont pas arbitraires ; elles présentent une structure locale probabiliste et systématique sur les attributs qui permet une prédiction précise. Cependant, cette structure n'est pas totalement transparente pour le raisonnement explicite du modèle lui-même.
Limites de l'Auto-rapport : L'élicitation explicite (directe ou basée sur les scores) échoue à récupérer pleinement les moteurs de décision sous-jacents. Les modèles se comportent comme s'ils étaient guidés par des priorités spécifiques, mais leur accès verbal à ces priorités est limité et imparfait.
Revendications Modestes sur la Croyance : Les auteurs ne prétendent pas que les LLM possèdent une « croyance pleinement articulée » au sens philosophique. Au contraire, les preuves soutiennent une vision où le comportement affiche des schémas stables (justifiant une attribution superficielle de croyance) mais manque de la cohérence interne ou de l'auto-connaissance requise pour des affirmations plus fortes.
Reproductibilité vs Alignement : L'étude souligne qu'une reproductibilité plus élevée des sorties (ex: via les juges basés sur les scores) n'implique pas nécessairement un meilleur alignement avec la structure de décision sous-jacente.

L'article conclut que, bien que les LLM affichent des « croyances superficielles » sous la forme de dispositions comportementales stables, celles-ci sont distinctes des rationalisations explicites qu'ils génèrent, suggérant un fossé entre le faire et le dire dans les architectures actuelles de LLM.