🤖 AI

When Agents Say One Thing and Do Another: Validating Elicited Beliefs from LLMs

Cet article propose un cadre décisionnel pour valider la cohérence entre les croyances probabilistes exprimées par les grands modèles de langage et leurs décisions, révélant que, bien que même les modèles les plus performants présentent de légères divergences entre leurs croyances déclarées et leurs actions, ces croyances ne constituent pas des résumés parfaits des informations qui sous-tendent leurs choix.

Auteurs originaux : Khurram Yamin, Jingjing Tang, Santiago Cortes-Gomez, Amit Sharma, Eric Horvitz, Bryan Wilder

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Khurram Yamin, Jingjing Tang, Santiago Cortes-Gomez, Amit Sharma, Eric Horvitz, Bryan Wilder

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un consultant médical expert dans le diagnostic des patients. Vous lui posez deux questions concernant un patient spécifique :

L'Estimation : « Quelle est la probabilité en pourcentage que ce patient souffre d'une maladie spécifique ? »
L'Action : « Sur la base de ce que vous savez, que devrions-nous faire ? Le traiter, le renvoyer chez lui ou effectuer davantage de tests ? »

Cet article pose une question simple mais épineuse : L'« Estimation » du consultant correspond-elle réellement à son « Action » ?

Parfois, des personnes (ou des intelligences artificielles) disent une chose mais en font une autre. Peut-être que le consultant déclare : « Je ne suis sûr qu'à 60 % qu'il s'agit de la maladie », mais qu'il agit ensuite comme s'il en était certain à 99 % en prescrivant immédiatement une chirurgie risquée. Ou peut-être qu'il agit avec prudence, même s'il prétend être très confiant.

Les chercheurs de cet article ont construit un « détecteur de vérité » pour vérifier si les grands modèles de langage (LLM) — ces chatbots IA intelligents — sont cohérents. Ils n'ont pas seulement vérifié si les calculs de l'IA étaient justes ; ils ont vérifié si les mots de l'IA (ses croyances déclarées) expliquaient réellement ses choix.

Le travail d'enquête de la « Boîte Noire »

Les chercheurs traitent l'IA comme une « boîte noire ». Ils ne peuvent pas regarder à l'intérieur de son cerveau pour voir comment elle pense. Ils ne peuvent observer que ce qui en sort : la probabilité qu'elle énonce à voix haute et la décision qu'elle prend.

Pour tester l'IA, ils ont utilisé deux principaux « tests de vérité », qui peuvent être compris à travers ces analogies :

1. Le test « Pas de secrets supplémentaires » (Indépendance conditionnelle)

Imaginez que l'IA est un détective qui rédige un rapport.

La Croyance : Le rapport indique : « Je pense que le suspect est coupable avec une certitude de 80 %. »
L'Action : Le détective arrête le suspect.

Si le rapport est un résumé complet de tout ce que le détective sait, alors une fois que vous avez lu la partie « 80 % de certitude », vous ne devriez rien apprendre de nouveau en observant la décision d'arrestation. La décision d'arrêter devrait être entièrement expliquée par ces 80 %.

La Découverte : Les chercheurs ont constaté que, pour de nombreux modèles d'IA, le chiffre « 80 % » ne racontait pas toute l'histoire. Même après avoir su que l'IA avait dit « 80 % », observer ce que l'IA a fait (arrêté ou non arrêté) révélait encore des informations supplémentaires sur l'état réel du patient.

Analogie : C'est comme un météorologue qui déclare : « Il y a 50 % de chances de pluie », mais qu'on le voit ensuite porter un parapluie lourd. Si vous n'aviez entendu que les « 50 % », vous ne vous attendriez pas au parapluie. Le fait qu'il porte le parapluie signifie qu'il « savait » quelque chose de plus que ce qu'il a dit. Les actions de l'IA ont révélé des informations cachées que ses paroles n'ont pas capturées.

2. Le test « Cible Mobile » (Monotonie)

Imaginez que vous observez un feu de circulation.

Si le feu est Rouge (risque élevé), vous vous arrêtez.
Si le feu est Orange (risque moyen), vous ralentissez.
Si le feu est Vert (risque faible), vous avancez.

Si l'IA est cohérente, à mesure que le chiffre de « risque » qu'elle énonce augmente, ses actions devraient évoluer de manière prévisible vers des choix plus prudents. Si l'IA indique un risque de 10 %, elle devrait agir d'une certaine manière. Si elle indique 90 %, elle devrait agir différemment.

La Découverte : Les chercheurs ont vérifié si les actions de l'IA évoluaient dans la bonne direction à mesure que les chiffres changeaient.

La Bonne Nouvelle : Pour les modèles d'IA les plus puissants et les plus avancés, les actions ont évolué dans la bonne direction. Lorsque l'IA indiquait un risque plus élevé, elle agissait avec plus de prudence.
La Mauvaise Nouvelle : Le lien n'était pas parfait. Parfois, l'IA déclarait un risque élevé mais agissait comme s'il était faible, ou inversement. C'était comme un feu de circulation qui clignote parfois entre les couleurs alors que la voiture est déjà en mouvement.

Le Verdict : « Presque, mais pas parfait »

L'article conclut que, bien que les meilleurs modèles d'IA s'améliorent pour aligner leurs paroles sur leurs actions, ils ne sont pas encore parfaitement cohérents.

L'Agent « Presque rationnel » : Les chercheurs ont prouvé mathématiquement que si une IA passe ces tests, elle agit comme si elle croyait vraiment ce qu'elle dit. Elle se comporte comme une personne rationnelle possédant un système de croyances interne clair.
La Réalité : La plupart des modèles ont échoué au test « Pas de secrets supplémentaires ». Cela signifie que le « cerveau » interne de l'IA détient plus d'informations sur le patient qu'elle n'est prête à intégrer dans un simple chiffre en pourcentage. La croyance énoncée est un résumé imparfait de ce que l'IA sait réellement.

Pourquoi cela compte (selon l'article)

Les auteurs soulignent que dans des domaines à haut risque comme la médecine, nous ne pouvons pas faire confiance à une IA simplement parce qu'elle déclare : « Je suis sûr à 90 % ».

Si les actions de l'IA ne correspondent pas à ses paroles, nous ne pouvons pas faire confiance à son explication.
L'article fournit un moyen de valider ces croyances. Au lieu de prendre la parole de l'IA pour argent comptant, nous pouvons vérifier si son comportement prouve qu'elle détient réellement cette croyance.

En résumé : L'article nous apprend comment démasquer les agents IA lorsqu'ils disent une chose mais en font une autre. Il montre que, bien que les modèles d'IA les plus intelligents se rapprochent de l'honnêteté et de la cohérence, ils possèdent encore des « pensées cachées » dans leurs actions que leurs paroles ne révèlent pas entièrement.

Résumé technique : Validation des croyances elicitées des LLM

Énoncé du problème

Les modèles de langage de grande taille (LLM) sont de plus en plus déployés dans des domaines à haut risque, tels que le diagnostic médical, où la prise de décision nécessite de former des croyances probabilistes sur des résultats inconnus. Bien que les chercheurs puissent inciter les LLM à produire des probabilités verbalisées (par exemple, « la probabilité de la maladie X est de 80 % »), il reste incertain de savoir si ces sorties reflètent des croyances internes cohérentes qui pilotent réellement les décisions du modèle. Un modèle pourrait verbaliser une probabilité déconnectée de son processus de prise de décision, potentiellement en raison d'artefacts de fine-tuning ou d'une optimisation des préférences qui déforme les probabilités verbalisées sans altérer la logique décisionnelle sous-jacente. Les travaux existants se concentrent sur l'étalonnage (précision des probabilités déclarées) mais ne traitent pas de la question de savoir si les croyances déclarées constituent les statistiques suffisantes régissant les actions du modèle. Le défi central consiste à valider, de manière boîte noire, si les croyances elicitées d'un LLM constituent une explication significative de ses décisions, sans faire de fortes hypothèses sur la fonction d'utilité du modèle ni exiger l'accès à ses représentations internes.

Méthodologie

Les auteurs proposent un cadre décisionnel pour tester la cohérence entre les croyances elicitées et les décisions observées. Ce cadre opère sous l'hypothèse d'un décideur « quasi rationnel », formalisé comme un maximisateur d'utilité perturbé. Cette classe d'agents maximise l'utilité espérée sous réserve d'un régularisateur strictement convexe (par exemple, l'entropie), permettant des choix stochastiques et des composantes d'utilité non observées, ce qui est plus général que la maximisation stricte de l'utilité espérée.

Le cadre repose sur deux conditions empiriquement testables dérivées de cette formalisation :

Indépendance conditionnelle (Suffisance des croyances) :
- Hypothèse : Si les actions d'un agent sont pilotées uniquement par sa croyance subjective $P_S(\theta|x)$ , alors la conditionnalité sur cette croyance devrait rendre l'action $A$ indépendante du résultat réel $\theta$ . Formellement, $A \perp \theta \mid P_S(\theta|x)$ .
- Test : Les auteurs testent l'hypothèse nulle $I(A; \theta \mid p) = 0$ en utilisant un test non paramétrique d'information mutuelle conditionnelle (CMI) basé sur les k-plus proches voisins. De plus, ils mesurent l'amélioration prédictive du résultat réel lorsqu'on ajoute l'action $A$ à un modèle qui conditionne déjà sur la croyance elicitée $p$ . Si l'action fournit un pouvoir prédictif supplémentaire significatif, la croyance n'est pas une statistique suffisante.
Monotonie cyclique (Croyances guidant l'action) :
- Hypothèse : Pour un maximisateur d'utilité perturbé, la correspondance entre les croyances elicitées et les probabilités de choix doit être cycliquement monotone par rapport à l'indice d'utilité espérée. Dans des contextes à états binaires, cela implique que lorsque la probabilité elicitée d'un état positif augmente, la probabilité de sélectionner des actions plus valorisantes dans cet état doit augmenter de manière monotone.
- Test : Les auteurs discrétisent les probabilités elicitées et estiment les parts de choix au sein des intervalles. Ils formulent un programme linéaire à marge signée (SignedLP) pour trouver un vecteur de différence d'utilité $d$ qui satisfait une stricte monotonie à travers les intervalles. Une statistique positive $\hat{\gamma}$ indique une stricte monotonie ; une valeur négative indique une violation.

Le cadre est appliqué à quatre tâches de diagnostic médical (maladies cardiaques structurelles, diabète, fièvre pédiatrique et pleurs de nourrisson) en utilisant des jeux de données issus de dossiers réels et de réseaux bayésiens construits par des experts. L'étude évalue plusieurs familles de LLM (variantes de GPT-5, DeepSeek-R1, Llama-4) en elicitant des croyances et des décisions dans des fenêtres de contexte séparées pour éviter la contamination.

Contributions clés

Cadre formel pour la validation boîte noire : L'article introduit les premières conditions formelles décisionnelles pour tester si les croyances elicitées des LLM sont cohérentes avec leurs actions. Crucialement, ces tests sont agnostiques à la fonction d'utilité de l'agent, reposant uniquement sur la structure de la maximisation d'utilité perturbée.
Conditions nécessaires et suffisantes : Les auteurs prouvent (Proposition 5) que l'indépendance conditionnelle et la monotonie cyclique sont conjointement nécessaires et suffisantes pour qu'une distribution observée de croyances et d'actions puisse être rationalisée par un maximisateur d'utilité perturbé qui considère la croyance elicitée comme sa vraie probabilité subjective.
Protocole de validation empirique : L'étude opérationnalise ces conditions théoriques en tests statistiques pratiques (CMI et SignedLP) applicables à n'importe quel LLM boîte noire.
Distinction entre types de cohérence : Le travail distingue la cohérence décisionnelle (les croyances guidant les actions) de la cohérence probabiliste (adhésion à des axiomes tels que la loi de l'espérance itérée), montrant qu'il s'agit de propriétés distinctes.

Résultats

Suffisance imparfaite : Pour tous les modèles et tous les jeux de données, le test d'Indépendance conditionnelle rejette l'hypothèse nulle. Les croyances elicitées ne sont pas des statistiques suffisantes ; les actions des modèles contiennent des informations résiduelles sur le résultat réel qui ne sont pas capturées dans leurs probabilités verbalisées. Cela suggère que les modèles « en savent plus qu'ils ne le disent » ou que leurs informations pertinentes pour la décision ne sont pas pleinement communiquées dans la croyance elicitée.
La monotonie est vérifiée (majoritairement) : Le test de Monotonie cyclique montre que pour la plupart des combinaisons modèle-jeu de données, la relation entre les croyances elicitées et les actions est monotone. Plus précisément, 9 combinaisons sur 16 ont montré une stricte monotonie ( $\hat{\gamma}$ positif), et une seule (Fever–Llama) a montré une violation. Cela indique que, bien que les croyances ne soient pas parfaitement suffisantes, elles orientent généralement les décisions dans la bonne direction.
Variance selon le modèle et le domaine :
- Modèles les plus performants : Les modèles les plus puissants (par exemple, DeepSeek-R1, GPT-High) présentent les plus faibles écarts entre croyances et actions, suggérant qu'ils sont observationnellement plus proches d'agents dotés de croyances cohérentes.
- Effets de domaine : Le jeu de données Diabète a montré la monotonie la plus faible, aucun modèle n'affichant une marge strictement positive.
L'étalonnage ne résout pas la question de la suffisance : L'application d'un étalonnage isotone aux croyances elicitées a amélioré l'étalonnage marginal mais n'a pas rétabli l'indépendance conditionnelle, confirmant que l'échec de la suffisance est structurel et non simplement un problème d'étalonnage.
Cohérence interne : Les tests utilisant la loi de l'espérance itérée (LIE) ont révélé que la cohérence probabiliste (adhésion aux axiomes de probabilité) ne correspond pas nécessairement à la cohérence décisionnelle. Les modèles performants aux tests de cohérence décisionnelle ne l'étaient pas nécessairement aux tests de cohérence probabiliste.

Importance et affirmations

L'article affirme que les probabilités elicitées par les LLM sont des résumés imparfaits mais informatifs sur le plan comportemental des informations pertinentes pour la décision. Les auteurs soutiennent que, bien que les modèles n'agissent pas comme s'ils détenaient des croyances parfaitement cohérentes (comme en témoigne l'échec de la suffisance), les écarts sont relativement faibles pour les modèles de l'état de l'art.

L'importance de ce travail réside dans la fourniture d'une méthode boîte noire et fondée sur des principes pour valider si la confiance verbalisée d'un LLM constitue une explication digne de confiance de ses décisions. Cela est crucial pour la sécurité et la transparence dans des contextes à haut risque comme la médecine. Les auteurs soulignent que leurs tests ne prouvent pas qu'un modèle « détient vraiment » une croyance au sens philosophique, mais plutôt que le modèle est observationnellement indiscernable d'un agent rationnel détenant cette croyance. Par conséquent, l'article conclut que les croyances elicitées doivent être validées empiriquement plutôt que supposées représenter fidèlement les croyances du modèle, offrant ainsi un outil de diagnostic aux développeurs pour comprendre les modes de défaillance (par exemple, distinguer entre un excès de confiance et des problèmes de perception des coûts dans les agents médicaux).