💻 computer science

Cognitive World Models for Process-Level Social Influence Evaluation

Cet article présente CogWM, un modèle de monde cognitif basé sur un LLM et entraîné via un nouveau pipeline d'annotation SaA pour évaluer les dialogues d'influence sociale en suivant l'évolution des états cognitifs internes des utilisateurs (croyances, désirs, intentions et émotions) plutôt qu'en s'appuyant sur des mesures textuelles de surface.

Auteurs originaux : Minghui Ma, Bin Guo, Han Wang, Mengqi Chen, Jingqi Liu, Yan Liu, Zhiwen Yu

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Minghui Ma, Bin Guo, Han Wang, Mengqi Chen, Jingqi Liu, Yan Liu, Zhiwen Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un ami essayer de vous convaincre de faire quelque chose, comme commencer un nouveau passe-temps, faire un don à une œuvre de charité, ou simplement se sentir mieux après une mauvaise journée.

L'ancienne façon de mesurer le succès
Jusqu'à présent, si nous voulions savoir si un programme informatique (une IA) était doué pour ces conversations, nous utilisions deux méthodes principales :

La « Police de la Grammaire » : Vérifier si les mots de l'IA sonnaient de manière fluide ou s'ils correspondaient étroitement aux mots de l'utilisateur (comme vérifier si deux phrases riment).
La « Note Finale » : Demander à un humain ou à un ordinateur intelligent de donner une note unique à l'ensemble de la conversation à la toute fin, comme un professeur corrigeant un examen final.

Le Problème : Ces méthodes passent à côté de l'essentiel. Une conversation peut paraître parfaite et obtenir une excellente note, mais l'utilisateur peut se sentir exactement de la même manière (ou pire) qu'au début. C'est comme un film avec un scénario parfait et une fin heureuse, mais où le personnage principal n'a rien appris ou n'a pas changé d'avis. Nous ne pouvions pas voir comment l'esprit de l'utilisateur changeait au cours de la discussion.

La Nouvelle Solution : Le « Modèle de Monde Cognitif » (CogWM)
Les chercheurs de l'Université polytechnique nord-ouest et de l'Université d'ingénierie de Harbin ont construit un nouveau type d'IA appelé CogWM. Voyez cela comme un « Simulateur de lecture de pensée ».

Au lieu de simplement écouter ce que l'utilisateur dit, CogWM essaie de deviner ce que l'utilisateur pense et ressent à l'intérieur. Il suit quatre éléments spécifiques, qu'ils appellent BDI/E :

Croyances (Beliefs) : Ce que l'utilisateur pense être vrai (ex : « Je suis mauvais en maths »).
Désirs (Desires) : Ce que l'utilisateur veut (ex : « Je veux réussir ce cours »).
Intentions (Intentions) : Ce que l'utilisateur prévoit de faire (ex : « Je vais étudier pendant 10 minutes »).
Émotions (Emotions) : Ce que l'utilisateur ressent en ce moment (ex : « Anxieux » ou « Plein d'espoir »).

Comment ça marche (L'analogie de la « Soufflerie »)
Les auteurs comparent CogWM à une soufflerie pour avions. Avant de construire un véritable avion, les ingénieurs testent un modèle dans une soufflerie pour voir comment l'air pousse contre lui.

L'Avion : Le chatbot d'IA essayant d'influencer l'utilisateur.
La Soufflerie : CogWM.
L'Air : La conversation.

Lorsque vous testez un chatbot, vous le connectez à CogWM. CogWM joue le rôle de l'utilisateur. À mesure que le chatbot parle, CogWM met à jour sa « fiche de score » interne des croyances, des désirs et des émotions de l'utilisateur, tour après tour.

Le Bulletin de Notes à Trois Niveaux
Au lieu de donner une seule note finale, CogWM génère un rapport détaillé avec trois niveaux :

Le Niveau du Tour (Turn Level) : Est-ce que le chatbot a dit quelque chose qui avait du sens pour ce moment précis ?
Le Niveau du Parcours (Journey Level) : L'état interne de l'utilisateur a-t-il évolué dans une bonne direction au fil du temps ? (ex : Son anxiété a-t-elle diminué ? Sa croyance selon laquelle « je peux le faire » a-t-elle augmenté ?)
Le Niveau de l'Objectif (Goal Level) : La conversation a-t-elle réellement atteint le résultat souhaité (comme inciter à un don ou se sentir mieux) ?

Ce qu'ils ont découvert

Meilleur que les experts : Ils ont entraîné CogWM sur plus de 150 000 extraits de conversation. Lorsqu'ils ont testé CogWM face à d'autres modèles d'IA de pointe, CogWM était bien meilleur pour deviner les sentiments et les pensées internes de l'utilisateur (environ 2 fois plus précis que les meilleurs modèles existants).
Le changement « Faux » vs « Réel » : Ils ont testé six chatbots d'IA célèbres. Certains chatbots étaient excellents pour obtenir un « Bon Résultat » (comme amener un utilisateur à dire « Oui, je vais faire un don »). Mais en examinant le parcours, ils ont constaté que certains chatbots se contentaient de presser l'utilisateur pour qu'il dise « Oui » sans réellement changer son avis.
- Analogie : Un chatbot était comme un Sprinteur (obtenait un résultat rapide mais l'esprit de l'utilisateur n'a pas vraiment changé). Un autre était comme un Randonneur Régulier (a guidé lentement l'esprit de l'utilisateur vers un meilleur état).
La « Boîte Noire » est ouverte : Avec CogWM, nous pouvons enfin voir pourquoi un chatbot a fonctionné ou échoué. Nous pouvons voir exactement quel tour de la conversation a rendu l'utilisateur plein d'espoir, ou quel tour l'a fait se sentir sous pression.

En bref
Ce document présente un outil qui cesse de juger les conversations par leur « score final » et commence à les juger par l'histoire de la façon dont l'esprit de l'utilisateur a changé. Il transforme le processus invisible de « l'influence » en une carte visible et mesurable, montrant quels assistants IA sont réellement utiles et lesquels sont simplement doués pour parler.

Résumé Technique : Modèles de Monde Cognitif pour l'Évaluation de l'Influence Sociale au Niveau des Processus

1. Définition du Problème

Les systèmes de Dialogue d'Influence Sociale (SID - Social Influence Dialogue) visent à modifier les états cognitifs internes d'un utilisateur — spécifiquement ses croyances, désirs, intentions et émotions — plutôt que de simplement accomplir des tâches externes. Alors que les Dialogues Orientés Tâche se concentrent sur l'achèvement d'objectifs et les Dialogues Non-Coopératifs sur la résolution de conflits, le SID nécessite de mesurer le processus de changement cognitif.

Les méthodes d'évaluation actuelles ne parviennent pas à capturer ce critère orienté processus :

Métriques de Texte de Surface (BLEU/ROUGE) : Ignorent entièrement l'objectif d'influence sociale.
LLM-as-Judge (LLM comme juge) : Fournissent des scores terminaux en boîte noire qui ne révèlent rien de la trajectoire de l'évolution de l'état cognitif.
Évaluation Humaine : Coûteuse, peu scalable et incapable de suivre les changements cognitifs granulaires à chaque tour de parole.
Simulateurs d'Utilisateurs Existants : Prédisent les énoncations de l'utilisateur mais échouent à modéliser le "pourquoi" sous-jacent (états BDI/E internes), laissant les croyances, désirs, intentions et émotions non observés.

Le défi central est de développer un cadre d'évaluation qui passe du jugement terminal au suivi de processus, en quantifiant comment un agent modifie de manière mesurable l'état cognitif interne d'un utilisateur tout au long d'une conversation.

2. Méthodologie : Le Modèle de Monde Cognitif (CogWM)

Les auteurs proposent CogWM, un modèle d'utilisateur basé sur les LLM qui recadre l'évaluation du dialogue de "ce que l'utilisateur dit" vers "comment l'état cognitif interne de l'utilisateur évolue".

2.1 Cadre Fondamental

CogWM fonctionne comme un prédicteur conjoint des Énonciations de l'Utilisateur ( $U_t$ ) et des États Cognitifs BDI/E ( $S_t$ ).

Dimensions BDI/E :
- Croyance (Belief) : Ce que l'utilisateur croit, sait ou juge.
- Désir (Desire) : Ce que l'utilisateur veut, a besoin ou préfère.
- Intention (Intention) : Ce que l'utilisateur prévoit, décide ou s'engage à faire.
- Émotion (Emotion) : L'état affectif actuel de l'utilisateur et son intensité.
Entrée/Sortie : Étant donné un profil d'utilisateur ( $P$ ), un contexte de tâche ( $C$ ) et l'historique du dialogue ( $H_{<t}$ ), CogWM prédit l'état suivant $S_t$ et l'énonciation $U_t$ .
Double Rôle : Il fonctionne à la fois comme un Simulateur d'Utilisateur (générant des réponses et des états réalistes) et comme une Plateforme d'Évaluation (quantifiant l'influence d'un agent sur l'utilisateur simulé).

2.2 Construction des Données : Summarize-and-Allocate (SaA)

Pour entraîner CogWM, les auteurs ont construit un ensemble de données de 150 454 échantillons de tours d'utilisateur à travers quatre scénarios : Soutien Émotionnel (ESConv), Persuasion pour le Don Caritatif (P4G), Recommandation Conversationnelle (DuRecDial) et Domaine Ouvert (DailyDialog).

Pipeline d'Annotation : Une méthode en deux étapes a été développée :
1. Résumé Global (Global Summarization) : Extrait les éléments BDI globaux et les scores à partir de l'intégralité du dialogue.
2. Allocation Temporelle (Temporal Allocation) : Assigne les états BDI/E par tour avec une justification par preuves et les lie au résumé global.
Qualité : La validation humaine a montré un rappel BDI global de 0,79 et un coefficient $\kappa$ de Cohen pour l'émotion de 0,69.

2.3 Cadre d'Évaluation : Système à Trois Niveaux

L'évaluation est structurée en trois niveaux hiérarchiques :

Fidélité au Niveau du Tour (Turn-Level Fidelity) : Évalue la qualité d'une réponse unique à l'aide de 8 métriques automatiques (ex: similarité sémantique, MAE) et de 5 métriques sémantiques de type LLM-as-Judge.
Dynamique d'État au Niveau de la Trajectoire (Trajectory-Level State Dynamics) : Modélise l'évolution multi-tours à l'aide de quatre indicateurs adaptés de l'analyse de séries temporelles financières :
- AUC : Performance cumulative (Aire Sous la Courbe).
- $\Delta$ : Changement net entre l'état initial et final.
- PSR : Fréquence d'amélioration (Positive Step Ratio).
- Mono : Cohérence directionnelle.
Score Composite au Niveau de la Tâche (Task-Level Composite Scoring) : Agrège les métriques de trajectoire en deux scores :
- CTS (Composite Trajectory Score) : Une somme pondérée ( $0,40 \cdot AUC + 0,30 \cdot PSR + 0,30 \cdot \Delta$ ) mesurant l'influence cognitive globale.
- GO (GoodOutcome) : Un indicateur binaire déterminant si le dialogue a atteint un résultat comportemental spécifique (ex: don, acceptation).

3. Contributions Clés

Cadre d'Évaluation BDI/E à Trois Niveaux : Adapte le modèle BDI classique à l'ère des LLM, permettant une évaluation décomposable, de la fidélité au niveau du tour jusqu'à l'impact de la trajectoire globale.
Pipeline d'Annotation SaA : Une méthode scalable pour générer plus de 150 000 échantillons annotés avec des états BDI/E explicites et interprétables à travers quatre scénarios d'influence sociale distincts.
Modèle CogWM : Un modèle entraîné conjointement (basé sur Qwen3-14B) qui prédit à la fois les états cognitifs et le texte. Il atteint une précision émotionnelle de 77,6 %, soit une amélioration de 2,1 $\times$ par rapport à GPT-5.5, et surpasse significativement les bases de référence dans le suivi des croyances, désirs et intentions.
Validation Empirique de Processus vs Résultat : À travers 3 600 essais de discrimination multi-agents, l'étude démontre que l'amélioration de la trajectoire cognitive (CTS) et les résultats comportementaux (GO) ne sont pas équivalents. Un agent peut obtenir un résultat comportemental positif (GO=vrai) tout en échouant à produire un changement cognitif significatif (trajectoire plate), et inversement.

4. Résultats Expérimentaux

4.1 Fidélité de la Simulation

Prédiction d'État : CogWM-14B a atteint 77,6 % de précision émotionnelle, surpassant GPT-5.5 (36,4 %) et DeepSeek-V4-Pro (31,0 %). Il domine également en termes de similarité sémantique BDI et de précision des scores quantitatifs (MAE).
Génération d'Énonciations : CogWM a obtenu un ratio de longueur (LenR) de 1,01 (correspondance quasi parfaite avec la vérité terrain), alors que les bases de référence API avaient tendance à générer des réponses trop longues (LenR > 1,8).
Nécessité de l'Entraînement Conjoint : Les études d'ablation ont confirmé que le suivi de l'état cognitif ne peut être acquis par la seule distribution d'entrée partagée ; une optimisation conjointe explicite de la prédiction d'état et de la génération de texte est requise.

4.2 Discrimination d'Agents

Lors d'essais comparant six agents commerciaux (GPT-5.5, Llama-4-Scout, DeepSeek-V4-Pro, etc.) :

Classement : Llama-4-Scout arrive en tête avec un CTS de +0,233, démontrant une capacité supérieure à induire des trajectoires cognitives positives.
Typologie : Les agents ont été classés en "Polyvalents" (Llama), "Sprint" (Qwen : changement net élevé mais gain cumulatif plus faible), "Constants" (Claude) et "Creux" (Gemini : faible performance sur tous les indicateurs).
Impact du CoT (Chain-of-Thought) : Le prompting par chaîne de pensée affecte les agents de manière asymétrique, améliorant significativement la trajectoire émotionnelle de GPT-5.5, mais offrant des gains marginaux pour les agents déjà performants.
Divergence CTS vs GO : L'étude souligne que des scores GO élevés (succès de la tâche) ne garantissent pas des scores CTS élevés (amélioration cognitive). Par exemple, dans le soutien émotionnel, certains agents ont atteint GO=vrai via une clôture polie sans induire de réels changements cognitifs, une nuance captée uniquement par le CTS.

5. Signification et Revendications

L'article affirme déplacer le paradigme de l'évaluation du Dialogue d'Influence Sociale de la jugement terminal vers le suivi de processus. En rendant l'état cognitif interne de l'utilisateur explicite et auditable, CogWM offre :

Interprétabilité : Les conclusions de l'évaluation peuvent être tracées jusqu'à des tours spécifiques et des dimensions BDI/E.
Granularité : Il capture des changements cognitifs subtils que les métriques de surface manquent.
Scalabilité : Il permet une évaluation automatisée et à faible coût de scénarios d'influence sociale complexes.

Les auteurs positionnent CogWM non pas seulement comme une métrique, mais comme une infrastructure d'IA sociale (analogue aux souffleries pour les avions) qui permet aux développeurs d'observer l'impact cognitif des agents avant leur déploiement, offrant ainsi un outil concret pour prévenir l'IA manipulatrice et assurer une influence sociale responsable. Le travail souligne que la véritable influence sociale nécessite des changements mesurables dans l'état interne de l'utilisateur, et non simplement l'achèvement d'une transaction.