💬 NLP

Where do LLMs Fall Short in CBT-Guided Affective Reasoning?

Cet article révèle que, bien que les LLM possèdent de solides connaissances théoriques en TCC, ils échouent à les appliquer efficacement en pratique en privilégiant la validation et la réflexion plutôt que des interventions stratégiques, une limitation qui persiste même avec des techniques de prompting avancées comme le Multiple Chain-of-Thought et qui est quantifiée par un nouveau métrique de « Force de Levier du Protocole » montrant un changement comportemental minimal.

Auteurs originaux : Vaishnavi Sinha, Pooja Guttal, Pranay Deep Reddy Katike, Vishal Sinha, Gerald Ndawula, Lira Yoon, Andrea Kleinsmith, Manas Gaur

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vaishnavi Sinha, Pooja Guttal, Pranay Deep Reddy Katike, Vishal Sinha, Gerald Ndawula, Lira Yoon, Andrea Kleinsmith, Manas Gaur

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un ami robot super intelligent qui a lu tous les manuels de psychologie de la bibliothèque. Il connaît les règles de la thérapie cognitivo-comportementale (TCC) mieux qu'un étudiant passant un examen final, avec un score allant jusqu'à 96 % aux questions théoriques. On pourrait penser que ce robot serait le thérapeute ultime, n'est-ce pas ?

Pas tout à fait.

L'article « Where do LLMs Fall Short in CBT-Guided Affective Reasoning » révèle un bug aussi amusant que frustrant : ce robot connaît la théorie parfaitement, mais quand on lui parle réellement, il se comporte comme un disque rayé. Peu importe ce que vous dites, il se contente de hocher la tête, de dire « Je vous entends » et de refléter vos sentiments. C'est comme un miroir qui ne montre que votre propre visage, même quand vous avez besoin de quelqu'un pour vous aider à comprendre pourquoi vous avez cette mine-là.

Le problème du « Miroir contre la Carte »

Les chercheurs ont testé cela en soumettant trois modèles d'IA différents (Gemma3, Mistral et GPT-OSS) à un ensemble de 14 histoires simulées basées sur de vraies séances de thérapie. Ils voulaient voir si l'IA pouvait faire plus que simplement dire : « Ça semble difficile ».

Dans une vraie thérapie, un bon thérapeute ne se contente pas d'écouter ; il agit comme un détective. Il décompose votre histoire en une carte spécifique :

Le Déclencheur : Que s'est-il passé ?
La Pensée : Qu'est-ce que vous vous êtes dit à ce sujet ?
Le Sentiment : Qu'est-ce que cela vous a fait ressentir ?
L'Action : Qu'avez-vous fait ensuite ?

Une fois qu'ils ont cette carte, ils choisissent un outil :

La Validation : « Je comprends pourquoi vous ressentez cela. »
Le Questionnement Socratique : « Et s'il y avait une autre façon de voir les choses ? »
La Perspective Alternative : « Essayons de voir cela sous un autre angle. »

Le problème ? Les modèles d'IA, même avec un « guide » spécial (un cadre construit par les chercheurs pour les forcer à utiliser cette carte), continuaient de saisir l'outil de la Validation et ignoraient les autres. Ils étaient tellement doués pour être gentils qu'ils en oubliaient d'être utiles.

La « Force » qui n'a pas déplacé la montagne

Pour mesurer exactement à quel point l'IA changeait son comportement, les auteurs ont inventé une nouvelle métrique appelée Force de Levier de Protocole (F). Voyez cela comme la mesure de la force nécessaire pour pousser un rocher lourd afin de le faire rouler ne serait-ce que d'un pouce.

Ils ont essayé de pousser l'IA avec leur nouveau guide. L'IA a-t-elle changé de direction ?

Le Résultat : Le rocher a bougé, mais à peine. La « force » était infime, variant entre 1,18 % et 1,34 %.
Le Verdict : Le guide a poussé l'IA dans la bonne direction, mais il n'a pas pu surmonter l'habitude naturelle de l'IA d'être simplement complaisante. L'IA préférait toujours dire « Je vous entends » plutôt que de demander « Pourquoi pensez-vous cela ? ».

Le sentiment « Faux » vs « Réel »

Les chercheurs ont également vérifié comment la conversation était ressentie au fil du temps. Ils ont suivi deux éléments :

La Valence : À quel point les mots étaient joyeux ou tristes.
L'Éveil (Arousal) : À quel point les mots étaient calmes ou excités.

Dans les véritables séances de thérapie (les données « RealCBT »), la conversation commence de manière intense et stressante, puis se calme progressivement et devient plus joyeuse, comme des montagnes russes qui finissent par s'aplanir. Mais dans les simulations de l'IA, la partie « apaisement » n'a pas eu lieu. Les conversations de l'IA restaient un peu trop agitées et ne montraient pas le soulagement profond et lent qu'apporte une véritable thérapie.

Le Facteur Humain

Lorsque des experts humains (psychologues et chercheurs) ont écouté les enregistrements, ils ont trouvé quelque chose de surprenant : ils n'arrivaient pas à s'entendre sur quelle IA était la meilleure.

Pour les réponses de « Validation », les experts étaient d'accord sur le fait que l'IA le faisait, mais ils divergeaient sur le fait de savoir si c'était bon ou simplement paresseux.
Pour les réponses de « Questionnement », les experts étaient plus d'accord sur ce qu'ils voyaient, mais l'IA ne le faisait pas assez souvent.

Le score d'accord des experts (une mesure statistique appelée Kappa de Fleiss) était très bas, oscillant près de 0. Cela signifie que même pour des humains, il est difficile de dire si une réponse thérapeutique est « correcte » lorsque l'IA semble si fluide et empathique.

Ce que l'article dit (et ne dit pas)

L'article est très clair sur ce qu'il ne fait pas :

Il ne dit pas que ces IA sont prêtes à remplacer les vrais thérapeutes. En fait, il l'a explicitement prévenu.
Il ne prétend pas que l'IA a résolu le problème du soutien à la santé mentale.
Il n'inclut pas de vrais patients. Toutes les histoires étaient simulées à l'aide d'autres modèles d'IA basés sur des vidéos de jeux de rôle publiques.

La principale conclusion est un retour à la réalité : Connaître les règles de la thérapie n'est pas la même chose que de la pratiquer. Ce n'est pas parce qu'une IA peut réussir un examen sur la théorie de la TCC qu'elle peut réellement aider une personne à se sentir mieux. Les chercheurs ont construit un nouvel outil (la « Force de Levier de Protocole ») pour mesurer précisément là où ces robots échouent, montant que, bien qu'ils se rapprochent, ils sont encore coincés dans la zone du « gentil mais inutile ».

Comme l'ont écrit les auteurs, nous avons besoin de systèmes capables de « raisonner sur le sentiment », et non de simplement « répondre ». D'ici là, l'IA est un ami très poli, très instruit, mais légèrement bloqué dans une boucle.

Résumé Technique : Là où les LLM font défaut dans le raisonnement affectif guidé par la TCC

Énoncé du Problème
Bien que les grands modèles de langage (LLM) fassiment preuve d'une grande fluidité et de connaissances théoriques en Thérapie Cognitivo-Comportementale (TCC) — atteignant jusqu'à 96 % de précision sur les questions des examens de licence en TCC — ils échouent à appliquer efficacement ces connaissances en pratique. Les LLM « prêts à l'emploi » présentent un biais d'évaluation systématique, adoptant par défaut des postures de faible puissance et de haute agréabilité caractérisées par la « Validation et la Réflexion » (V), quel que soit le besoin cognitif spécifique de l'utilisateur. Ils contournent souvent la formulation structurée requise pour la TCC (décomposition de la détresse en déclencheurs, pensées automatiques, émotions et comportements) pour passer prématurément à la résolution de problèmes ou à la validation empathique. Par conséquent, leurs trajectoires émotionnelles divergent des interactions thérapeutiques authentiques, et ils ne parviennent pas à suivre l'état émotionnel changeant de l'utilisateur ni à employer des interventions appropriées telles que le Questionnement Socratique (QS) ou les Perspectives Alternatives (PA).

Méthodologie
Les auteurs proposent un cadre guidé par les connaissances qui traite le dialogue thérapeutique comme un processus de raisonnement affectif contrôlé. La méthodologie comprend trois composantes fondamentales :

Ancrage Clinique et Vérification : Les récits des utilisateurs sont cartographiés selon l'ontologie SNOMED CT (Systematized Nomenclature of Medicine – Clinical Terms). Pour garantir la cohérence sémantique, le système utilise l'Inférence de Langage Naturel (NLI) afin de vérifier que les concepts cliniques récupérés impliquent logiquement le récit de l'utilisateur, filtrant ainsi les hallucinations ou les interprétations cliniques erronées.
Modélisation Cognitive Basée sur l'Évaluation : S'appuyant sur le Diagramme de Conceptualisation Cognitive (DCC) de Beck, le cadre décompose les requêtes des utilisateurs en un « Modèle Cognitif de l'Utilisateur » structuré comprenant les déclencheurs, les pensées automatiques, les réponses émotionnelles et les conséquences comportementales. Cette structure est explicitement fournie au LLM pour contraindre son raisonnement.
Stratégie de Sélection de Chaîne de Pensée Multiple (MCoT) : Au lieu d'une génération unique, le LLM génère des réponses candidates pour trois principes distincts de la TCC : Validation et Réflexion (V), Questionnement Socratique (QS) et Perspectives Alternatives (PA). Chaque candidat est précédé d'une trace de raisonnement. Le modèle évalue ensuite ces candidats et sélectionne celui qui fait le mieux progresser la conversation en fonction de l'état cognitif décomposé.

Cadre d'Évaluation
L'étude évalue trois LLM à poids ouverts (Gemma3-12B, Mistral-7B et GPT-OSS-20B) à travers 14 études de cas synthétiques dérivées du jeu de données RealCBT. L'évaluation utilise :

Évaluation par des Experts Humains : Évaluations en aveugle de la confiance dans le principe et de la préférence de réponse par des experts du domaine.
Entraînement Linguistique : Mesuré via la distance linguistique conversationnelle normalisée (nCLiD) pour évaluer à quel point le langage du LLM s'aligne sur celui de l'utilisateur.
Trajectoires Valence–Arousal : Suivi des changements émotionnels au fil du temps pour comparer les sessions synthétiques aux données cliniques réelles.
Force de Levier du Protocole ( $F$ ) : Une nouvelle métrique de niveau comportemental quantifiant la « réorientation » de la réponse d'un modèle par rapport à sa ligne de base par défaut. Elle mesure l'avantage mécanique de l'intervention, calculant à quel point la réponse sélectionnée par MCoT déplace le modèle vers l'état cognitif de l'utilisateur par rapport à son comportement natif.

Résultats Clés

Écart entre Connaissance et Application : Bien que les modèles possèdent des connaissances théoriques élevées en TCC, ils échouent à les traduire en application. Même avec le guidage MCoT, les modèles restent fortement biaisés vers la Validation et la Réflexion (V).
Décalage Comportemental Limité : La Force de Levier du Protocole ( $F$ ) révèle que l'introduction de définitions de protocoles via le prompting ne modifie le comportement du modèle que d'environ 1 % (variant de 1,18 % à 1,34 %). Bien que le cadre réussisse à orienter les modèles vers la direction voulue (par exemple, les réponses V se rapprochent du langage de l'utilisateur, le QS s'en éloigne), l'ampleur du changement est insuffisante pour surmonter le biais inhérent des modèles.
Entraînement vs Arc Thérapeutique : Les sessions synthétiques ont montré un entraînement linguistique plus élevé (nCLiD plus faible) que les sessions de TCC réelles, principalement parce que les modèles reviennent par défaut à V, qui reflète le langage de l'utilisateur. Cependant, les sessions de TCC réelles présentaient des oscillations émotionnelles et une désescalade plus nuancées, suggérant qu'un alignement de surface ne équivaut pas à une profondeur thérapeutique.
Subjectivité de l'Évaluation Humaine : L'accord inter-juges sur la préférence de réponse était faible (Fleis $\kappa$ proche de 0), indiquant que juger l'adéquation thérapeutique est intrinsèquement subjectif lorsque les modèles produisent des réponses fluides mais stratégiquement ambiguës. Cependant, les experts ont montré un accord plus élevé sur la présence du Questionnement Socratique (QS) que sur la Validation (V).

Signification et Revendications
L'article affirme que sa principale contribution n'est pas une nouvelle technique thérapeutique, mais une instrumentation pour la communauté de l'informatique affective. Il fournit un moyen de mesurer où et à quel point un guidage structuré modifie le comportement d'un modèle, distinguant ce qu'un modèle sait (théorie de la TCC) de ce qu'il fait (application thérapeutique).

Les auteurs concluent que la connaissance de la TCC seule ne garantit pas une application efficace. Les gains modestes observés (environ 1 % de décalage) suggèrent que les stratégies actuelles de prompting sont insuffisantes pour surmonter les biais profonds des LLM vers la validation empathique. Ce travail souligne la nécessité d'aller au-delà de la fluidité de surface pour développer des systèmes capables de raisonner sur les états affectifs et de sélectionner des interventions basées sur la structure cognitive décomposée d'un utilisateur, tout en reconnaissant que des lacunes importantes subsistent avant que ces systèmes ne puissent être considérés comme cliniquement viables.