Categorical Emotions or Appraisals - Which Emotion Model Explains Argument Convincingness Better?

En se basant sur le corpus ContArgA, cette étude démontre que les théories d'évaluation (appraisals) surpassent les modèles d'émotions catégorielles pour prédire la force persuasive d'un argument, car elles capturent mieux la subjectivité de l'évaluation cognitive du destinataire.

L'essentiel

🎭 Le Débat : Logique contre Émotion

Imaginez que vous êtes assis dans une salle de réunion. Quelqu'un vous fait un discours pour vous convaincre de changer d'avis.

• La Logique (Le "Logos") : C'est la structure du discours, les chiffres, les faits. C'est le squelette de l'argument.
• L'Émotion (Le "Pathos") : C'est ce que le discours vous fait ressentir. Est-ce que ça vous met en colère ? Vous donne de l'espoir ? Vous rend triste ?

Jusqu'à présent, les chercheurs en intelligence artificielle (IA) pensaient que pour savoir si un argument est convaincant, il suffisait de dire : « Cet argument provoque de la colère » ou « Cet argument provoque de la joie ». C'est comme si on classait les émotions dans des boîtes étiquetées : une boîte "Colère", une boîte "Joie", etc.

Mais les auteurs de cet article se disent : « Attendez une minute ! Ce n'est pas si simple. »

🧠 La Grande Révélation : Ce n'est pas la boîte, c'est le contenu

L'idée centrale de ce papier est que l'émotion n'est pas juste un étiquette collée sur un texte. C'est le résultat d'un jugement personnel que votre cerveau fait en temps réel.

Pour le dire avec une métaphore :

• Le modèle catégoriel (les boîtes) est comme un médecin qui dit : « Vous avez de la fièvre. » (C'est vrai, mais ça ne dit pas pourquoi).
• Le modèle d'évaluation (Appraisal) est comme un médecin qui dit : « Vous avez de la fièvre parce que votre corps combat une infection, que vous vous sentez vulnérable, et que vous avez peur de ne pas guérir. »

Les chercheurs appellent ces détails « appraisals » (évaluations cognitives). Ce sont des petites questions que votre cerveau se pose inconsciemment :

1. Est-ce que cet argument est agréable ?
2. Est-ce que ça me concerne personnellement ?
3. Est-ce que je peux contrôler la situation ?
4. Est-ce que ça va me coûter beaucoup d'énergie de comprendre ça ?

🧪 L'Expérience : Le Test des Robots

Pour vérifier leur théorie, les chercheurs ont utilisé trois super-ordinateurs (des modèles d'IA comme Mistral, Llama et Gemma) et un jeu de données spécial appelé ContArgA. C'est comme un immense dossier contenant 800 arguments, chacun annoté par des humains qui ont dit :

• « Cet argument m'a fait sentir triste. »
• « Cet argument m'a fait sentir que mes valeurs étaient bafouées (évaluation). »
• « Cet argument était convaincant ou non. »

Ils ont posé deux questions aux robots :

1. Question 1 : Si on donne aux robots juste le mot « Triste » (la boîte), seront-ils meilleurs pour prédire si l'argument est convaincant ?
2. Question 2 : Si on donne aux robots les détails du jugement (« Cet argument bafouait mes valeurs et m'a semblé soudain »), seront-ils encore meilleurs ?

🏆 Le Résultat : Les Détails Gagnent

Le résultat est sans appel, un peu comme si on essayait de deviner le goût d'un plat :

• Si on dit juste « C'est épicé » (émotion catégorielle), on devine à peu près.
• Si on dit « C'est épicé parce qu'il y a du piment, que c'est chaud, et que ça pique la langue » (évaluation), on comprend exactement pourquoi le plat est bon ou mauvais.

Les résultats montrent que :

• Donner juste l'émotion (ex: « Colère ») aide un peu les robots à mieux juger la force d'un argument.
• Mais donner les évaluations cognitives (les détails du jugement) aide beaucoup plus. Les robots deviennent beaucoup plus précis.

C'est comme si les robots comprenaient enfin pourquoi nous sommes convaincus, et pas seulement ce que nous ressentons.

🤔 Et si on demandait aux robots de tout faire en même temps ?

Les chercheurs ont aussi essayé de demander aux robots de deviner l'émotion ET la force de l'argument en même temps (comme si un élève devait résoudre deux problèmes en même temps).
Résultat : Ça a moins bien marché.
C'est comme demander à un chef cuisinier de préparer un gâteau tout en essayant de deviner le nom du client. Il vaut mieux qu'il se concentre sur un seul aspect à la fois, ou qu'on lui donne les informations clés d'avance.

💡 En Résumé : Pourquoi c'est important ?

Ce papier nous apprend que pour comprendre la persuasion (comment convaincre quelqu'un), il ne suffit pas de regarder les étiquettes émotionnelles. Il faut comprendre le mécanisme mental derrière l'émotion.

• L'analogie finale : Si vous voulez convaincre un ami de venir à une fête, dire « Ça va être super ! » (émotion) est bien. Mais dire « Ça va être super parce que tu aimes la musique, que tu connais déjà des gens, et que tu n'auras pas à payer le taxi » (évaluation) est beaucoup plus efficace.

Les chercheurs concluent que pour créer des IA qui comprennent vraiment les débats humains, il faut arrêter de se contenter de dire « Il est en colère » et commencer à analyser « Il est en colère parce qu'il sent que ses règles ont été violées ». C'est cette nuance qui rendra les machines plus humaines, et peut-être, plus convaincantes.

Résumé technique

1. Problématique et Contexte

L'évaluation de la qualité d'un argument, et plus spécifiquement de son caractère convaincant (convincingness), dépend non seulement de sa structure logique (logos) et de la crédibilité de l'émetteur (ethos), mais aussi de l'impact émotionnel qu'il génère chez le récepteur (pathos).

Bien que l'intensité et les catégories émotionnelles dans les arguments aient été étudiées, les auteurs soulignent un manque crucial : la nature subjective de l'émotion. L'émotion ressentie dépend des objectifs, des normes, des connaissances préalables et de la position du récepteur.

• Hypothèse de départ : Les modèles d'émotion catégoriels (ex: colère, joie, peur) sont peut-être insuffisants car ils ne capturent pas le processus cognitif sous-jacent. À l'inverse, les théories de l'évaluation cognitive (Appraisal Theories), qui décrivent comment un individu évalue cognitivement un événement (ex: contrôle, responsabilité, pertinence), pourraient mieux expliquer la variation subjective de la persuasion.
• Question de recherche : Les modèles d'évaluation cognitive (appraisals) sont-ils plus performants que les modèles d'émotions catégorielles pour prédire le caractère convaincant d'un argument via des LLM (Large Language Models) ?

2. Méthodologie

Données

L'étude utilise le corpus ContArgA (Greschner et al., 2026), composé de 800 arguments annotés par 5 participants chacun (4 000 annotations contextuelles). Chaque annotation inclut :

• Une note de convaincant (1 à 5).
• Des catégories d'émotions discrètes (ex: colère, confiance, soulagement).
• 15 dimensions d'évaluation cognitive (appraisals) telles que la soudaineté, la familiarité, le plaisir/déplaisir, l'importance des conséquences, le contrôle, etc.

Modèles et Configuration Expérimentale

Les auteurs ont utilisé trois LLMs via des prompts zero-shot (sans entraînement préalable) :

1. Mistral-Small-2407 (22B paramètres)
2. LLaMA3.3:70B (70B paramètres)
3. Gemma-3-27B-IT (27B paramètres)

Ils ont comparé plusieurs configurations de prompts :

• Baseline (CVC) : Prédiction du convaincant uniquement.
• Pipeline (Emo→CVC / Appr→CVC) : Le modèle reçoit l'argument ET les annotations "gold" (humaines) des émotions ou des appraisals pour prédire le convaincant. Cela teste la valeur informative de ces variables.
• Joint (Emo↔CVC / Appr↔CVC) : Le modèle doit prédire simultanément les émotions/appraisals ET le convaincant dans une seule réponse. Cela teste la capacité du modèle à modéliser les relations bidirectionnelles.

Métriques

• Pour la prédiction du convaincant : Coefficient de corrélation de Spearman (ρ) entre la prédiction du modèle et les annotations humaines.
• Pour la prédiction des émotions/appraisals : Précision, Rappel et F1-score (macro-moyenne).

3. Résultats Clés

A. Prédiction du Convaincant (RQ1)

• Impact des émotions catégorielles : L'ajout de catégories d'émotions (Pipeline) améliore systématiquement la prédiction du convaincant pour tous les modèles par rapport à la baseline.
  • Exemple : Llama passe de 0.27 à 0.36 (+0.09).
• Impact des Appraisals : L'ajout des dimensions d'évaluation cognitive (Pipeline) apporte une amélioration plus significative pour deux modèles sur trois (Mistral et Llama).
  • Exemple : Llama atteint 0.42 (+0.15) avec les appraisals contre 0.36 avec les émotions.
  • Note : Gemma a montré une baisse de performance avec les appraisals, suggérant une sensibilité différente aux types d'information.
• Conclusion RQ1 : Les informations d'évaluation cognitive (appraisals) sont globalement plus prédictives du caractère convaincant que les étiquettes d'émotions discrètes, confirmant l'hypothèse que le processus cognitif sous-jacent est plus déterminant que l'étiquette émotionnelle finale.

B. Prédiction Jointe (RQ2)

• Performance globale : La prédiction conjointe (Joint) sous-performe systématiquement par rapport aux approches Pipeline utilisant des annotations "gold".
• Analyse : Demander au modèle de générer les émotions/appraisals et le convaincant simultanément introduit du bruit. Les modèles peinent à inférer correctement les états subjectifs (émotions et appraisals) sans aide externe, ce qui dégrade la prédiction finale du convaincant.
• Performance des tâches secondaires : La prédiction des émotions et des appraisals en zero-shot reste faible (F1 moyen ~0.12-0.14), indiquant que les LLMs actuels ont du mal à modéliser ces aspects subjectifs complexes sans fine-tuning.

4. Contributions Principales

1. Première comparaison systématique : C'est la première étude comparant directement les modèles d'émotions catégorielles et les modèles d'évaluation cognitive (appraisals) pour la tâche de prédiction de la persuasion dans les arguments.
2. Validation théorique : Les résultats soutiennent empiriquement les théories de l'évaluation cognitive dans le domaine du TALN (Traitement Automatique des Langues), démontrant que les dimensions cognitives (ex: contrôle, conséquences) sont de meilleurs prédicteurs de la persuasion subjective que les catégories émotionnelles brutes.
3. Analyse des architectures de prompts : L'étude met en évidence que les approches "Pipeline" (avec informations externes) surpassent les approches "Joint" pour cette tâche, soulignant la difficulté actuelle des LLMs à raisonner simultanément sur des états mentaux subjectifs et des jugements de valeur.
4. Ressource : Utilisation et validation du corpus ContArgA pour des tâches de modélisation, au-delà de la simple annotation.

5. Signification et Implications

• Pour la recherche en Argumentation : Ce travail suggère que pour améliorer les systèmes d'analyse d'arguments, il faut dépasser les simples étiquettes émotionnelles ("cette phrase est triste") pour modéliser les mécanismes cognitifs ("ce texte viole mes normes morales" ou "ce texte menace mon contrôle").
• Applications pratiques : Les modèles basés sur les appraisals pourraient être plus robustes pour générer des arguments persuasifs ou détecter la manipulation, car ils capturent la "mécanique" de la persuasion plutôt que son symptôme émotionnel.
• Limites et Futur : Les performances faibles en prédiction conjointe et en zero-shot indiquent un besoin de fine-tuning spécifique ou de modèles plus complexes pour capturer les relations bidirectionnelles entre cognition, émotion et persuasion. Les auteurs recommandent également d'explorer des approches adaptatives et de valider ces modèles sur d'autres langues et contextes culturels.

En résumé, l'article démontre que l'évaluation cognitive (Appraisal) est un modèle supérieur à l'émotion catégorielle pour expliquer et prédire pourquoi un argument convainc un individu, offrant ainsi une nouvelle direction pour le développement d'outils d'analyse argumentative plus fins et plus humains.