CEI: A Benchmark for Evaluating Pragmatic Reasoning in Language Models

Ce papier présente le benchmark CEI, un ensemble de données validé par des humains contenant 300 scénarios conçus pour évaluer la capacité des modèles de langage à effectuer un raisonnement pragmatique en inférant le sens intentionnel au-delà de la sémantique littérale dans divers contextes sociaux et relations de pouvoir.

L'essentiel

🕵️‍♂️ Le Défi du "Sous-Entendu" : Pourquoi les IA ont du mal à comprendre l'humain

Imaginez que vous êtes à un dîner de famille. Votre oncle, qui déteste cuisiner, vous dit avec un grand sourire : "Oh, c'est super, je vais encore faire la vaisselle ce soir !"

• Ce que disent les mots (le littéral) : Il est content de faire la vaisselle.
• Ce qu'il veut dire (le pragmatique) : Il est sarcastique, il est en colère, et il ne veut pas le faire.

Pour un humain, c'est facile. On regarde le ton, le contexte, et la relation entre les personnes. Mais pour une Intelligence Artificielle (IA), c'est un cauchemar. C'est exactement ce que les auteurs de cet article ont voulu tester avec leur nouveau jeu de données appelé CEI.

🎭 Le Jeu de l'Acteur : Ce qu'est le benchmark CEI

Les chercheurs ont créé 300 petites scènes (comme des extraits de pièces de théâtre) pour tester les IA. Chaque scène contient :

1. Un contexte : Où sont-ils ? (Au travail, à la maison, chez le coiffeur ?).
2. Des personnages : Qui parle à qui ? (Un patron à un employé, un frère à une sœur ?).
3. Une phrase ambiguë : Quelque chose de poli mais qui cache une émotion négative, ou l'inverse.

L'objectif est de deviner ce que la personne ressent vraiment, pas ce qu'elle dit.

Ils ont classé ces scènes en 5 catégories de "jeux de mots" sociaux :

• 🎭 Le Sarcasme : Dire le contraire de ce qu'on pense (ex: "Super, encore une réunion !").
• 🚦 Les Signaux Mixtes : Des mots qui disent "ça va" mais un ton qui dit "non".
• 🤝 La Politesse Stratégique : Être très poli pour cacher une critique (ex: "C'est certainly une approche..." pour dire "c'est une mauvaise idée").
• 😠 L'Aggression Passive : Être d'accord en apparence, mais faire la tête ou saboter les choses (ex: "Non, non, je le ferai moi-même... encore.").
• 🏃 La Distraction (Déflection) : Changer de sujet pour éviter une conversation inconfortable (ex: "Au fait, il fait beau aujourd'hui !" alors qu'on vous reproche quelque chose).

🎓 Le Test de Vérité : Les Humains vs Les Robots

Pour savoir si c'est difficile, les chercheurs ont demandé à 15 étudiants de jouer les détectives d'émotions.

• Résultat pour les humains : Même les humains ne sont pas d'accord ! Sur certaines scènes, les étudiants se disputent : "Il est en colère !", "Non, il est triste !", "Il est juste surpris !".
• Pourquoi ? Parce que la vie réelle est floue. Parfois, il n'y a pas une seule "bonne" réponse. C'est comme essayer de deviner ce que pense un ami qui vous sourit en pleurant.

C'est là que le benchmark est brillant : il ne cherche pas à avoir une réponse unique parfaite, mais à voir si l'IA peut naviguer dans cette zone de flou, tout comme un humain.

🤖 Le Résultat : Les IA sont encore des bébés en social

Les chercheurs ont fait passer le test à 7 IA différentes (les plus avancées du marché, comme GPT, Claude, Llama, etc.).

• Le score des IA : Environ 25 % de bonnes réponses.
• Le score des humains : Environ 54 % de bonnes réponses (en suivant l'avis majoritaire).

L'analogie du miroir :
Imaginez que les IA sont comme un enfant de 3 ans qui apprend à parler. Il comprend très bien les mots ("Je veux un bonbon"), mais il ne comprend pas encore les sous-entendus, l'ironie ou les jeux de pouvoir.

• Les IA sont excellentes pour dire "C'est du sarcasme" si quelqu'un dit "Oh, super, j'ai perdu mon portefeuille !" (c'est trop évident).
• Mais elles échouent lamentablement sur les distractions ou l'agression passive, là où l'humain doit lire entre les lignes.

💡 Pourquoi c'est important ?

Aujourd'hui, on utilise des IA pour trier des CV, modérer des commentaires sur les réseaux, ou même aider en santé mentale.

• Si une IA ne comprend pas qu'un employé dit "Je suis d'accord" avec sarcasme, elle pourrait penser que tout va bien alors que l'employé est au bord de la dépression.
• Si une IA ne détecte pas l'agression passive dans un chat de travail, elle pourrait laisser passer du harcèlement.

En résumé :
Ce papier nous dit : "Arrêtons de croire que les IA comprennent tout. Elles lisent les mots, mais elles ne comprennent pas encore les cœurs ni les relations de pouvoir." C'est un outil pour aider les chercheurs à construire des IA qui seront moins robotiques et plus empathiques, capables de comprendre que parfois, quand quelqu'un dit "Ça va", ça ne veut pas dire "Ça va".

Résumé technique

Voici un résumé technique détaillé de l'article "CEI: A Benchmark for Evaluating Pragmatic Reasoning in Language Models", publié dans le Journal of Data-centric Machine Learning Research (2026).

1. Problématique

Le raisonnement pragmatique, qui consiste à inférer le sens intentionnel au-delà de la sémantique littérale, est fondamental pour la communication humaine mais reste un défi majeur pour les grands modèles de langage (LLM). Bien que les modèles soient déployés dans des domaines critiques comme le dépistage RH, l'analyse de sentiments et la modération de contenu, ils peinent à intégrer les indices contextuels, les rôles sociaux et les dynamiques de pouvoir pour interpréter correctement des énoncés ambigus.

Les benchmarks existants se concentrent souvent sur des phénomènes pragmatiques isolés (comme la détection de l'ironie) ou sur des tâches adjacentes, mais aucun ne cible le raisonnement pragmatique en un seul tour de parole à travers plusieurs contextes sociaux et styles de communication simultanément. Le manque de prise en compte explicite des relations de pouvoir et du contexte situationnel limite la capacité des modèles à comprendre les nuances de la communication indirecte (sarcasme, politesse stratégique, agression passive, etc.).

2. Méthodologie et Conception du Dataset (CEI)

Les auteurs présentent le Benchmark d'Inférence Émotionnelle Contextuelle (CEI), un ensemble de données composé de 300 scénarios soigneusement conçus.

• Structure des Scénarios : Chaque scénario comprend :
  1. Un contexte social (2-4 phrases).
  2. Des rôles émetteur/auditeur avec une relation de pouvoir explicite (pair, supérieur→inférieur, inférieur→supérieur).
  3. Une énoncé ambigu produit par l'émetteur.
  4. Une tâche d'annotation visant à inférer l'émotion primaire de l'émetteur.
• Cinq Sous-types Pragmatiques : Le dataset couvre :
  1. Sarcasme/Ironie.
  2. Signaux mixtes (cues verbaux et contextuels contradictoires).
  3. Politesse stratégique (critique masquée par la courtoisie).
  4. Agression passive (hostilité indirecte via une conformité apparente).
  5. Détournement/Évitement (redirection de sujets inconfortables).
• Annotation et Qualité :
  • Annotateurs : 15 étudiants universitaires ont annoté les données, avec 3 annotateurs indépendants par scénario (900 annotations au total).
  • Taxonomie : Les annotateurs ont sélectionné une émotion parmi les 8 de Plutchik et ont fourni des ratings dimensionnels VAD (Valence, Arousal, Dominance) sur une échelle de 7 points.
  • Pipeline de Contrôle Qualité (4 niveaux) :
    1. Validation du schéma (JSON).
    2. Cohérence statistique (détection de réponses linéaires, temps de réponse anormaux, contradictions internes).
    3. Analyse d'accord (calcul du $\kappa$ de Fleiss).
    4. Arbitrage par un expert (pour les désaccords majeurs), préservant les désaccords légitimes comme signal informatif plutôt que comme bruit.
• Accord Inter-Annotateurs : L'accord est faible ($\kappa$ de 0,06 à 0,25 selon les sous-types), ce qui reflète la difficulté intrinsèque de la tâche et la nature subjective de l'inférence pragmatique, plutôt qu'une annotation de mauvaise qualité.

3. Contributions Clés

1. Dataset Expert : Un ensemble de 300 scénarios couvrant 5 sous-types pragmatiques et 3 relations de pouvoir, avec des annotations multiples utilisant à la fois des catégories (Plutchik) et des dimensions (VAD).
2. Pipeline de Contrôle Qualité Réutilisable : Une méthodologie combinant vérifications automatiques et arbitrage expert pour garantir la qualité des données même lorsque l'accord humain est intrinsèquement faible.
3. Protocole d'Évaluation Standardisé : Une évaluation de 7 LLMs (4 commerciaux, 3 open-weight) dans trois modes de prompt (zero-shot, chain-of-thought, few-shot), établissant un nouveau standard de référence pour le raisonnement pragmatique.
4. Analyse des Échecs : Une démonstration que les erreurs des modèles ne sont pas simplement des reflets de l'incertitude humaine, mais révèlent des défaillances de traitement qualitativement différentes.

4. Résultats Expérimentaux

L'évaluation a été menée sur 7 modèles (incluant Llama-3.1-70B, GPT-5-mini, Gemini 2.5 Flash, etc.) avec un paramètre de température de 0,2 (ou 0 pour le décodage glouton).

• Performance Globale :
  • Humains : L'accord majoritaire humain est de 54 %.
  • Modèles LLM : La meilleure précision atteinte par un modèle est de 25 % (Llama-3.1-70B en zero-shot), soit environ le double du hasard (12,5 %) mais nettement en dessous des humains.
  • Impact du Prompting : Ni le Chain-of-Thought (CoT) ni le few-shot prompting n'ont amélioré significativement les performances (moyenne restant autour de 20 %).
• Analyse par Sous-type :
  • Les modèles obtiennent leurs meilleurs résultats sur la "politesse stratégique" (25,5 %) et les "signaux mixtes" (22,1 %).
  • Ils échouent particulièrement sur le "sarcasme/ironie" (15,2 %) et l'"agression passive" (16,0 %).
  • Dissociation Humain-Modèle : Le sarcasme est le sous-type où les humains s'accordent le plus ($\kappa=0,25$) mais où les modèles performent le pire. À l'inverse, le "détournement" est le plus difficile pour les humains ($\kappa=0,06$) mais les modèles s'en sortent mieux que sur le sarcasme. Cela suggère que les modèles ne simulent pas simplement l'incertitude humaine mais utilisent des heuristiques différentes.
• Analyse VAD : Les ratings de valence montrent une cohérence interne forte (les émotions positives ont une valence positive, les négatives une valence négative), même lorsque les annotateurs ne s'accordent pas sur la catégorie émotionnelle.

5. Signification et Impact

• Écart de Compétence Pragmatique : Le fossé de 29 points de pourcentage entre les modèles et les humains sur l'inférence émotionnelle pragmatique est significativement plus large que pour des tâches comme l'analyse de sentiments, indiquant que le raisonnement pragmatique est un défi distinct et sous-servi.
• Utilité Diagnostique : Le benchmark permet de distinguer les modèles et d'identifier des angles morts spécifiques (ex: un modèle peut gérer les signaux mixtes mais échouer sur le sarcasme).
• Applications et Risques :
  • Positif : Amélioration des chatbots de santé mentale (détection de détresse indirecte), outils d'accessibilité pour les troubles de la communication, et médiation de conflits.
  • Risques : Surveillance des employés, manipulation politique via des messages indirects, ou agents conversationnels trompeurs exploitant les dynamiques de pouvoir.
• Reproductibilité : Le dataset, les guides d'annotation et tout le code sont publiés sous licence CC-BY-4.0 (données) et MIT (code), permettant une réutilisation complète et une vérification par la communauté.

En conclusion, CEI établit que les LLMs actuels, bien qu'impressionnants, manquent encore cruellement de compétences pragmatiques pour interpréter le sens implicite dans des contextes sociaux complexes, et que cette lacune ne peut être comblée par de simples ajustements de prompt.