💬 NLP

Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation

Cet article introduit le premier ensemble de données annoté par des experts pour l'annulation d'implicatures afin d'évaluer la capacité des grands modèles de langage à reconnaître et à mettre à jour les croyances tacites, révélant que les LLM actuels accusent un retard par rapport aux performances humaines dans ces tâches de raisonnement pragmatique.

Auteurs originaux : Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung

Publié 2026-07-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à un jeu de mime, mais au lieu d'interpréter des mots, vous menez une conversation où les parties les plus importantes sont les choses que vous ne dites pas. Dans le monde du langage humain, nous négocions constamment une réalité partagée, un « terrain d'entente » où nous nous accordons tous deux sur ce qui est vrai. Nous le faisons non seulement en énonçant des faits, mais aussi en laissant des indices, ou implicatures. Si je dis : « Certains des biscuits ont disparu », je suggère (sans le dire directement) que tous les biscuits ne sont pas partis. Vous comprenez cela instantanément parce que votre cerveau est un maître pour lire entre les lignes. Mais parfois, je peux changer d'avis et dire : « En fait, je pense qu'ils ont tous disparu. » C'est ce qu'on appelle la annulation, où je retire l'indice que je viens de donner. Cette capacité à mettre instantanément à jour nos croyances partagées basées sur des indices subtils et tacites est le ciment qui maintient la cohésion de la conversation humaine.

Maintenant, imaginez enseigner ce jeu à un robot super intelligent. Nous avons construit de gigantesques modèles d'IA appelés Grands Modèles de Langage (LLM) qui peuvent écrire de la poésie, résoudre des problèmes mathématiques et discuter comme des humains. Mais comprennent-ils réellement la danse invisible des indices et des rétractations ? Comprennent-ils quand une conversation change, ou ne font-ils que deviner en fonction de ce qu'ils ont vu auparavant ? C'est la grande question que les chercheurs se posent. Si l'IA ne peut pas gérer ces mises à jour infimes et tacites, elle aura du mal à avoir une conversation réelle et fluide avec nous, manquant souvent le point ou se sentant confuse lorsque nous changeons d'avis.

Dans cet article, les chercheurs ont décidé de mettre ces modèles d'IA à l'épreuve. Ils ont créé un tout nouveau terrain de jeu appelé IMPLICATUREX, un ensemble de données composé de 271 extraits de conversations soigneusement élaborés. Voyez cela comme une série de mini-films où un personnage laisse un indice, puis le retire immédiatement. Ils ont demandé à des volontaires humains ainsi qu'à divers modèles d'IA de regarder ces clips et de répondre : « L'indice a-t-il eu lieu ? La rétractation a-t-elle fonctionné ? La croyance du personnage a-t-elle changé ? »

Les résultats ont été un certain rappel à la réalité pour l'IA. Bien que les modèles d'IA les plus intelligents soient étonnamment doués pour repérer des indices simples et classiques (comme l'exemple des biscuits « certains vs tous »), ils ont trébuché lorsque la conversation devenait désordonnée et réelle. Lorsque les indices provenaient de discussions naturelles et quotidiennes — comme deux amis parlant d'une fête ou d'un passe-temps — les modèles d'IA échouaient souvent à comprendre l'indice en premier lieu, ou manquaient complètement la rétractation. En fait, dans les scénarios les plus naturels, la performance de l'IA était à peine meilleure qu'un choix aléatoire.

Les chercheurs ont également mené des expériences de contrôle sournoises pour comprendre pourquoi l'IA éprouvait des difficultés. Ils ont découvert que lorsque l'IA réussissait à identifier un indice, ce n'était pas toujours parce qu'elle comprenait la conversation ; parfois, elle se contentait de s'appuyer sur une « croyance préalable », comme un étudiant qui aurait mémorisé le corrigé sans lire la question. Par exemple, si l'IA voyait le mot « certains », elle pouvait automatiquement supposer « pas tous » sans même écouter le reste de la phrase. De plus, lorsqu'on demandait à l'IA de mettre à jour ses croyances après une rétractation, elle était bien plus apte à s'en tenir à son hypothèse initiale qu'à changer d'avis. C'est comme si l'IA était têtue, préférant ignorer la nouvelle information plutôt que de faire la gymnastique mentale requise pour mettre à jour sa compréhension.

En fin de compte, l'étude suggère que, bien que nos modèles d'IA deviennent meilleurs pour imiter le langage humain, ils n'ont pas encore maîtrisé l'art de la pensée humaine en conversation. Ils peuvent suivre le script, mais ils sont encore à la traîne par rapport à nous lorsqu'il s'agit des croyances tacites et changeantes qui rendent la véritable communication possible. L'article ne prétend pas que l'IA est défaillante, mais il suggère que tant que ces modèles ne pourront pas gérer la nuance de l'annulation d'un indice dans une discussion naturelle, ils ne seront pas tout à fait prêts à être de véritables partenaires de conversation.

Résumé technique : Évaluation des mises à jour de croyances communicatives dans les grands modèles de langage via la reconnaissance d'implicatures et de leurs annulations

Énoncé du problème

La communication humaine repose largement sur la négociation de croyances tacites et leurs mises à jour dynamiques au sein d'un « terrain commun » (common ground). Ces mises à jour se produisent souvent de manière implicite à travers des implicatures (sens sous-entendus) et des annulations d'implicatures (l'affaiblissement ou la négation de ces sens sous-entendus). Bien que les grands modèles de langage (LLM) aient démontré une certaine compétence en matière de connaissances du monde et de raisonnement logique, leur capacité à gérer ces mises à jour subtiles et pragmatiques des croyances dans un contexte de communication reste peu explorée. Plus précisément, il n'est pas clair si les LLM peuvent reconnaître les croyances tacites déclenchées par des implicatures et, par la suite, mettre à jour ou annuler ces croyances lorsqu'ils sont confrontés à des informations contradictoires, ce qui constitue une exigence fondamentale pour une interaction humain-IA réussie.

Méthodologie

Construction du jeu de données : IMPLICATUREX

Pour remédier au manque de données d'évaluation, les auteurs ont construit IMPLICATUREX, le premier jeu de données annoté par des experts portant sur les annulations d'implicatures. Le jeu de données comprend 271 éléments classés en trois types :

Implicatures scalaires (46 éléments) : Dérivées du corpus Switchboard, se concentrant sur la relation pragmatique entre des termes tels que « certains » et « tous » (par exemple, « Certains lieux les encaissent pour les taxes », impliquant « Pas tous... »).
Implicatures de discours (31 éléments) : Extraites d'articles du Wall Street Journal utilisant des relations de discours causales implicites issues du Penn Discourse Tree Bank (PDTB).
Implicatures conversationnelles (194 éléments) :
- Synthétiques (144 éléments) : Dialogues en deux tours construits à partir de jeux de données existants où un énoncé déclencheur introduit une croyance et un énoncé d'annulation nie celle-ci.
- Naturelles (50 éléments) : Échanges réels issus du corpus Switchboard où les annulations se produisent naturellement au sein du dialogue.

Processus d'annotation :

Annotation par des experts : Deux linguistes professionnels ont annoté les éléments pour la plausibilité de l'implicature et la correction de l'annulation. Les éléments présentant un faible accord ou des interprétations peu plausibles ont été remplacés ou écartés, aboutissant à l'ensemble final de 271 éléments.
Crowdsourcing : 90 participants ont fourni des jugements de probabilité sur une échelle de Likert de 7 points pour chaque élément (avec et sans l'énoncé d'annulation) afin d'établir une référence humaine pour la précision de la mise à jour des croyances.

Configuration expérimentale

L'étude a évalué les LLM sur trois tâches spécifiques à l'aide d'un modèle de prompt à choix multiples pour estimer la probabilité d'une croyance $b$ étant donné un contexte $c$ et une séquence d'énoncés $u$ :

Reconnaissance d'implicature : Déterminer si le modèle favorise la croyance implicite par rapport à sa négation après l'énoncé déclencheur.
Reconnaissance d'annulation : Déterminer si le modèle diminue la probabilité de la croyance après avoir observé l'énoncé d'annulation.
Mise à jour de la croyance : Une tâche conjointe exigeant que le modèle reconnaisse d'abord l'implicature, puis mette à jour (annule) avec succès celle-ci.

Modèles évalués :
L'étude a testé une gamme de modèles à poids ouverts (Gemma 3, Llama 3.1/3.2/3.3, Qwen 2.5/3) et de modèles fermés (GPT-5.2/5.4), incluant des variantes avec et sans capacités de « raisonnement ».

Expériences de contrôle :

Terrain commun préalable (Prior Common Ground) : Mesure de la performance du modèle sans l'énoncé déclencheur pour isoler l'influence des biais préalables.
Contrôle de la forme (IMPLICATURE⊥) : Remplacement des annulations naturelles par des négations explicites (par exemple, « Je ne dis pas X ») pour tester si les échecs proviennent du raisonnement pragmatique ou de l'interprétation de la négation.
Contrôle du type de mise à jour : Test des réponses des modèles à des énoncés de renforcement ( $u^+$ ) et des énoncés inchangés ( $u^\approx$ ) pour voir si les modèles peinent spécifiquement avec le changement de croyances plutôt qu'avec leur maintien.

Résultats clés

1. Reconnaissance d'implicature

Implicatures scalaires et de discours : Les modèles de premier plan (ex. : Gemma 3 27B, Llama 3.3 70B) égalent ou dépassent légèrement la performance humaine (précision ~0,90–1,0).
Implicatures conversationnelles : Les modèles éprouvent des difficultés significatives, particulièrement avec les exemples naturels. Le meilleur modèle (GPT-5.4 Thinking) a obtenu 0,81 sur les exemples synthétiques mais seulement 0,60 sur les exemples naturels. De nombreux modèles ont performé moins bien que le hasard sur les implicatures conversationnelles naturelles.
Biais préalable : Les expériences de contrôle ont révélé que les modèles possèdent souvent des a priori forts pour certaines implicatures (ex. : « certains » implique « pas tous ») même sans voir le contexte, suggérant que les scores élevés de reconnaissance reflètent des motifs mémorisés plutôt qu'un véritable raisonnement pragmatique.

2. Reconnaissance d'annulation

Les modèles sont généralement plus proches des niveaux humains pour la reconnaissance d'annulation des implicatures scalaires et de discours.
Cependant, la performance chute considérablement pour les annulations conversationnelles naturelles. Le meilleur modèle (Qwen 3 32B Thinking) a atteint une précision de 0,84 contre 0,92 pour l'humain.
Négation explicite : Même lorsque les annulations étaient rendues explicites (ex. : « Je ne dis pas X »), les modèles n'ont pas atteint une précision parfaite, indiquant que les difficultés s'étendent au-delà de la simple interprétation de la négation pour toucher une compétence pragmatique plus large.

3. Mises à jour de croyances

Difficulté de la tâche conjointe : Lorsque la reconnaissance et l'annulation sont requises, la performance des modèles chute brutalement. Pour les implicatures conversationnelles naturelles, le meilleur modèle n'a atteint que 0,40 de précision de mise à jour de croyance, contre 0,72 pour les humains.
Maintien vs Changement : Les modèles démontrent un fort biais vers le maintien des croyances existantes. Ils performent bien face à des énoncés de suivi non pertinents (inchangés) mais peinent considérablement lorsqu'ils doivent mettre à jour (annuler) ou renforcer des croyances. Par exemple, GPT-5.4 a maintenu les croyances avec une précision de 0,96 sur les exemples naturels, mais est tombé à 0,32 lorsqu'on lui a demandé de les mettre à jour.

Signification et affirmations

L'article affirme que les LLM actuels n'ont pas encore atteint le niveau de compréhension humain des croyances tacites et des mises à jour dynamiques des croyances inhérentes à la communication humaine.

Écart de raisonnement pragmatique : Bien que les modèles excellent dans la récupération de connaissances statiques et la déduction logique, ils accusent un retard dans la « négociation » du sens. Ils peinent à mettre à jour les croyances dans des scénarios réalistes et naturels, s'appuyant souvent sur des biais préalables plutôt que sur des preuves contextuelles.
Limites des architectures actuelles : L'incapacité à annuler systématiquement les implicatures, même lorsqu'elles sont explicitement niées, suggère que les LLM pourraient manquer d'un mécanisme robuste pour réviser le terrain commun. Ils semblent plus aptes à maintenir un état de croyance qu'à le réviser.
Contribution du jeu de données : L'introduction d'IMPLICATUREX fournit un benchmark nécessaire pour évaluer la « compétence communicative » des LLM au-delà des tâches standard de NLP, soulignant un domaine critique où les modèles actuels sont en deçà des standards d'interaction humaine.

Les auteurs concluent que, bien que les LLM soient prometteurs pour la reconnaissance d'inférences pragmatiques simples, leur capacité à gérer la négociation fluide et tacite des croyances requise pour un dialogue humain-IA réussi demeure limitée.