💬 NLP

Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity

Cette étude démontre que le raisonnement pragmatique dans les grands modèles de langage, évalué par le biais de la diversité scalaire, ne constitue pas une compétence stable mais plutôt une interaction variable entre les représentations probabilistes internes et les comportements de promptage induits par la tâche, soulignant ainsi l'influence critique de la conception de l'évaluation sur l'interprétation des capacités des modèles.

Auteurs originaux : Ye-eun Cho

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ye-eun Cho

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de déterminer si un nouvel ami robot comprend vraiment la conversation humaine, ou s'il est simplement doué pour jouer le jeu lorsque vous lui posez les bonnes questions. C'est exactement ce dont traite l'article « Evaluating Pragmatic Reasoning in Large Language Models » de Ye-eun Cho.

Voici l'histoire de l'étude, décomposée en termes simples avec quelques analogies utiles.

La Grande Question : Le Robot est-il Intelligent, ou Simplement Bon pour Jouer la Comédie ?

Les grands modèles de langage (LLM) sont comme des étudiants extrêmement bien informés qui ont lu presque tout ce qui se trouve sur Internet. Ils sont excellents en grammaire et en faits. Mais peuvent-ils comprendre le sens caché de ce que les gens disent ?

Dans la conversation humaine, nous disons souvent des choses comme : « Certains biscuits ont été mangés. » Nous ne voulons pas dire seulement « au moins un » ; nous impliquons généralement « pas tous ». C'est ce qu'on appelle une implicature scalaire. C'est une règle sociale subtile : si je dis « certains », j'indique que je n'ai pas dit « tous » parce que « tous » n'était pas vrai.

La grande question que les chercheurs se sont posée est la suivante : Ces modèles d'IA comprennent-ils vraiment ce sens caché, ou feignent-ils simplement de comprendre lorsque nous leur demandons gentiment ?

Les Deux Façons de Tester le Robot

Pour répondre à cela, les chercheurs ont utilisé deux méthodes différentes pour tester les modèles, un peu comme deux façons différentes de tester les connaissances d'un étudiant :

Le « Test Intuitif Interne » (Probabilité Directe) :
Imaginez demander au robot de prédire le mot suivant dans une phrase sans qu'il ait à parler à voix haute. Vous examinez ses calculs internes pour voir ce qu'il réellement pense être le plus probable.
- Analogie : C'est comme observer les ondes cérébrales d'un étudiant pendant qu'il passe un examen. Cela montre ce qu'il sait instinctivement avant d'essayer de répondre.
L'« Examen Oral » (Prompting Métalinguistique) :
C'est lorsque vous demandez directement au robot : « Si je dis "certains biscuits ont été mangés", cela signifie-t-il "pas tous les biscuits ont été mangés" ? Répondez par Oui ou Non, s'il vous plaît. »
- Analogie : C'est comme demander à l'étudiant de lever la main et d'expliquer sa réponse à voix haute. C'est ce qu'il dit savoir, ce qui peut être influencé par la manière dont la question est posée.

L'Expérience : Un Menu de 60 Différents « Certains »

Les chercheurs n'ont pas testé une seule phrase. Ils ont utilisé un « menu » de 60 paires de mots différentes (comme certains/tous, chaud/brûlant, bon/excellent).

Certaines paires sont faciles à déduire pour les humains (comme certains implique pas tous).
Certaines paires sont plus difficiles ou plus faibles (comme chaud n'implique pas toujours pas brûlant).
Cette variété est appelée Diversité Scalaire. C'est comme tester un chef non seulement sur la façon dont il cuisine un steak, mais sur la façon dont il gère 60 ingrédients différents, des herbes délicates aux racines coriaces.

Ce Qu'ils Ont Découvert : Le Rebondissement

Les résultats ont été surprenants et ont montré qu'il n'y a pas de « vérité » unique sur la façon dont ces modèles sont intelligents.

1. Le « Test Intuitif » et l'« Examen Oral » Ne Sont Pas D'accord
Souvent, les calculs internes du robot (Test Intuitif) et sa réponse parlée (Examen Oral) racontaient des histoires complètement différentes.

Parfois, les calculs internes du robot disaient : « Je ne comprends pas vraiment cela », mais lorsqu'on lui demandait gentiment, il disait : « Oui, je comprends ! »
D'autres fois, les calculs internes étaient confiants, mais la réponse parlée était confuse.
La Conclusion : Vous ne pouvez pas vous fier à une seule méthode pour savoir si le robot est « compétent ». C'est comme un étudiant qui connaît la réponse dans sa tête mais se fige lorsqu'on lui demande de parler, ou l'inverse.

2. La « Comédie » Dépend du Script
La façon dont les chercheurs posaient la question comptait beaucoup.

S'ils posaient une question simple, le robot pouvait dire « Non ».
S'ils ajoutaient une introduction polie comme : « Vous êtes un assistant utile, dites-moi... », le robot pouvait soudainement dire « Oui ».
La Conclusion : La « performance » du robot change en fonction du script. Ce n'est pas nécessairement que le robot a appris quelque chose de nouveau ; il réagit simplement au style de la question.

3. Différents Robots, Différentes Personnalités
L'étude a testé deux types différents de modèles d'IA (Flan-T5 et Qwen).

Flan-T5 était un peu plus cohérent. Ses calculs internes et ses réponses parlées étaient plus proches les uns des autres.
Qwen était très dramatique. Ses calculs internes étaient souvent très faibles (il ne semblait pas « connaître » la réponse), mais lorsqu'on lui demandait directement, il donnait des réponses parfaites, presque comme s'il jouait la comédie.
La Conclusion : Juste parce qu'un modèle d'IA fait semblant d'être intelligent ne signifie pas que tous les modèles d'IA fonctionnent de la même manière.

4. L'Astuce de la « Comparaison »
Lorsque les chercheurs demandaient au robot de comparer deux options côte à côte (« Quelle est la meilleure : A ou B ? »), le robot s'en sortait beaucoup mieux que lorsqu'on lui demandait de juger une seule phrase isolément.

La Conclusion : Il est plus facile pour le robot de choisir la bonne réponse lorsqu'il a un choix à faire, plutôt que d'avoir à générer une réponse à partir de zéro.

Le Verdict Final

L'article conclut que nous ne pouvons pas dire : « Cette IA possède un raisonnement pragmatique » ou « Cette IA ne le possède pas ».

Au lieu de cela, le raisonnement pragmatique dans l'IA est comme une danse entre deux partenaires :

La connaissance interne du robot (ce qu'il a réellement appris).
La façon dont nous posons la question (l'invite).

Si vous changez le partenaire de danse (l'invite) ou la musique (la tâche), la danse change. Le robot ne ment pas nécessairement ni ne « sait » au sens humain ; il réagit simplement à la situation spécifique dans laquelle il se trouve.

En bref : Pour comprendre si une IA comprend les nuances humaines, vous ne pouvez pas simplement lui poser une question et prendre la réponse pour argent comptant. Vous devez observer son comportement dans de nombreuses situations différentes, car sa « compétence » n'est pas un trait fixe ; c'est un mélange de ce qu'elle sait et de la façon dont vous lui posez la question.

Résumé technique : Évaluation du raisonnement pragmatique dans les grands modèles de langage : Preuves de la diversité scalaire

Énoncé du problème
L'évaluation du raisonnement pragmatique dans les grands modèles de langage (LLM) reste un défi majeur en raison de la variabilité du comportement des modèles selon les méthodes d'évaluation utilisées. Des recherches antérieures suggèrent une divergence entre les jugements basés sur des invites (prompts) et les distributions de probabilités internes d'un modèle, soulevant la question de savoir si la compétence pragmatique observée reflète une connaissance linguistique sous-jacente ou n'est qu'un artefact d'un comportement induit par la tâche. Alors que l'implicature scalaire (l'inférence selon laquelle un terme plus faible, par exemple « certains », implique la négation d'une alternative plus forte, par exemple « pas tous ») constitue un diagnostic standard de la capacité pragmatique, les études précédentes reposent souvent sur des paires scalaires uniques ou des paradigmes d'évaluation isolés. Cette étude répond au besoin de comparer systématiquement les méthodes d'évaluation afin de déterminer si les LLM possèdent une compétence pragmatique stable ou si leur performance dépend de structures spécifiques d'invites et de tâches.

Méthodologie
L'étude adopte le cadre compétence–performance (Chomsky, 1965), distinguant la connaissance intériorisée (compétence) de l'usage linguistique dans des conditions spécifiques (performance). Elle utilise la diversité scalaire — le phénomène où la force des implicatures scalaires varie selon différentes échelles lexicales (par exemple <certains, tous> vs <tiède, chaud>) — comme outil de diagnostic gradué.

Modèles : L'étude évalue deux familles de modèles distinctes pour comparer les effets architecturaux :
- Flan-T5 : Une famille encodeur–décodeur entraînée sur des instructions (Small, Base, Large).
- Qwen2 : Une famille uniquement décodeur entraînée sur des instructions (0,5 M, 1,5 M, 7 M de paramètres).
Matériels : L'ensemble de données a été adapté à partir de Ronai et Xiang (2024) et étendu à l'aide de GPT-4o pour inclure 60 paires scalaires lexicales, résultant en 6 000 éléments distincts. Chaque élément se compose d'une phrase ancre et de deux interprétations candidates : une « cible-Oui » (inférence pragmatique) et une « cible-Non » (interprétation logique).
Paradigmes d'évaluation : Deux méthodes principales ont été comparées :
1. Mesure directe des probabilités : Calcul des probabilités conditionnelles $P(\text{candidat} | \text{ancre})$ pour déterminer la préférence interne du modèle sans instruction explicite.
2. Invites métalinguistiques : Trois variations d'invites (MetaSimple, MetaInstruct, MetaComplex) exigeant que le modèle juge ou sélectionne explicitement l'inférence valide.
Conditions expérimentales :
- Expérience A (Jugement de phrase) : Le modèle évalue une seule phrase candidate par rapport à l'ancre (Oui/Non).
- Expérience B (Comparaison de phrases) : Le modèle sélectionne entre deux phrases candidates simultanément.

Résultats clés
Les résultats indiquent qu'aucune méthode d'évaluation unique ne surpasse systématiquement l'autre, et que le comportement pragmatique est hautement sensible à l'architecture du modèle, à sa taille et à la structure de la tâche.

Divergence des méthodes : Les mesures directes de probabilités et les invites métalinguistiques n'ont produit que des résultats faiblement corrélés ( $r \approx .10 - .25$ ). Dans de nombreux cas, les corrélations étaient proches de zéro ou négatives, suggérant que les deux méthodes capturent des aspects fondamentalement différents du comportement du modèle.
Disparités de précision :
- Modèles Qwen : Ont présenté un schéma polarisé. Les estimations de probabilité directe étaient systématiquement très faibles, tandis que les invites métalinguistiques ont produit une précision extrêmement élevée (souvent proche du plafond dans l'Expérience B).
- Modèles Flan-T5 : Ont montré des schémas plus modérés, les estimations de probabilité directe restant relativement plus élevées et surpassant occasionnellement des invites métalinguistiques spécifiques.
Gradients de diversité scalaire : L'étude a analysé la précision au niveau des éléments pour détecter des gradients à travers les 60 paires scalaires.
- Flan-T5 : A généralement affiché des gradients plus clairs (valeurs de pente entre -1 et -2) sous invites métalinguistiques, en particulier dans les modèles plus grands, indiquant une sensibilité à la force variable des implicatures.
- Qwen : A montré des schémas incohérents. Bien que certaines conditions de l'Expérience A aient montré de forts gradients, de nombreuses conditions de l'Expérience B ont produit des courbes presque plates (pente $\approx 0$ ), suggérant que le modèle attribuait des interprétations uniformes indépendamment de la force scalaire.
Structure de la tâche : L'Expérience B (basée sur la comparaison) a systématiquement produit une précision plus élevée que l'Expérience A (jugement unique) sur presque tous les modèles, suggérant que les tâches comparatives fournissent des indices plus forts pour l'enrichissement pragmatique.
Effets de mise à l'échelle : Les effets de mise à l'échelle n'étaient pas uniformes. Flan-T5 a montré une tendance positive où les modèles plus grands performaient mieux. Les modèles Qwen n'ont pas montré de tendance de mise à l'échelle cohérente ; les modèles plus grands ne surpassaient pas systématiquement les plus petits et parfois performaient moins bien.

Contributions clés

Comparaison systématique : L'étude fournit une comparaison directe des probabilités directes et des invites métalinguistiques au sein des mêmes modèles pour le raisonnement pragmatique, étendant le cadre compétence–performance au-delà des phénomènes linguistiques locaux.
Diversité scalaire comme diagnostic : En utilisant une large gamme de paires scalaires plutôt qu'une seule paire (par exemple <certains, tous>), l'étude offre une évaluation plus fine de la compétence pragmatique, révélant que les modèles ne capturent pas uniformément la nature graduée des implicatures scalaires.
Sensibilité architecturale et de tâche : Les résultats soulignent que le raisonnement pragmatique dans les LLM n'est pas une capacité stable et monolithique, mais une interaction entre les représentations probabilistes internes et le cadrage externe de la tâche.

Signification et affirmations
L'article conclut que le raisonnement pragmatique dans les LLM ne peut être attribué à un seul paradigme d'évaluation. Ni la mesure directe des probabilités ni les invites métalinguistiques ne capturent systématiquement la « vraie » compétence pragmatique d'un modèle. Au lieu de cela, le comportement pragmatique observé reflète une interaction entre les représentations probabilistes internes et les réponses induites par les invites.

Les auteurs soutiennent que la présence ou l'absence de gradients de diversité scalaire dépend fortement de la combinaison spécifique de l'architecture du modèle, de la stratégie d'invite et de la conception expérimentale. Par conséquent, interpréter les capacités pragmatiques des LLM nécessite une considération attentive de la conception de l'évaluation, car un modèle peut sembler compétent dans une condition (par exemple, des invites spécifiques) tout en manquant de sensibilité sous-jacente à la diversité scalaire dans une autre (par exemple, probabilité directe). Cela remet en question la notion d'une mesure unique et stable de la compétence pragmatique dans les LLM.