Unveiling the Limits of Large Language Models in Inferring Pragmatic Meaning from Non-Verbal Responses

Résumé Technique : Révéler les limites des grands modèles de langage dans l'inférence du sens pragmatique à partir de réponses non verbales

Énoncé du problème
Bien que les grands modèles de langage (LLM) aient démontré des progrès significatifs dans la compréhension du langage verbal et des phénomènes pragmatiques tels que l'implicature et les actes de parole indirects, les recherches existantes ont largement négligé le rôle du comportement non verbal lorsqu'il opère de manière isolée. Dans la communication humaine, les indices non verbaux (ex. : le silence, les expressions faciales, les gestes) servent souvent de signaux exclusifs de l'intention communicative, transmettant des significations indirectes sans accompagnement verbal. Les évaluations actuelles analysent principalement les entrées verbales ou traitent les indices non verbaux uniquement comme un support contextuel pour le texte. Cette étude aborde la question ouverte de savoir si les LLM peuvent reconnaître et inférer une intention indirecte uniquement à partir de réponses non verbales, une capacité cruciale pour une interaction humain-IA robuste où le langage parlé peut être absent ou limité.

Méthodologie
Les auteurs présentent la première évaluation systématique de la capacité des LLM à inférer le sens pragmatique à partir de réponses de dialogue composées exclusivement d'éléments non verbaux. L'étude est structurée autour de trois questions de recherche : (1) Les LLM peuvent-ils reconnaître l'intention indirecte dans les réponses non verbales ? (2) Quand et comment échouent-ils ? (3) Comment cette capacité peut-elle être améliorée ?

• Données et catégories : L'évaluation utilise un jeu de données personnalisé classant les réponses non verbales en trois types : le Silence (absence délibérée de parole), les Expressions Faciales (représsentées via des emojis Unicode) et les Mouvements (actions descriptives entre parenthèses).
• Conception de la tâche : Les modèles sont confrontés à des questions à choix multiples où ils doivent sélectionner l'option qui interprète le mieux le contexte et l'intention sous-jacente d'une conversation se terminant par une réponse non verbale. Les distracteurs sont soigneusement conçus pour inclure des interprétations erronées, des explications littérales, des descriptions abstraites et des réponses lexicalement cohérentes mais sémantiquement divergentes.
• Modèles évalués : Les expériences couvrent 13 modèles répartis en six familles (Qwen, Mistral, Llama, Phi et des modèles basés sur API comme GPT et Claude), allant de 3 milliards à plus de 100 milliards de paramètres.
• Paramètres expérimentaux : L'évaluation principale est menée dans un cadre de zero-shot (apprentissage sans exemple). Des analyses supplémentaires incluent le prompting par chaîne de pensée (Chain-of-Thought - CoT), l'apprentissage en contexte par quelques exemples (few-shot in-context learning) et des études d'ablation supprimant les instructions contextuelles explicites. Une base de référence humaine a été établie en utilisant des étudiants de premier cycle issus de divers horizons nationaux.

Résultats clés

• Écart de performance : Les LLM présentent une chute de performance substantielle lors du traitement de réponses non verbales par rapport aux réponses verbales. Alors que les modèles atteignent souvent une précision proche de celle de l'humain sur les actes de parole indirects verbaux, leur précision sur les tâches non verbales chute jusqu'à 60 points de pourcentage.
• Difficulté par catégorie : La performance varie selon la catégorie. Les « Mouvements » ont obtenu la précision moyenne la plus élevée (0,67), suivis des « Expressions Faciales » (0,51), le « Silence » étant le moins performant (0,45). La catégorie du silence s'est avérée particulièrement difficile, les modèles n'atteignant que 0,45 de précision contre 0,91 pour les humains.
• Échelle et famille de modèles : Les tailles de paramètres plus importantes sont généralement corrélées à une meilleure performance (ex. : les modèles 70B surpassent les modèles 3B), mais cette tendance n'est pas universelle pour toutes les familles ou les modèles basés sur API. Même des modèles avancés comme GPT-4o et GPT-o3 éprouvent des difficultés, affichant des performances comparables à celles de modèles open-source de 14B pour ces tâches spécifiques.
• Analyse d'erreurs : La source principale d'erreur est l'« explication abstraite », où les modèles fournissent des descriptions vagues qui ne répondent pas à l'intention communicative centrale. Cela est suivi par les « interprétations littérales ». L'analyse suggère que les modèles ont tendance à se concentrer sur les caractéristiques de surface plutôt que sur l'inférence des intentions latentes.
• Modèles de comportement : L'analyse par couche utilisant les "logit lenses" révèle que la capacité à interpréter le contexte s'établit dans les couches profondes. Les prédictions correctes montrent une convergence de confiance élevée, tandis que les erreurs se manifestent souvent par des interprétations erronées confiantes ou une convergence tardive et instable.
• Effets d'intervention :
  • Chaîne de pensée (CoT) : Les résultats sont mitigés ; bien que certains modèles (ex. : Llama-70B) se soient améliorés, d'autres (ex. : GPT-4o) ont montré une dégradation significative, revenant souvent à des interprétations littérales.
  • Apprentissage en contexte (In-Context Learning) : Le prompting par quelques exemples (few-shot) a considérablement amélioré la performance, particulièrement pour les modèles plus larges et les modèles basés sur API, suggérant que la fourniture d'exemples aide les modèles à aligner les indices de surface avec les intentions sous-jacentes.

Principales contributions

1. Évaluation systématique : Ce travail fournit la première évaluation systématique de la capacité des LLM à inférer l'intention sous-jacente à partir de réponses de dialogue composées exclusivement de signaux non verbaux.
2. Preuve empirique des limites : Des expériences exhaustives à travers diverses familles de modèles démontrent que les LLM font face à des défis persistants pour inférer le sens à partir d'indices non verbaux, entraînant une performance nettement diminuée par rapport à leurs homologues verbaux.
3. Aperçus comportementaux et atténuation : L'étude identifie des schémas d'erreurs spécifiques (abstraction et littéralisme) et démontre que l'apprentissage en contexte par quelques exemples peut considérablement améliorer l'alignement des indices de surface avec les intentions de communication.

Signification
L'article soutient qu'une compréhension précise du comportement non verbal est vitale pour faire progresser la compétence pragmatique des LLM, car ces indices sont des signaux de communication universellement reconnus. En révélant que les modèles actuels peinent à interpréter l'intention indirecte sans étayage verbal, l'étude souligne une lacune critique dans la génération actuelle de LLM. Les conclusions suggèrent que, bien que les modèles possèdent de fortes capacités de raisonnement verbal, ils manquent de l'ancrage nécessaire pour interpréter les signaux non verbaux de manière indépendante. La démonstration que l'apprentissage en contexte peut atténuer ces problèmes offre une voie pour améliorer l'alignement des modèles avec les normes de communication humaines dans des scénarios multimodaux ou textuels où les indices non verbaux constituent le mode principal d'expression.

Limites
Les auteurs notent que l'évaluation est menée exclusivement en anglais et repose sur des inférences pragmatiques supposées transculturelles. De plus, l'étude se concentre sur les représentations textuelles des indices non verbaux plutôt que sur des entrées multimodales brutes (ex. : vidéo ou audio), bien que les auteurs postulent que le modèle de langage reste l'interprète final de l'intention, quelle que soit la modalité d'entrée.