Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction

Résumé technique : Amorçage conscient de l'implicature dans l'interaction humain–LLM

Énoncé du problème
À mesure que les modèles de langage de grande taille (LLM) deviennent l'interface principale pour l'interaction homme-machine (IHM), les systèmes éprouvent de plus en plus de difficultés avec les phénomènes pragmatiques, en particulier l'implicature conversationnelle. L'implicature désigne un sens transmis indirectement par le contexte, les hypothèses partagées et les normes de communication plutôt que par une énonciation explicite (par exemple, suggérer un refus en déclarant « J'ai beaucoup de travail »). Les LLM actuels optent souvent pour des interprétations littérales, ce qui conduit à des réponses que les utilisateurs perçoivent comme rigides, peu intelligentes ou désalignées par rapport à leur intention communicative. Bien que des benchmarks existants évaluent la performance des modèles sur des tâches d'implicature, il existe un vide dans la compréhension de la question de savoir si rendre l'intention implicite explicite par l'amorçage améliore la qualité perçue et la pertinence des réponses dans des contextes destinés aux utilisateurs. De plus, il manque une taxonomie légère et opérationnelle spécifiquement conçue pour la conception et l'évaluation des stimuli en IHM.

Méthodologie
L'étude utilise une conception à trois expériences pour opérationnaliser l'implicature et évaluer son impact sur la perception des utilisateurs :

1. Développement d'une taxonomie : Les auteurs ont introduit une taxonomie opérationnelle orientée IHM de trois classes d'implicature, fondée sur la pragmatique gricéenne et la théorie des actes de langage de Searle :

   • Recherche d'information : Demandes indirectes de connaissances ou de clarification.
   • Recherche d'orientation : Demandes indirectes de conseils, d'action ou de prochaines étapes.
   • Expressive : Énoncés transmettant un affect, une attitude ou une évaluation sans demande directe.
     Une grille d'évaluation a été établie pour étiqueter les amorces en fonction de l'intention implicite principale et de l'obligation de réponse au premier tour requise.

2. Expérience 1 (Benchmark d'interprétation) :

   • Tâche : 60 participants humains et cinq LLM (GPT-4o, GPT-4, GPT-3.5-turbo, Llama-2-7b-chat, Mistral-7B-Instruct) ont été invités à classer 30 amorces rédigées dans les trois classes d'implicature.
   • Objectif : Vérifier la transférabilité et la cohérence interne de la taxonomie et évaluer l'alignement des modèles par rapport à une ligne de base d'interprétation humaine.

3. Expérience 2 (Pertinence et qualité perçues) :

   • Tâche : 90 participants ont noté les réponses des LLM sur une échelle de Likert de 5 points pour la pertinence perçue et la qualité globale.
   • Conditions : Les réponses ont été générées dans deux conditions :
     • Ligne de base : Prompt système standard.
     • Conscient de l'implicature : Le modèle a reçu une brève définition de la classe d'implicature spécifique et de son objectif communicatif pour l'amorce (sans les détails complets de la grille).
   • Conception : Une conception de notation inter-sujets incomplète où les participants ont vu des sous-ensembles de paires amorce-réponse.

4. Expérience 3 (Suivi ciblé à choix forcé) :

   • Tâche : 30 participants ont effectué une tâche à choix forcé à deux alternatives sur un sous-ensemble ciblé de 10 paires amorce-réponse. Ces paires ont été sélectionnées a posteriori lors de l'Expérience 2 sur la base de différences à fort contraste dans les notes de pertinence ou de qualité.
   • Objectif : Déterminer si les avantages de notation observés dans l'Expérience 2 se traduisent par une préférence directe en paire lorsque les deux options sont présentées côte à côte.

Contributions clés

1. Taxonomie opérationnelle : Introduction d'une taxonomie pratique d'implicature à trois classes (Recherche d'information, Recherche d'orientation, Expressive) ancrée dans la théorie linguistique mais optimisée pour la conception et l'évaluation des stimuli en IHM.
2. Benchmark de modèles : Un benchmark comparatif de cinq LLM par rapport à une ligne de base humaine, révélant une variance significative dans la mesure où les modèles s'alignent sur les interprétations humaines de l'intention implicite.
3. Preuve centrée sur l'utilisateur : Des preuves empiriques démontrant que l'amorçage conscient de l'implicature (rendre l'intention communicative explicite) améliore de manière mesurable les évaluations des utilisateurs des réponses des LLM en termes de pertinence, de qualité et de préférence directe.

Résultats

• Cohérence de la taxonomie : La grille à trois classes était apprenable et intérieurement cohérente, les annotateurs humains atteignant un accord modéré (κ de Fleiss = 0,414) sur les amorces rédigées.
• Alignement des modèles : Les modèles plus grands s'alignaient plus étroitement sur les interprétations humaines. GPT-4o a obtenu le taux d'accord le plus élevé (86,67 %), suivi de GPT-4 (73,33 %). Les modèles plus petits (Llama-2, Mistral-7B, GPT-3.5) ont montré un alignement plus faible et plus inégal, en particulier dans les catégories Recherche d'orientation et Expressive.
• Impact de l'amorçage (Expérience 2) : L'amorçage conscient de l'implicature a significativement amélioré à la fois la pertinence perçue ($p < .001$) et la qualité perçue ($p < .001$) sur l'ensemble des réponses évaluées. L'intervention n'a pas montré d'effets d'interaction significatifs avec la taille du modèle ou la classe d'implicature, suggérant que le bénéfice est large plutôt que spécifique à certains modèles ou types d'amorces.
• Préférence directe (Expérience 3) : Dans le suivi à choix forcé, les participants ont sélectionné la réponse consciente de l'implicature 67,6 % du temps, une proportion significativement supérieure au hasard ($p = 1,04 \times 10^{-9}$).

Signification et affirmations
L'article soutient que l'implicature est un cas de test pratiquement conséquent pour l'intégration de la théorie linguistique dans la conception de l'IHM. Les résultats étayent une conclusion modeste mais concrète :

• L'échafaudage pragmatique fonctionne : Rendre l'intention communicative implicite explicite par un amorçage structuré améliore la qualité perçue de l'interaction basée sur le langage sans nécessiter de réentraînement du modèle ni de changements architecturaux.
• Implication pour la conception : Les systèmes conversationnels ne doivent pas traiter toutes les entrées comme des demandes littérales. Les concepteurs devraient employer des stratégies d'amorçage qui mettent en évidence les intentions probables des utilisateurs (par exemple, l'orientation ou l'affect) pour améliorer la pertinence et l'adéquation.
• Limitation des modèles actuels : L'étude précise que ces gains découlent d'un échafaudage pragmatique (guidage explicite) plutôt que de preuves que les modèles actuels possèdent un raisonnement pragmatique humain stable et non assisté. Les modèles plus grands approximent mieux le jugement humain, mais même eux bénéficient de la mise en évidence explicite de l'intention.
• Changement en IHM : Ce travail plaide pour dépasser la précision des benchmarks afin d'inclure la pertinence perçue par l'utilisateur, la qualité et la préférence directe comme métriques centrales pour évaluer les systèmes d'interaction basés sur le langage.

Les auteurs soulignent que, bien que l'étude démontre la valeur de la mise en évidence explicite de l'intention, elle ne prétend pas que les LLM ont résolu le problème de l'inférence autonome de l'implicature. Au contraire, elle met en lumière la valeur de l'utilisation de la théorie linguistique pour éclairer la conception des amorces et l'évaluation des interactions.