Résumé technique : Les théories pragmatiques améliorent la compréhension des significations implicites dans les LLM

Énoncé du problème

La communication humaine repose largement sur les significations implicites — les intentions implicites, les objectifs non formulés et les interprétations dépendantes du contexte qui vont au-delà du texte littéral. Bien que les grands modèles de langage (LLM) aient montré des succès dans diverses tâches linguistiques, l'interprétation précise de ces significations non littérales reste un défi important. Les approches existantes pour améliorer le raisonnement pragmatique dans les LLM se divisent généralement en deux catégories :

1. Post-entraînement : Mise à jour des paramètres du modèle via le réglage fin supervisé ou l'optimisation des préférences (par exemple, DPO). Cela est coûteux, laborieux et risque d'entraîner un « oubli catastrophique » des capacités précédemment apprises.
2. Apprentissage en contexte (ICL) : Utilisation de prompts soigneusement conçus, tels que la Chaîne de Pensée (Chain-of-Thought/CoT) ou des exemples de quelques tirages (few-shot). Cependant, de nombreuses méthodes d'ICL existantes reposent sur des indices spécifiques à l'instance ou sur une guidance descendante dérivée des réponses correctes, ce qui limite leur généralisabilité et nécessite une intervention ad hoc pour des formats de problèmes spécifiques.

Les auteurs identifient une lacune dans les méthodes indépendantes de l'instance et en zero-shot capables de guider les LLM pour interpréter les significations implicites sans modifier les paramètres ni fournir d'exemples de résolution de problèmes spécifiques.

Méthodologie

L'étude propose une stratégie de prompting qui intègre des résumés de théories de la pragmatique linguistique établies dans le prompt du modèle. L'hypothèse centrale est que, bien que les LLM possèdent une connaissance latente de ces théories au sein de leurs paramètres, ils nécessitent un « amorçage » (bootstrap) pour rappeler et appliquer efficacement cette connaissance lors de tâches de raisonnement.

Les expériences utilisent le jeu de données PRAGMEGA, qui couvre sept phénomènes pragmatiques. L'étude se concentre sur cinq tâches de signification non littérale : Mensonges (Deceits), Discours indirect (Indirect Speech), Ironie (Irony), Maximes (Maxims) et Métaphore (Metaphor).

Stratégies de prompting

Les auteurs comparent quatre configurations de prompting primaires dans un cadre zero-shot :

1. Baseline-1 (Simple) : Instruction explicite de ne produire que la réponse finale.
2. Baseline-2 (Chain-of-Thought/CoT) : Instruction de « réfléchir étape par étape » sans guidance théorique.
3. Proposé-1 (Prompting Gricean) : Le prompt inclut un bref aperçu de la Pragmatique de Grice (Principe de coopération et quatre maximes : Quantité, Qualité, Relation, Manière). Le modèle est instruit de raisonner selon ce cadre.
4. Proposé-2 (Prompting de la Théorie de la Pertinence) : : Le prompt inclut un aperçu de la Théorie de la Pertinence (se concentrant sur l'équilibre entre les effets cognitifs et l'effort de traitement). Le modèle est instruit de raisonner selon ce cadre.

De plus, l'étude teste des variantes « Courtes » des méthodes proposées, où la théorie est simplement nommée (par exemple, « Réfléchissons en accord avec la théorie de Grice ») sans fournir de résumé détaillé, afin de déterminer si la simple invocation de la théorie est suffisante.

Configuration expérimentale

• Modèles : Les expériences ont été menées sur des modèles open-source (séries LLaMa 3.1, Qwen 2.5) et des modèles propriétaires fermés (GPT-4o, GPT-4o mini, phi-4).
• Contrôle : Pour écarter les facteurs de confusion, les auteurs ont mené des expériences supplémentaires utilisant :
  • Des théories faisant autorité mais non liées (Théorie X-barre, Complexité algorithmique, Théorie des graphes).
  • Des théories « pragmatiques » fictives (Consensus Majoritaire, Primauté de la Distance).
  • Des modèles de planification générale (Plan-to-Solve).

Résultats clés

Amélioration des performances

• Précision globale : Les méthodes proposées ont systématiquement surpassé les deux baselines sur la plupart des modèles. La méthode de Prompting Gricean a obtenu les gains les plus élevés, avec une améliation de la précision allant jusqu'à 9,6 % (0,096) par rapport à la meilleure baseline (Simple) sur le modèle phi-4.
• Performance de niveau humain : Sur le modèle GPT-4o, les méthodes proposées ont permis au modèle de dépasser les scores de performance humaine rapportés dans l'étude originale de PRAGMEGA. Pour phi-4, la méthode a permis au modèle d'atteindre une précision de niveau humain là où la baseline accusait auparavant un retard.
• Comparaison des théories : Le Prompting Gricean a généralement surpassé le Prompting de la Théorie de la Pertinence sur la plupart des modèles. Les auteurs spéculent que cela peut être dû au fait que les concepts de Grice apparaissent plus fréquemment dans le corpus d'entraînement des modèles, plutôt qu'à une supériorité intrinsèque de la théorie elle-même.
• Prompts courts : Même sans explications détaillées, le simple fait de mentionner les noms des théories dans le prompt (Short Prompting) a généré des améliorations de performance de 1 à 3 % par rapport aux baselines dans les modèles plus larges, bien que les gains soient moindres que pour les résumés complets.

Analyse par phénomène

• Ironie : Les méthodes proposées ont montré l'amélioration la plus significative pour l'Ironie. GPT-4o, qui affichait un score inférieur aux humains sur la baseline, a atteint une précision de niveau humain avec le prompting Gricean.
• Maximes : Le Prompting Gricean a été particulièrement efficace pour les tâches impliquant des violations des maximes de Grice, car la théorie traite directement de ces mécanismes.
• Métaphore : Des améliorations ont été observées, particulièrement dans les modèles de plus de 14B de paramètres. Cependant, le prompting « Court » était parfois insuffisant pour les métaphores, suggérant qu'une compréhension théorique détaillée peut être nécessaire pour ce phénomène spécifique.
• Mensonges (Deceits) : L'efficacité variait selon le modèle. Les auteurs notent que la théorie de Grice seule ne parvenait pas toujours à capturer les nuances de la tromperie sociale, suggérant des travaux futurs avec la Théorie de la Politesse.

Analyse des erreurs et facteurs de confusion

• Schémas d'erreurs : L'analyse a révélé que les méthodes proposées étaient les plus efficaces dans les cas où le modèle devait distinguer le sens littéral du sens implicite (ex: Maximes) ou là où la CoT standard échouait.
• Contrôles de confusion : Les expériences supplémentaires ont confirmé que les gains de performance n'étaient pas dus à :
  • L'augmentation de la longueur de l'entrée ou de la sortie.
  • La simple présence d'une théorie à l'autorité apparente (des théories non liées comme la théorie X-barre ont souvent diminué la performance).
  • L'utilisation de théories fictives (qui ont donné des résultats mitigés ou inférieurs par rapport aux vraies théories pragmatiques).
  • Des modèles de planification générale (Plan-to-Solve).

Contributions et importance

L'article revendique les contributions suivantes :

1. Méthode indépendante de l'instance : Une méthode de prompting zero-shot simple qui incorpore des résumés des théories de Grice et de la Pertinence pour améliorer les performances des LLM sur les tâches de signification implicite sans nécesser d'exemples spécifiques à la tâche ou de mise à jour des paramètres.
2. Effet d'invocation de la théorie : Preuve que le simple fait de référencer les noms des théories pragmatiques dans un prompt de CoT peut générer des améliorations de performance, suggérant que les LLM possèdent une connaissance pragmatique latente qui peut être activée par les bons indices.
3. Efficacité ciblée : Démonstration que la méthode est particulièrement efficace pour interpréter l'Ironie et les énoncés qui enfreignent les maximes de Grice.

Limites et directions futures

Les auteurs reconnaissent modestement plusieurs limites :

• Généralisabilité : L'efficacité de la méthode sur des tâches plus larges et en amont (ex: systèmes de dialogue, respect des instructions) reste à vérifier.
• Clarté du mécanisme : Bien que la méthode fonctionne, le « pourquoi » précis (si elle active réellement une connaissance latente ou si elle déplace simplement la distribution de probabilité) nécessite des recherches plus approfondies.
• Portée linguistique : L'étude est limitée à l'anglais. Les auteurs notent que la signification pragmatique varie selon les langues, et que la cohérence translinguistique doit être vérifiée.
• Complexité du jeu de données : Le jeu de données PRAGMEGA, bien qu'utile, peut manquer de la richesse contextuelle des phénomènes pragmatiques du monde réel. Les auteurs suggèrent que les travaux futurs devraient se concentrer sur des jeux de données avec des contextes plus complexes et étendus (basés par exemple sur des sitcoms).

En conclusion, l'article soutient que l'ancrage du raisonnement des LLM dans des cadres linguistiques établis offre une voie rentable et généralisable pour améliorer l'interprétation des significations implicites, comblant ainsi l'écart entre la génération de langage brute et une compréhension pragmatique de type humain.