How Hypocritical Is Your LLM judge? Listener-Speaker Asymmetries in the Pragmatic Competence of Large Language Models

---

1. Problématique

Les grands modèles de langage (LLM) sont de plus en plus utilisés non seulement comme générateurs de texte, mais aussi comme juges automatiques pour évaluer la qualité linguistique d'autres sorties (le format « LLM-as-a-judge »). Cependant, une hypothèse sous-jacente souvent implicite dans la littérature est que la performance d'un modèle en tant que juge (écouteur, évaluant la pertinence pragmatique) reflète sa capacité en tant que générateur (parleur, produisant une réponse pragmatiquement appropriée).

Les auteurs soulignent un vide dans la recherche : il n'est pas clair si la réussite dans un rôle garantit la réussite dans l'autre. Inspirés par la psycholinguistique, qui distingue la compréhension (souvent plus performante) de la production (plus exigeante en contraintes de planification et de mémoire), cette étude interroge la cohérence interne des LLMs. La question centrale est : un modèle capable de détecter une erreur pragmatique est-il nécessairement capable de générer la réponse correcte ?

2. Méthodologie

Pour répondre à cette question, les auteurs ont conçu une expérience comparant systématiquement le comportement des modèles dans deux rôles complémentaires sur les mêmes éléments de données :

• Rôle de Parleur (Speaker) : Le modèle doit générer une réponse pragmatiquement appropriée à partir d'un contexte.
• Rôle d'Écouteur (Listener) : Le modèle doit évaluer si une réponse donnée (générée précédemment ou fournie) est pragmatiquement appropriée.

Tâches Pragmatiques Évaluées :
L'étude se concentre sur trois tâches distinctes issues de travaux antérieurs :

1. Présuppositions Fausse (False Presuppositions) : Détection et rejet de présuppositions implicites erronées (ex: « Le roi de France est-il... ? »). Les modèles doivent rejeter la prémisse fausse dans la génération ou juger si une réponse l'a rejetée.
2. Antiprésuppositions (Antipresuppositions) : Application du principe « Maximize Presupposition! » (MP!). Le modèle doit choisir entre un article défini ou indéfini (ex: « the » vs « a ») selon le contexte, ou juger la pertinence de ce choix.
3. Raisonnement Déductif : Vérification de la validité logique d'une conclusion par rapport à des prémisses, ou génération de la conclusion manquante.

Données et Modèles :

• Données : Utilisation de jeux de données existants (en allemand et en anglais) avec des annotations humaines de référence. Les formats de réponse sont strictement contraints (choix multiples, mots uniques) pour faciliter l'analyse.
• Modèles : 14 LLMs contemporains évalués, incluant des modèles open-weight (LLaMA-3, Qwen, Phi-4, OLMo, Mistral) et propriétaires (GPT-4o, GPT-5, Claude Sonnet 4.5).
• Mesures :
  • Précision agrégée (Accuracy) pour les rôles parleur et écouteur.
  • Analyse conditionnelle au niveau de l'élément (Item-level) : Calcul de la probabilité qu'une réponse de génération soit correcte conditionnellement à ce que le jugement du modèle sur cet élément soit correct ($P(\text{speaker} | \text{listener}=1)$). Cela permet de voir si la capacité de jugement prédit la capacité de génération.

3. Contributions Clés

1. Cadre d'évaluation asymétrique : C'est l'une des premières études à comparer directement et systématiquement les rôles de génération et de jugement sur les mêmes éléments de données pour des tâches pragmatiques.
2. Démonstration de la dissociation : L'article fournit des preuves empiriques robustes que la compétence pragmatique en évaluation (jugement) et en génération (production) sont des capacités partiellement distinctes dans les LLMs actuels.
3. Critique des pratiques d'évaluation actuelles : L'étude remet en question l'utilisation de la performance en tant que « juge » comme indicateur fiable de la compétence générative globale d'un modèle, suggérant que les benchmarks actuels surestiment souvent les capacités de production.

4. Résultats Principaux

Les résultats révèlent une asymétrie robuste en faveur du rôle d'écouteur (jugement) par rapport au rôle de parleur (génération) pour la majorité des modèles.

• Asymétrie Globale : La plupart des modèles obtiennent des scores de précision nettement supérieurs lorsqu'ils jugent la pertinence d'une réponse plutôt que lorsqu'ils doivent la produire eux-mêmes.
  • Exemple : Sur la tâche des présuppositions fausses, Mistral-7B passe d'une précision de génération proche de zéro (2 %) à plus de 30 % en tant que juge.
• Variabilité selon les modèles :
  • Les modèles open-weight de taille moyenne (LLaMA-8B, Mistral-7B) montrent l'écart le plus grand (ils sont de bons juges mais de mauvais parleurs).
  • Les modèles propriétaires plus grands (GPT-5, GPT-4.1) montrent une meilleure alignement, mais l'asymétrie persiste souvent, voire s'inverse dans certains cas (meilleure génération que jugement).
• Analyse Conditionnelle (Le cœur de la découverte) :
  • La capacité à juger correctement un élément ne prédit pas la capacité à générer correctement le même élément.
  • Pour les Antiprésuppositions, la corrélation est souvent négative : les modèles qui jugent correctement la violation du principe MP! échouent souvent à générer la réponse correcte correspondante.
  • Pour les Présuppositions Fausse, la corrélation est positive uniquement pour les modèles les plus avancés (GPT-4o), mais nulle ou négative pour les modèles plus petits.
• Problèmes de suivi des instructions : Une partie significative des échecs en mode « parleur » provient de l'incapacité des modèles à suivre les contraintes de format (ex: répondre par un seul mot), alors qu'ils réussissent souvent le jugement dans le même format.

5. Signification et Implications

• Hypocrisie des Juges LLM : Le titre de l'article fait référence à l'hypocrisie potentielle des modèles qui peuvent identifier des erreurs qu'ils ne sont pas capables de corriger eux-mêmes. Cela suggère que les LLMs possèdent une « connaissance pragmatique passive » qui ne se traduit pas toujours en « compétence active ».
• Réévaluation des Benchmarks : De nombreux benchmarks actuels évaluent les LLMs uniquement via des tâches de type « écouteur » (classification, choix multiple). Cette étude indique que ces métriques ne sont pas de bons substituts (proxies) pour la compétence générative réelle.
• Pratiques d'Évaluation : Les auteurs appellent à des pratiques d'évaluation plus intégrées qui testent simultanément la génération et l'évaluation. Utiliser un LLM comme juge automatique sans valider sa capacité générative sur la même tâche peut conduire à des conclusions erronées sur ses capacités de raisonnement.
• Parallèle avec la Psycholinguistique : Les résultats confirment chez les LLMs une asymétrie similaire à celle observée chez les humains (la compréhension précède et dépasse souvent la production), suggérant que les mécanismes d'apprentissage des LLMs capturent des régularités statistiques qui facilitent la reconnaissance des motifs plus que leur construction active.

En conclusion, l'article démontre que la compétence pragmatique des LLMs n'est pas monolithique : un modèle peut être un excellent critique sans être un bon créateur, ce qui impose une prudence accrue dans l'interprétation des résultats des évaluations basées uniquement sur le jugement.