💬 NLP

Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks

Ce papier révèle que les juges basés sur des LLM présentent une incohérence intra-évaluateur significative entre différentes exécutions, ce qui compromet la fiabilité de leurs scores, et examine si de telles évaluations peuvent néanmoins être exploitées efficacement grâce à des directives spécifiques.

Auteurs originaux : Rajarshi Haldar, Julia Hockenmaier

Publié 2026-04-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rajarshi Haldar, Julia Hockenmaier

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Le Juge « Montagne-Russe »

Imaginez que vous engagez un critique gastronomique célèbre pour évaluer un nouveau restaurant. Vous lui demandez de goûter le même plat trois fois de suite, assis à la même table, avec la même serviette devant lui.

Goût 1 : Il lui donne une note de 5 étoiles, le qualifiant de « chef-d'œuvre ».
Goût 2 : Il lui donne une note de 2 étoiles, le qualifiant de « fade et trop cuit ».
Goût 3 : Il lui donne une note de 4 étoiles, disant qu'il est « correct mais qu'il a besoin de plus de sel ».

Si cela se produisait, vous ne feriez plus confiance à ce critique. Vous réaliseriez que son jugement est comme une roue de la fortune : elle tourne et atterrit sur un chiffre différent à chaque fois, même si la nourriture (l'entrée) n'a jamais changé.

C'est exactement ce que les chercheurs ont découvert lorsqu'ils ont demandé aux Grands Modèles de Langage (LLM) d'agir comme juges pour d'autres textes générés par l'IA. Ils ont découvert que ces juges IA souffrent de la « Roulette des Notes ».

Le Problème : Le Juge IA ne peut pas être d'accord avec lui-même

Dans le monde de l'IA, nous utilisons souvent une IA pour noter le travail d'une autre IA. Cela s'appelle « LLM-comme-Juge ». C'est populaire car c'est plus rapide et moins cher que d'engager des humains.

Cependant, les chercheurs ont mené un test simple :

Ils ont pris un texte (comme un résumé d'actualité ou une conversation de chat).
Ils ont demandé au même juge IA de le noter trois fois en utilisant les instructions exactes.
Ils ont vérifié si l'IA donnait la même note à chaque fois.

Le Résultat : Les juges IA étaient complètement incohérents.

Sur une tâche appelée SummaC (vérifier si un résumé est factuellement vrai), le meilleur juge IA n'était d'accord avec lui-même que dans environ 79 % des cas.
Sur une tâche appelée MT-Bench (classer des conversations de chatbots), l'accord a encore baissé. Un juge IA n'a donné exactement la même réponse trois fois de suite que pour seulement 61 % des cas.

C'est comme si l'humeur du juge changeait à chaque fois que vous posez une question, même si la question et la réponse n'ont pas changé.

Le « Tour de Magie » qui se retourne contre lui

Vous pourriez penser : « D'accord, disons simplement à l'IA d'arrêter d'être aléatoire. Désactivons la partie « lancer de dés » de son cerveau pour qu'elle donne toujours la même réponse. »

Les chercheurs ont essayé cela. Ils ont réglé l'IA pour qu'elle soit 100 % déterministe (sans aléatoire).

Est-elle devenue cohérente ? Oui.
Est-elle devenue un meilleur juge ? Non.

En fait, lorsqu'ils ont forcé l'IA à arrêter de lancer les dés, ses notes sont devenues pires par rapport aux juges humains. C'est comme forcer un chef à utiliser exactement la même recette à chaque fois ; il pourrait arrêter de faire des erreurs, mais il arrête aussi d'être créatif ou adaptable, et la nourriture finit par avoir un goût pire.

Le papier suggère qu'il existe un compromis : pour obtenir une bonne note qui correspond à l'opinion humaine, l'IA a besoin d'un peu de « hasard » (variabilité). Mais ce même hasard rend l'IA incohérente avec elle-même.

La Comparaison Humaine : Les Humains sont-ils meilleurs ?

Les chercheurs ont également examiné les juges humains pour voir si c'était un problème propre à l'IA.

Experts Humains : Lorsque des experts notaient le même texte, ils étaient raisonnablement d'accord entre eux, mais pas parfaitement.
Travailleurs de Foule : Lorsque des gens ordinaires (travailleurs de foule) notaient le texte, ils étaient souvent en désaccord les uns avec les autres et avec les experts.
La Surprise : Dans certains cas, les juges IA étaient en fait plus cohérents avec eux-mêmes que les humains ne l'étaient entre eux. Cependant, parce que les scores de l'IA étaient si volatils, il est difficile de dire si l'IA est réellement « juste » ou simplement « chanceuse ».

Pourquoi cela importe-t-il ? (L'analogie de la « Règle Cassée »)

Imaginez que vous essayez de mesurer la hauteur d'un arbre.

L'Ancienne Façon : Vous utilisez une règle légèrement tordue. Elle n'est pas parfaite, mais elle est stable.
La Nouvelle Façon (Juge LLM) : Vous utilisez une règle en caoutchouc. Parfois elle s'étire, parfois elle rétrécit. Même si vous mesurez le même arbre trois fois, vous obtenez trois chiffres différents.

Si vous utilisez une règle en caoutchouc, vous ne pouvez pas faire confiance à la mesure. Le papier soutient que l'utilisation d'un LLM comme juge est actuellement comme utiliser une règle en caoutchouc.

Si vous lancez le test une fois, vous obtenez un score.
Si vous le lancez à nouveau, vous obtenez un score différent.
Si vous le lancez une troisième fois, vous obtenez un troisième score.

Parce que le score change à chaque fois, nous ne savons pas si l'IA est réellement bonne pour juger de la qualité, ou si elle devine simplement.

Qu'ont-ils trouvé dans différentes tâches ?

Les chercheurs ont testé trois types différents de « jeux » que l'IA devait jouer :

Vrai ou Faux (SummaC) : Le résumé est-il factuellement correct ? (Choix binaire).
- Résultat : Les juges IA étaient incohérents, mais les modèles plus récents et plus grands étaient légèrement meilleurs.
L'Avis de 1 à 5 Étoiles (SummEval) : Notez le résumé sur la « Cohérence », la « Fluidité », etc.
- Résultat : L'IA était très incohérente, surtout sur la « Fluidité » (à quel point le texte sonne bien). Fait intéressant, l'IA était parfois meilleure pour juger la fluidité que les humains ne l'étaient pour s'accorder entre eux.
La Bataille Royale (MT-Bench) : Lequel des deux chatbots a donné la meilleure réponse ?
- Résultat : C'était la tâche la plus difficile. Les juges IA étaient extrêmement volatils ici, changeant souvent d'avis sur lequel des chatbots était meilleur.

La Conclusion : Comment Réparer la Roue de la Fortune

Le papier offre quelques conseils pratiques pour les personnes qui souhaitent utiliser des juges IA :

Ne faites pas confiance à une seule exécution : Si vous demandez à une IA de noter quelque chose, ne prenez pas simplement la première réponse. Demandez-lui de le noter trois fois et prenez la moyenne ou le vote majoritaire. Cela lisse l'effet « roulette » et donne un score plus proche de ce qu'un humain dirait.
Ne désactivez pas le hasard : Même si le hasard cause de l'incohérence, le désactiver complètement rend l'IA moins bonne pour correspondre aux opinions humaines. Vous avez besoin d'un peu de chaos pour obtenir la bonne réponse.
Vérifiez votre propre cohérence : Avant de faire confiance à un juge IA, vous devriez vérifier s'il est d'accord avec lui-même. S'il ne peut pas être d'accord avec lui-même, il ne pourra probablement pas être d'accord avec vous non plus.

Résumé

Le papier révèle que les juges IA sont actuellement peu fiables car ils donnent des réponses différentes à la même question à chaque fois qu'ils sont interrogés. Ils sont comme une roue de la fortune plutôt qu'une balance stable. Bien que les modèles d'IA plus récents soient légèrement plus cohérents, ils continuent de lutter pour être fiables. La meilleure solution pour l'instant est de demander à l'IA de jouer le jeu plusieurs fois et de moyenner les résultats, plutôt que de faire confiance à un seul « tour » de la roue.

1. Énoncé du problème

À mesure que la génération de langage naturel (NLG) devient omniprésente, l'évaluation des sorties des modèles a évolué des métriques traditionnelles (par exemple, BLEU, ROUGE) vers les cadres « LLM-as-a-Judge », où les grands modèles de langage (LLM) attribuent des scores ou des classements aux textes générés. Bien que ces cadres offrent une évolutivité et une meilleure adéquation aux préférences humaines que les métriques n-grammes, ils souffrent d'un défaut critique, souvent négligé : une faible fiabilité intra-évaluateur (fiabilité de soi-même).

Les auteurs identifient que les juges LLM présentent une auto-incohérence significative. Lorsque le même LLM est sollicité avec des entrées, des hyperparamètres et des paramètres identiques sur plusieurs exécutions, il produit fréquemment des notes différentes. Cette variance rend les jugements individuels potentiellement arbitraires et rend difficile la détermination de la véritable qualité des capacités d'évaluation du LLM. De plus, les études existantes s'appuient souvent sur des métriques telles que la corrélation ou la précision pour comparer les LLM aux humains, ce qui ne tient pas compte des accords dus au hasard, risquant ainsi de gonfler la fiabilité perçue.

2. Méthodologie

Les auteurs ont mené une étude empirique complète sur trois benchmarks NLG distincts pour quantifier la fiabilité de soi-même et son impact sur la performance d'évaluation.

Ensembles de données et tâches

SummaC : Une tâche de classification binaire (Cohérent vs Incohérent) pour la cohérence factuelle dans la synthèse.
SummEval : Une évaluation de synthèse multi-métrique utilisant une échelle de Likert de 1 à 5 sur quatre dimensions : Cohérence, Cohérence factuelle, Fluidité et Pertinence.
MT-Bench : Une tâche de classement de conversations multi-tours où un juge sélectionne la meilleure réponse entre deux modèles (Modèle A, Modèle B, ou Égalité).

Configuration expérimentale

Modèles : Trois LLM ont été utilisés comme juges : Llama-3.1-70B-Instruct, DeepSeek-R1-Distill-Qwen, et Qwen3-32B.
Procédure : Chaque juge a été exécuté trois fois sur le même ensemble de données avec des invites et des paramètres identiques pour mesurer la variance intra-évaluateur.
Métriques d'accord :
- Alpha de Krippendorff ( $\alpha$ ) : La métrique principale utilisée pour mesurer l'accord. Elle a été choisie plutôt que la précision ou la corrélation car elle corrige les accords dus au hasard et gère les données manquantes, les nombres variables d'évaluateurs et les différents types de données (nominales, ordinales, intervalles).
- Fonctions de distance : Distance nominale pour les tâches binaires (SummaC) ; distance ordinale pour les échelles de Likert et les classements (SummEval, MT-Bench).
- Précision équilibrée : Utilisée pour SummaC pour tenir compte du déséquilibre des classes.
Comparaisons : L'étude a comparé :
- Fiabilité de soi-même : Accord d'un LLM avec lui-même sur plusieurs exécutions.
- Fiabilité inter-évaluateur : Accord entre les LLM et les juges humains (Experts et travailleurs de foule/Turkers).
- Impact sur la performance : L'effet du « vote majoritaire » (agrégation de plusieurs exécutions) par rapport à « aucun échantillonnage » (réglage de la température à 0) sur l'accord avec les références humaines.

3. Contributions clés

Quantification de l'auto-incohérence : Le papier fournit la première quantification systématique de la faible fiabilité intra-évaluateur chez les juges LLM à travers diverses tâches (synthèse, vérification des faits et dialogue).
Le compromis Variance-Performance : Les auteurs démontrent une découverte contre-intuitive : désactiver l'échantillonnage (réglage de la température à 0) pour forcer des sorties déterministes réduit l'accord du LLM avec les jugements humains. Cela suggère que la nature stochastique inhérente des LLM, bien qu'elle cause une auto-incohérence, peut en réalité aider à explorer l'espace des solutions pour trouver des réponses plus proches du consensus humain.
Critique des métriques d'évaluation : L'étude souligne que les métriques standard comme la Précision et la Corrélation surestiment l'accord entre les LLM et les humains car elles ne corrigent pas les accords dus au hasard. L'Alpha de Krippendorff révèle des niveaux d'accord significativement plus faibles et plus réalistes.
Variabilité spécifique à la tâche : L'incohérence n'est pas uniforme ; elle varie considérablement selon la tâche (par exemple, plus faible dans MT-Bench que dans SummaC) et selon la métrique (par exemple, la « Fluidité » est notoirement difficile pour les LLM à évaluer de manière cohérente).

4. Résultats clés

Fiabilité de soi-même (Intra-évaluateur)

SummaC : L'Alpha de Krippendorff $\alpha$ variait de 0,32 (Llama 3.1) à 0,79 (Qwen 3). Même le meilleur modèle (Qwen 3) atteignait à peine le seuil de 0,8 pour un accord « bon ».
SummEval : La fiabilité de soi-même variait selon la métrique. Bien que la Cohérence et la Cohérence factuelle aient montré une fiabilité modérée, la Fluidité présentait une fiabilité très faible pour tous les modèles.
MT-Bench : La fiabilité de soi-même était la plus faible, avec des valeurs de $\alpha$ autour de 0,26–0,56. Qwen 3 était d'accord avec lui-même dans seulement 61,3 % des cas sur trois exécutions.
Conclusion : Les juges LLM sont hautement volatils, souvent plus que les juges humains.

Accord avec les humains

Biais des métriques : En utilisant la Précision, les LLM semblaient s'accorder avec les humains à des taux élevés (par exemple, 0,827 pour humains vs humains dans MT-Bench). Cependant, en utilisant l'Alpha de Krippendorff, l'accord humain-humain chutait à 0,478, et l'accord LLM-humain chutait encore davantage (par exemple, Qwen 3 vs Humains : 0,426).
Experts vs Foule : Les experts humains montraient un accord plus élevé entre eux que les travailleurs de foule. Les LLM montraient un accord modeste avec les experts mais divergeaient considérablement des travailleurs de foule, suggérant que les LLM peuvent mieux s'aligner sur le raisonnement des experts mais restent encore en deçà de la « référence absolue ».

Impact des stratégies d'échantillonnage

Vote majoritaire : L'agrégation des résultats de plusieurs exécutions (par exemple, prendre le vote majoritaire de 3 exécutions) améliorait l'accord avec les étiquettes humaines par rapport à une seule exécution.
Mode déterministe (Temp=0) : L'exécution du modèle sans échantillonnage (pour éliminer la variance) dégradait les performances. Par exemple, sur SummaC, la précision équilibrée de Qwen 3 passait de 80,6 % (Vote majoritaire) à 79,2 % (Aucun échantillonnage). Cela indique que forcer le déterminisme nuit à la capacité du modèle à s'aligner sur les préférences humaines.

5. Importance et recommandations

Importance :
Le papier remet en question le paradigme actuel de l'évaluation des LLM en « exécution unique ». Il révèle que la « référence absolue » du cadre LLM-as-a-Judge est instable. Si un LLM ne peut pas s'accorder avec lui-même, son utilité en tant qu'évaluateur fiable est compromise. Les résultats suggèrent que la nature stochastique des LLM n'est pas seulement un bug mais une fonctionnalité qui aide à atteindre un consensus aligné sur l'humain, et que son élimination est préjudiciable.

Recommandations pour les recherches futures :

Rapporter la fiabilité de soi-même : Les cadres d'évaluation doivent rapporter la fiabilité intra-évaluateur (par exemple, l'Alpha de Krippendorff) parallèlement à l'accord inter-évaluateur.
Utiliser des métriques corrigées du hasard : Éviter la Précision/Corrélation pour l'évaluation des juges ; utiliser l'Alpha de Krippendorff ou le Kappa de Cohen.
Aggréger plusieurs exécutions : Au lieu d'une seule inférence, utiliser le vote majoritaire ou l'agrégation de plusieurs exécutions pour stabiliser les scores et améliorer l'alignement avec le jugement humain.
Ne pas forcer le déterminisme : Éviter de régler la température à zéro pour résoudre les problèmes de cohérence, car cela dégrade les performances.
Mesurer la fiabilité de soi-même humaine : Les futurs benchmarks devraient inclure des annotations humaines répétées pour établir une limite supérieure réaliste pour la fiabilité de soi-même des LLM.

En conclusion, les auteurs soutiennent que si le cadre LLM-as-a-Judge est une alternative évolutive à l'évaluation humaine, son implémentation actuelle souffre d'un important « Roulette des notes » (aléatoire). Une évaluation robuste nécessite de reconnaître cette variance, d'utiliser des métriques statistiques appropriées et de tirer parti de multiples exécutions d'inférence plutôt que de s'appuyer sur des jugements en un seul coup.