LLM Judges Have Dark Current: A Psychometric Datasheet for LLM-as-a-Judge Evaluation

Cet article introduit un protocole de « fiche technique du juge » qui traite les systèmes de type « LLM-en-tant-que-juge » comme des instruments de mesure plutôt que comme de simples dispositifs de notation, proposant un cadre psychométrique pour quantifier des biais spécifiques tels que le « courant d'obscurité » et la préférence de position afin de garantir une évaluation fiable avant de formuler des affirmations en aval.

L'essentiel

Imaginez que vous engagiez une équipe de critiques d'art pour juger un concours de peinture. Vous voulez savoir qui est le meilleur artiste, alors vous demandez à ces critiques de comparer deux peintures et de dire laquelle est la meilleure.

Cet article soutient que nous traitons ces « Critiques IA » (juges LLM) de manière trop simpliste. Nous leur demandons généralement : « Qui a gagné ? » et nous rapportons un chiffre unique, comme « 90 % de précision ». Les auteurs disent que c'est comme acheter un thermomètre sans vérifier s'il est cassé, s'il réagit au vent ou s'il donne une lecture de température même lorsqu'il n'y a pas de chaleur.

Voici le message central de l'article, décomposé avec des analogies simples :

1. Le problème du « Courant d'obscurité » (Le signal fantôme)

En physique, le « courant d'obscurité » est le phénomène par lequel un capteur électronique donne une lecture même lorsqu'aucune lumière ne le frappe.

• La conclusion de l'article : Les auteurs ont testé des juges IA en leur donnant deux réponses identiques (ou même des réponses vides). Un bon juge devrait dire : « Elles sont les mêmes, je ne peux pas choisir de vainqueur. »
• La réalité : Certains juges (comme le modèle Llama-3.1-8B) continuaient de désigner un vainqueur malgré tout, même lorsque les réponses étaient identiques. Ils « hallucinaient » une préférence là où il n'en existait aucune. C'est leur « courant d'obscurité ».

2. Le « Biais de position » (La préférence de siège)

Imaginez un juge qui choisit toujours la personne assise sur le siège de gauche, peu importe qui s'y trouve réellement.

• La conclusion de l'article : Les auteurs ont testé cela en inversant l'ordre des réponses. Si le juge choisit la « Réponse A » lorsqu'elle est en premier, mais qu'il choisit ensuite la « Réponse B » (qui est en fait la même que A) lorsqu'elle est en première position, cela signifie qu'ils ne jugent pas le contenu ; ils choisissent simplement un siège.
• La réalité : L'un des juges (Llama-3.1-8B) était presque entièrement dicté par cette « préférence de siège ». Il ne se souciait pas de la qualité ; il voulait simplement choisir la première option.

3. La « Fiche technique » (La carte d'identité des juges)

Tout comme vous n'achèteriez pas une voiture sans une fiche technique indiquant sa puissance, son efficacité énergétique et ses indices de sécurité, les auteurs affirment que nous ne devrions pas utiliser un juge IA sans une « Fiche technique du juge ».

Cette fiche technique mesure cinq éléments spécifiques :

• Courant d'obscurité : Invente-t-il des réponses lorsqu'il n'y a aucun signal ?
• Sensibilité stable : Détecte-t-il de manière cohérente les réelles différences de qualité ?
• Biais de position : Triche-t-il en choisissant la première option ?
• Sensibilité de la cible : Peut-il faire la distinction entre une « bonne » réponse et une « excellente » réponse ?
• Le bouton « Égalité » : À quel point est-il strict lorsqu'il déclare une égalité ?

4. Les trois juges (L'étude de cas)

Les auteurs ont testé trois modèles d'IA différents pour voir à quoi ressemblaient leurs « fiches techniques » :

• Juge A (Llama-3.1-8B) : Ce juge est défectueux. Il présente un « courant d'obscurité » élevé (il désigne des vainqueurs même lorsque les réponses sont identiques) et est presque entièrement piloté par un « biais de position » (il choisit la première place). Il est inutile pour comparer des réponses de qualité similaire, bien qu'il puisse être utile pour repérer des erreurs flagrantes.
• Jage B (Qwen2.5-14B) : Ce juge est mitigé. Il n'a pas de « courant d'obscurité » (il reste silencieux lorsqu'il n'y a pas de signal), et il est très bon pour repérer les grandes différences de qualité. Cependant, lorsque les réponses sont très similaires, il est confus : parfois il choisit en fonction de la qualité réelle, et parfois il choisit simplement en fonction de l'ordre de présentation.
• Juge C (Qwen2.5-32B) : C'est le juge le plus propre. Il n'a pas de « courant d'obscurité », pas de « biais de position », et il est très bon pour repérer les réelles différences de qualité. Cependant, il est un peu « conservateur » : il préfère déclarer une « égalité » plutôt que de deviner lorsque la différence est très infime.

5. L'expérience de la « Strict Égalité »

Les auteurs ont tenté une astuce : ils ont dit au « juge le plus propre » (Qwen2.5-32B) : « Soyez plus strict ! Ne choisissez un vainqueur que si vous en êtes sûr à 100 %. Sinon, déclarez une égalité. »

• Le résultat : Cela a réussi à empêcher le juge de créer des préférences artificielles lorsque les réponses étaient identiques.
• Le revers de la médaille : Cela a également fait en sorte que le juge rate certaines différences réelles mais très subtiles. Cela a transformé le « Je pense que celui-ci est légèrement meilleur » en « Je ne suis pas sûr, c'est une égalité ».
• La leçon : Vous pouvez modifier la « rigueur » (le critère) du juge en changeant les instructions, mais vous ne pouvez pas rendre le juge plus intelligent ou plus sensible par magie simplement en lui demandant gentiment.

L'essentiel

L'article ne prétend pas que l'un de ces juges est le « meilleur » pour toutes les tâches humaines, ni qu'il prouve une théorie spécifique sur le fonctionnement de l'IA.

Au lieu de cela, il affirme qu'avant de faire confiance à une IA pour juger d'autres IA, nous devons d'abord mesurer le juge lui-même. Nous devons savoir s'il possède un « courant d'obscurité », s'il est biaisé par la position et quel est son degré de rigueur. Sans cette « Fiche technique », tout score obtenu via un juge IA n'est qu'un chiffre sans contexte, pouvant masquer de graves défauts.

Résumé technique

Résumé technique : Les juges LLM ont un courant d'obscurité

Énoncé du problème

Le document traite d'une lacune critique dans l'infrastructure d'évaluation des modèles de langage de grande taille (LLM). Bien que les systèmes de type « LLM-as-a-Judge » (le LLM en tant que juge) soient devenus l'option par défaut pratique pour comparer les sorties de modèles ouverts en raison des problèmes de coût et de reproductibilité de l'annotation humaine, ces juges sont actuellement traités comme de simples dispositifs de notation. Ils sont généralement rapportés à l'aide de métriques scalaires telles que l'exactitude, le taux de victoire ou l'accord.

Les auteurs soutiennent qu'une fois qu'un juge est utilisé pour valider un autre système, il fonctionne comme un instrument de mesure. Comme tout instrument physique, il possède des propriétés intrinsèques qui doivent être caractérisées avant que ses lectures ne puissent être fiables. Plus précisément, les juges peuvent présenter :

• Courant d'obscurité (Dark Current) : Des préférences fausses générées en l'absence de tout signal d'évaluation (par exemple, sur des entrées vides ou identiques).
• Biais de position : Des préférences dictées par l'ordre de présentation plutôt que par le contenu.
• Sensibilité croisée : Une sensibilité aux variations de nuisance (forme de surface) plutôt qu'au construit cible.
• Dérive de critère (Criterion Drift) : Des variations du point de fonctionnement (égalité vs préférence) induites par le prompt.

Le document postule que le fait de ne rapporter que des résultats scalaires masque ces modes de défaillance distincts, ce qui peut conduire à des affirmations scientifiques en aval invalides.

Méthodologie : Le protocole de la fiche technique du juge (Judge Datasheet)

Pour remédier à cela, les auteurs introduisent un protocole de fiche technique du juge, un cadre métrologique conçu pour mesurer le juge lui-même avant qu'il ne soit utilisé pour mesurer d'autres modèles. Le protocole est fondé sur la psychophysique et la théorie de la détection du signal (SDT), utilisant une échelle de stimuli contrôlée de manière constructive.

Composants principaux

1. Entrées en vide réel (A0) : Le protocole teste le juge sur des entrées sans signal évaluatif, incluant des chaînes vides, des espaces blancs et des paires non vides identiques. Cela mesure le courant d'obscurité (DC), défini comme le taux de fausse préférence lorsqu'aucun signal n'existe.
2. Échelle de qualité contrôlée (A1) : Un stimulus de type liste de contrôle par chaîne de préfixes est construit où les réponses de plus haute qualité sont des supersets stricts de celles de moindre qualité. Cela crée une échelle de différence de qualité Pareto-dominante ($\Delta Q$) pour mesurer la Sensibilité Cible.
3. Décomposition de la stabilité de direction ($\Delta 0$) : Pour les paires de même qualité, le protocole évalue les deux ordres de présentation (A, B) et (B, A). Il décompose la fausse préférence brute en :
   • Sensibilité croisée stable (SCS) : Préférences stables au contenu qui persistent quel que soit l'ordre (indiquant une sensibilité à la forme de surface).
   • Fausse préférence positionnelle (PFP) : Préférences dictées par l'emplacement de présentation (ex: toujours choisir l'emplacement 1), qui inversent la direction canonique du contenu lors de l'inversion de l'ordre.
   • Engagement unilatéral (OSC) : Cas où une préférence est exprimée dans un seul ordre.
   • Absence de préférence : Égalités valides ou abstentions.
4. Sondage du décalage de critère : Le protocole teste comment le changement de prompt (par exemple, imposer un critère d'« égalité stricte ») déplace le point de fonctionnement sans altérer la résolution du stimulus sous-jacent.

Métriques

Le protocole rapporte des quantités spécifiques incluant le courant d'obscurité, la fausse préférence $\Delta 0$ brute, la sensibilité croisée stable, la fausse préférence positionnelle, la sensibilité cible ($P_{correct}$), le seuil de détection ($\Delta^*_{75}$) et les taux d'erreur par omission de choix (Miss-by-Tie).

Principales contributions

Le document présente cinq contributions spécifiques :

1. Protocole de fiche technique du juge : Un cadre de mesure standardisé combinant des tests en vide réel, des échelles de qualité contrôlées et un sondage de décalage de critère.
2. Décomposition de la stabilité de direction : Une méthode pour séparer la fausse préférence de même qualité en sensibilité croisée stable, biais positionnel et engagements unilatéraux, révélant qu'une haute fausse préférence n'implique pas nécessairement une sensibilité de contenu stable.
3. Échelle de stimuli contrôlée : Une conception de chaîne de préfixes par liste de contrôle avec dominance de Pareto et des contrôles spécifiques pour les variantes de sous-ensembles différents et de même sous-ensemble pour $\Delta 0$.
4. Étude de cas sur trois juges : Une évaluation empirique de Llama-3.1-8B, Qwen2.5-14B et Qwen2.5-32B, démontrant des profils métrologiques distincts.
5. Preuve de décalage de critère : Démonstration que le prompt déplace le critère d'égalité/préférence (réduisant les faux positifs) mais n'augmente pas la résolution de la mesure (ne peut détecter des signaux en dessous du plancher de bruit inhérent à l'instrument).

Résultats

L'étude de cas révèle que les trois juges occupent des profils métrologiques fondamentalement différents, qui seraient occultés par un rapport scalaire :

• Llama-3.1-8B : Présente un courant d'obscurité élevé (0,667) et une fausse préférence $\Delta 0$ brute de 1,0. Cependant, sa sensibilité croisée stable est négligeable (0,033), tandis que sa fausse préférence positionnelle est extrêmement élevée (0,967). Il est caractérisé comme « conflictuel de présentation », ce qui le rend inapproprié pour les comparaisons de même qualité, mais potentiellement utile pour le débogage de pipelines.
• Qwen2.5-14B : Présente un courant d'obscurité nul et une haute sensibilité cible. Cependant, sa fausse préférence $\Delta 0$ brute (0,992) est un mélange de sensibilité croisée stable (0,45) et de fausse préférence positionnelle (0,53). Il est étiqueté « mixte stable-positionnel ».
• Qwen2.5-32B : Démontre le profil le plus propre avec un courant d'obscurité nul, une sensibilité croisée stable nulle et une faible fausse préférence positionnelle (0,083). Il est décrit comme « propre au vide » (Vacuum-clean) avec peu d'artefacts.
• Décalage de critère : L'application d'un prompt d'égalité stricte à Qwen-32B a éliminé sa fausse préférence $\Delta 0$ (la réduisant à 0,0) mais a absorbé les signaux cibles marginaux $\Delta 1$ dans les égalités. Crucialement, la sensibilité $\Delta 5$ a été préservée, et aucune erreur de « mauvais choix » n'a été introduite. Cela confirme que le prompt déplace le critère, et non la résolution.

Revendications et importance

Les auteurs maintiennent une portée modeste concernant leurs revendications :

• Pas de validation en aval : Le document ne confirme pas l'« hypothèse du mécanisme en aval » (orientation dans l'évaluation des LLM) qui a motivé ce travail. Il ne valide pas le mécanisme d'orientation lui-même.
• Pas de tendances universelles : Les auteurs ne revendiquent pas une tendance universelle de taille ou de famille, ni que Qwen-32B soit un évaluateur polyvalent. Les résultats sont spécifiques à cette famille de stimuli contrôlés.
• La métrologie d'abord : La principale contribution est le protocole de fiche technique du juge lui-même. Le document soutient qu'avant toute affirmation scientifique en aval utilisant un juge LLM, l'instrument de mesure doit être caractérisé pour son courant d'obscurité, son biais et sa sensibilité.
• Insuffisance scalaire : Les résultats démontrent que les taux de victoire ou les scores d'accord scalaires sont insuffisants car ils regroupent des modes de défaillance distincts (ex: biais de position vs sensibilité croisée stable) en un seul nombre.

En résumé, ce document établit une base métrologique pour l'évaluation des LLM, affirmant que « les juges LLM sont des instruments de mesure » qui nécessitent une mesure multi-axes pour garantir la validité des preuves qu'ils produisent.