💻 computer science

JudgeSense: A Benchmark for Prompt Sensitivity in LLM-as-a-Judge Systems

Ce papier introduit **JudgeSense**, un nouveau benchmark conçu pour mesurer la sensibilité des grands modèles de langage lorsqu'ils agissent comme juges, révélant que leur stabilité décisionnelle varie selon la tâche et est souvent compromise par des biais de position ou des artefacts de formulation.

Auteurs originaux : Rohith Reddy Bellibatlu

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Rohith Reddy Bellibatlu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le Juge qui change d'avis selon la météo

Imaginez que vous passiez un examen de cuisine. Le jury est composé de robots (les modèles d'IA comme GPT-4 ou Claude).

Le premier jour, le juge vous demande : "Est-ce que ce plat est bien salé ?". Vous répondez, et il vous donne un 15/20. Le lendemain, le même juge, avec le même plat, vous pose la même question mais avec une tournure légèrement différente : "Sur une échelle de 1 à 5, comment évaluez-vous le sel dans ce plat ?". Et là, le robot vous met un 8/20.

C'est absurde, non ? Le plat n'a pas changé, le juge non plus. C'est juste la façon de poser la question qui a fait basculer la note.

Dans le monde de l'intelligence artificielle, on utilise de plus en plus de "modèles IA" pour noter d'autres "modèles IA". C'est ce qu'on appelle le "LLM-as-a-Judge" (l'IA comme juge). Le problème, c'est que ces juges sont extrêmement sensibles à la manière dont on leur parle. Si on change un mot dans la consigne, leur verdict change. Et si un juge change d'avis tout le temps, on ne peut plus lui faire confiance pour mesurer la qualité de quoi que ce soit.

La Solution : Le score "JudgeSense"

Les chercheurs ont créé un outil appelé JudgeSense. Leur idée est simple : ils ont préparé des centaines de paires de questions qui veulent dire exactement la même chose, mais qui sont écrites différemment.

Ensuite, ils ont passé ces questions au robot et ils ont calculé le JSS (Judge Sensitivity Score).

JSS = 1 : Le juge est un roc. Peu importe comment vous posez la question, il donne la même réponse.
JSS proche de 0 : Le juge est une feuille au vent. Il change d'avis à la moindre nuance de langage.

Ce qu'ils ont découvert (Les surprises)

L'étude a testé les "stars" de l'IA (GPT-4, Claude, Gemini, etc.) et les résultats sont fascinants :

Le test de la "Cohérence" est le vrai juge de paix : C'est là que les différences sont les plus flagrantes. Certains juges sont incroyablement stables (comme Claude Sonnet), tandis que d'autres sont totalement imprévisibles (comme Gemini Flash). C'est comme comparer un arbitre de football professionnel à un enfant qui décide des règles selon son humeur.
La taille ne fait pas tout : On pourrait croire que plus une IA est "grosse" et puissante, plus elle est stable. Faux ! Les chercheurs ont trouvé que des modèles moins imposants pouvaient être de meilleurs juges que des géants technologiques. La puissance brute ne garantit pas la discipline intellectuelle.
Le piège de la "Polarité" (L'effet miroir) : Ils ont remarqué que si vous demandez "Est-ce que c'est vrai ?" et qu'une autre question demande "Est-ce qu'il y a des erreurs ?", les IA s'emmêlent les pinceaux. C'est comme si vous demandiez à quelqu'un "Est-ce qu'il fait beau ?" et qu'ensuite vous demandiez "Est-ce qu'il pleut ?" : le robot oublie qu'il doit inverser sa réponse et finit par répondre n'importe quoi.
Le syndrome du "Toujours la réponse A" : Pour certaines tâches de comparaison, la plupart des IA sont devenues "paresseuses". Elles choisissent systématiquement la première option proposée, peu importe la qualité. C'est comme un juge qui donnerait toujours la médaille d'or au premier candidat qui passe devant lui, sans même regarder sa performance.

En résumé : Le conseil pour l'avenir

Si vous voulez utiliser une IA pour évaluer un travail, ne choisissez pas la plus "intelligente" ou la plus "grosse". Choisissez celle qui a le meilleur score de stabilité (JSS).

L'enseignement de l'étude est clair : Un bon juge ne doit pas seulement avoir raison, il doit surtout être constant. Sinon, ce n'est pas un outil de mesure, c'est juste un générateur de bruit.

Résumé Technique : JudgeSense

Problématique

L'utilisation de grands modèles de langage (LLM) comme "juges automatiques" pour évaluer d'autres modèles est devenue une pratique standard. Cependant, une hypothèse fondamentale de cette méthode est que le modèle de jugement est stable : une légère reformulation (paraphrase) d'une instruction ne devrait pas modifier le verdict.

L'article identifie un manque critique dans la littérature : l'absence de mesure de la sensibilité aux prompts spécifiquement pour les tâches de jugement. Si un juge change de décision simplement parce que la question est posée différemment, il devient une source de bruit plutôt qu'un outil de mesure fiable, ce qui compromet la reproductibilité des évaluations de modèles.

Méthodologie

1. Le Score JSS (Judge Sensitivity Score)

Les auteurs introduisent une nouvelle métrique, le JSS, définie comme la fraction de paires de paraphrases sur lesquelles un juge retourne une décision identique :
$JSS(j, t) = \frac{1}{|P|} \sum_{i=1}^{|P|} \delta(j(p_i), j(p'_i))$
Où $j$ est le juge, $t$ la tâche, et $P$ l'ensemble des paires de paraphrases sémantiquement équivalentes. Un score de 1,0 indique une stabilité parfaite.

2. Construction du Benchmark

Le benchmark repose sur 494 paires de paraphrases validées par un classificateur indépendant (GPT-4o-mini), couvrant quatre dimensions d'évaluation :

Factuality (Factualité) : Basé sur TruthfulQA.
Coherence (Cohérence) : Basé sur SummEval (échelle de Likert 1-5).
Relevance (Pertinence) : Basé sur BEIR (choix entre deux passages).
Preference (Préférence) : Basé sur MT-Bench (choix entre deux réponses).

3. Protocole Expérimental

L'étude évalue neuf modèles de juges (mélange de modèles commerciaux comme GPT-4o, Claude 3.5 et Gemini 2.5, et de modèles open-source comme Llama 3.1, Qwen 2.5 et DeepSeek-R1) en utilisant un décodage glouton (greedy decoding) pour minimiser la variance stochastique.

Contributions Clés

Un cadre formel : L'introduction du JSS comme standard de rapport pour la stabilité des juges.
Un dataset de référence : La publication d'un ensemble de données de paraphrases validées.
Une étude empirique exhaustive : Une analyse systématique de la sensibilité de neuf modèles leaders du marché.
Recommandations pratiques : Des directives concrètes sur le choix des modèles en fonction de la tâche.

Résultats Principaux

La Cohérence est la tâche discriminante : C'est la seule dimension où les juges montrent des différences significatives de stabilité. Les scores JSS varient de 0,389 (Gemini 2.5 Flash) à 0,992 (Claude 3.5 Sonnet).
L'illusion d'instabilité de la Factualité : Tous les juges affichent un JSS d'environ 0,63. Cependant, l'étude démontre que cette instabilité est due à un artefact de conception : l'utilisation de templates qui inversent la polarité des réponses (ex: "Répondez NON pour dire que c'est correct"). Une fois corrigé, le JSS de la factualité grimpe à > 0,9.
Comportement dégénéré sur les tâches binaires : Pour la Préférence et la Pertinence, 8 juges sur 9 affichent un JSS de 1,0, mais cela est dû à un biais de position (le modèle choisit systématiquement l'option "A"), rendant le score de sensibilité non informatif.
Échec de la corrélation avec la taille du modèle : La taille (nombre de paramètres) ne prédit pas la stabilité. Un modèle de pointe peut être moins stable qu'un modèle de taille moyenne en termes de cohérence.
Kappa négatif : Certains modèles (Gemini et Mistral) présentent un coefficient de Cohen $\kappa$ négatif sur la cohérence, ce qui signifie que leurs décisions sous deux prompts différents sont anti-corrélées (ils sont systématiquement contradictoires).

Signification et Implications

L'étude conclut que le choix d'un juge ne doit pas se faire sur la base de sa taille ou de sa réputation, mais sur sa mesure directe de stabilité (JSS).

Recommandations pour les praticiens :

Pour la cohérence : Privilégier Claude 3.5 Sonnet ou GPT-4o. Éviter Gemini 2.5 Flash.
Pour la factualité : Faire attention à la formulation des instructions pour éviter l'inversion de polarité.
Pour les comparaisons par paires : Il est impératif de randomiser l'ordre des options (A/B) pour contrer le biais de position qui masque la véritable sensibilité au prompt.

En somme, JudgeSense démontre que la formulation du prompt est souvent un facteur de confusion plus important que l'architecture même du modèle lorsqu'il est utilisé comme évaluateur.