Same Input, Different Scores: A Multi Model Study on the Inconsistency of LLM Judge

Cette étude démontre que l'utilisation de modèles de langage comme juges automatisés entraîne une incohérence significative des scores attribués à des entrées identiques, variant selon le modèle, la température et le type d'évaluation, ce qui soulève des préoccupations majeures pour la fiabilité opérationnelle dans les environnements d'entreprise.

L'essentiel

🎭 Le Jugement des Robots : Quand l'IA joue à la loterie

Imaginez que vous avez engagé cinq super-juges (ce sont des intelligences artificielles très avancées) pour noter des réponses à des questions. Vous leur donnez exactement la même question et la même réponse, et vous leur demandez de donner une note sur une échelle de 0 à 10.

L'idée derrière cette étude, c'est de vérifier si ces juges sont fiables. Est-ce que le juge A donnera toujours la même note que le juge B ? Et si vous leur posez la même question deux fois de suite, vont-ils donner la même note ?

La réponse courte de l'auteure, Fiona Lau, est : Non, pas vraiment. C'est un peu comme si vous demandiez à un chef cuisinier de préparer le même plat deux fois, et qu'à chaque fois, le goût était légèrement différent, parfois même très différent.

Voici les trois grandes découvertes de l'étude, expliquées avec des analogies :

1. Le même plat, deux saveurs différentes (Incohérence interne)

Même si vous demandez à un seul robot de noter la même chose deux fois de suite, il ne donne pas toujours la même note.

• L'analogie : Imaginez un arbitre de football qui siffle un penalty. Si vous lui posez la même situation de jeu deux fois, il devrait siffler de la même manière. Mais ici, les robots sont comme des arbitres un peu distraits : parfois ils disent "C'est un penalty !", et la fois d'après, pour la même action, ils disent "Non, c'est un coup franc".
• Le problème : Même en réglant les robots sur le mode "le plus précis possible" (ce qu'on appelle température = 0), ils continuent d'avoir des variations. C'est comme si leur cerveau avait une petite part de hasard qui ne s'éteint jamais totalement.

2. Chaque juge a sa propre règle (Différences entre modèles)

L'étude a comparé cinq modèles différents (GPT-4, Gemini, Claude, etc.). Résultat : ils ne parlent pas le même langage.

• L'analogie : Imaginez trois critiques de cinéma.
  • Le premier (Gemini) est très gentil : il donne 9/10 à presque tous les films.
  • Le deuxième (Claude) est très sévère : il donne 4/10 au même film, car il trouve qu'il manque un détail.
  • Le troisième (GPT) est dans le milieu.
  • Si vous utilisez le critique "gentil" pour décider quel film sortir au cinéma, vous aurez une liste de super-films. Si vous utilisez le critique "sévère", vous aurez une liste vide. Le résultat dépend entièrement de quel juge vous choisissez.

3. Le bouton "Hasard" ne fonctionne pas toujours (L'effet de la température)

En informatique, il existe un bouton appelé "température". En théorie, si on le met à zéro, le robot devrait être 100% logique et prévisible. Si on le monte, il devient plus créatif et imprévisible.

• L'analogie : C'est comme essayer de calmer un enfant agité.
  • Pour certains robots (comme GPT et Gemini), mettre le bouton sur "0" fonctionne bien : ils se calment et deviennent prévisibles.
  • Pour d'autres (comme les modèles de la famille Claude), même avec le bouton sur "0", ils continuent de sauter partout. Ils restent imprévisibles, comme un chat qui ne veut pas rester assis.

🚨 Pourquoi est-ce grave pour les entreprises ?

L'article explique que les entreprises utilisent ces robots pour prendre des décisions importantes, comme :

• Décider si un email client doit être envoyé à un humain ou traité automatiquement.
• Vérifier si une réponse est correcte avant de l'afficher à un client.

Le danger : Si le robot donne une note de 10/10 à un email à 9h00, et de 2/10 à 10h00 pour le même email, le client recevra un traitement différent selon l'heure à laquelle il a écrit. C'est injuste et cela peut créer des problèmes juridiques ou de confiance.

💡 La leçon à retenir

L'étude nous dit : "Ne faites pas confiance aveuglément à un seul robot pour juger."

Si vous voulez construire un système fiable, vous ne pouvez pas juste regarder la note moyenne. Vous devez aussi regarder la stabilité.

• Un robot qui donne toujours 5/10 (même si c'est faux) est fiable car vous savez à quoi vous attendre.
• Un robot qui donne tantôt 10/10, tantôt 0/10 est dangereux, car vous ne savez jamais sur quel pied danser.

En résumé : Les intelligences artificielles sont de puissants outils, mais elles ne sont pas encore des juges parfaits. Elles ont des "humeurs" et des "caprices". Pour les utiliser en entreprise, il faut être très prudent, vérifier souvent leurs notes, et peut-être avoir un humain dans la boucle pour valider les décisions importantes.

Résumé technique

Voici un résumé technique détaillé de l'article « Same Input, Different Scores: A Multi Model Study on the Inconsistency of LLM Judge », rédigé en français.

1. Problématique

L'utilisation des grands modèles de langage (LLM) en tant qu'évaluateurs automatisés (« LLM-as-a-judge ») s'est généralisée dans les environnements de recherche et d'entreprise pour évaluer la qualité des réponses générées. Cependant, la littérature se concentre principalement sur la précision, les biais et l'alignement avec les préférences humaines, laissant un vide important concernant la cohérence des scores numériques attribués par ces modèles.

Le problème central identifié est l'instabilité intrinsèque des LLM : un même modèle, face à la même entrée (prompt) et dans des conditions supposées déterministes (température = 0), peut attribuer des scores différents lors de runs répétés. Cette non-déterminisme pose un risque critique pour les pipelines de production qui s'appuient sur ces scores pour des décisions automatisées (routage, tri, validation de qualité, logique de passage), car cela compromet la fiabilité, la reproductibilité et l'équité des systèmes.

2. Méthodologie

L'étude propose une évaluation systématique de la stabilité des scores sur un jeu de données réel provenant d'un système d'entreprise basé sur la Génération Augmentée par Récupération (RAG).

• Données : Des paires question-réponse issues d'un chatbot d'entreprise (non publiées pour des raisons de confidentialité), couvrant divers types de requêtes utilisateurs.
• Modèles évalués : Cinq modèles largement utilisés, représentant trois familles architecturales :
  • OpenAI : GPT-4o et GPT-4o-mini.
  • Google : Gemini-2.5-Flash.
  • Anthropic : Claude-Haiku-4.5 et Claude-Sonnet-4.5.
• Paramètres expérimentaux : Chaque modèle a été testé avec deux réglages de température : 0 (supposé déterministe) et 1 (stochastique).
• Critères d'évaluation : Trois métriques ont été notées sur une échelle de 0 à 1, accompagnées d'une justification textuelle :
  1. Pertinence (Relevance) : L'adresse directe à la question.
  2. Exactitude (Accuracy) : La véracité factuelle des informations.
  3. Exhaustivité (Completeness) : La couverture complète des informations nécessaires (critère clé pour évaluer la performance du composant de récupération RAG).
• Protocole : Chaque question a été soumise à chaque modèle/configuraton pour 10 runs répétés afin de mesurer la variance des scores.

3. Contributions Clés

Cette recherche comble un vide dans la littérature en se concentrant spécifiquement sur la stabilité des jugements basés sur des scores numériques (par opposition aux tâches de sélection ou de classement). Elle fournit :

• Une analyse empirique de la non-déterminisme des LLM dans un contexte d'évaluation quantitative.
• Une comparaison transversale entre différentes familles de modèles (OpenAI, Google, Anthropic).
• Une démonstration que le réglage de la température à zéro ne garantit pas un comportement déterministe dans la pratique.
• Des recommandations opérationnelles pour l'intégration sécurisée des LLM dans les flux de travail d'entreprise.

4. Résultats Principaux

A. Incohérence intra-modèle (RQ1)

• Instabilité générale : Tous les modèles montrent une variabilité significative dans les scores attribués à la même question, même avec temperature=0.
• Impact du critère : La métrique Exhaustivité (Completeness) présente la variabilité la plus élevée, bien plus que la Pertinence ou l'Exactitude.
• Effet de la température :
  • Réduire la température à 0 améliore la stabilité pour les modèles GPT et Gemini (la variance diminue, parfois jusqu'à zéro pour Gemini sur certains cas).
  • Les modèles Anthropic (Claude) montrent une réduction minimale, voire une augmentation de la variance pour certains critères (ex: Exhaustivité) à température 0 par rapport à température 1.

B. Incohérence inter-modèle (RQ2)

• Divergence systématique : Différents modèles attribuent des scores radicalement différents aux mêmes réponses.
• Interprétation divergente : Les modèles diffèrent non seulement par leur sévérité, mais aussi par leur interprétation des critères.
  • Exemple : Pour une question donnée, les modèles Claude ont noté une réponse proche de 0 (jugée hors sujet), tandis que GPT et Gemini l'ont notée hautement pertinente.
  • Exemple : Pour une question sur l'impossibilité de fournir un diagramme, Gemini a noté la réponse 1 (complète car justifiée), tandis que GPT-4 l'a notée 0,5 (incomplète car manquant de suggestions alternatives).

C. Impact de la température (RQ3)

• L'effet de la température n'est pas uniforme. Si elle réduit le bruit pour GPT et Gemini, elle ne résout pas le problème d'instabilité pour Anthropic.
• Il n'y a pas de corrélation claire entre le score moyen attribué par un modèle et sa variabilité : un modèle peut avoir un score moyen stable mais une variance élevée, rendant les décisions individuelles imprévisibles.

D. Problèmes de formatage

• Même lorsque les scores sont similaires, les modèles produisent parfois des formats de sortie non conformes au prompt, entraînant des erreurs de parsing dans les pipelines automatisés.

5. Signification et Implications

Les résultats de cette étude ont des implications majeures pour le déploiement industriel des LLM :

1. Risque Opérationnel : Dans les systèmes de triage ou de routage, une même requête utilisateur peut être traitée différemment selon le modèle utilisé ou le run aléatoire, créant des incohérences de service et des risques juridiques (équité, auditabilité).
2. Fiabilité vs Précision : Un modèle peut être « constamment faux » (reliabilité) ou « constamment imprévisible » (instabilité). Pour les entreprises, la stabilité (faible écart-type) est souvent plus critique que la justesse absolue, car elle permet de calibrer et de corriger le système.
3. Recommandations Stratégiques :
   • Ne pas se fier uniquement à la température = 0 pour garantir la détermination.
   • Implémenter des stratégies de parsing robustes (agents d'extraction dédiés) pour gérer les variations de format.
   • Adopter des approches hybrides (Humain + LLM) pour les décisions critiques.
   • Surveiller non seulement la performance moyenne des modèles, mais aussi leur écart-type et leur stabilité avant leur déploiement en production.

En conclusion, l'article met en garde contre l'utilisation aveugle des LLM comme juges automatisés sans mesure de leur variabilité, soulignant que la non-déterminisme est une propriété pratique et non théorique qui menace la fiabilité des systèmes d'IA en entreprise.