💬 NLP

Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity

Cet article introduit le benchmark VOIR DIRE pour démontrer que les systèmes de type MLLM-as-a-Judge souffrent de défaillances distinctes de calibration et d'orientation lorsqu'ils évaluent un contenu culturellement ambigu, révélant que les biais des modèles envers des normes culturelles spécifiques persistent même après correction de la compression d'échelle et ne peuvent être pleinement résolus par le prompt de persona ou des démonstrations en contexte.

Auteurs originaux : Daniel Lee, Harsh Sharma, Eunkyu Park, Pranav Narayanan Venkit, Jeonghwan Kim, Kah Mun Chia, Andreas Vlachos, Shafiq Joty

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Lee, Harsh Sharma, Eunkyu Park, Pranav Narayanan Venkit, Jeonghwan Kim, Kah Mun Chia, Andreas Vlachos, Shafiq Joty

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un robot juge super intelligent pour noter des rédactions d'étudiants ou évaluer des photos. Habituellement, nous vérifions si ce robot est d'accord avec les enseignants humains pour voir s'il fait du bon travail. Mais cet article pose une question délicate : avec quels enseignants humains le robot est-il d'accord ?

Les auteurs, Daniel Lee et son équipe, ont conçu un test spécial appelé VOIR DIRE (nommé d'après le processus juridique de questionnement des jurés pour déceler les biais cachés). Ils voulaient voir si ces juges IA possèdent un « biais culturel » caché lorsqu'ils regardent des images, en comparant spécifiquement la façon dont ils perçoivent les choses à travers un prisme américain par rapport à un prisme chinois continental.

Voici l'histoire de ce qu'ils ont découvert, expliquée simplement :

1. La mise en place : Deux mondes différents

Les chercheurs ont créé 626 paires d'images. Chaque paire présentait le même « concept » (comme un repas de célébration, une tenue de mode ou un bâtiment) mais stylisé de deux manières différentes : l'une très américaine, l'autre très chinoise.

Ils ont demandé à deux groupes d'experts humains de noter ces images :

Groupe A : Experts américains.
Groupe B : Experts chinois.

Le rebondissement : Les experts étaient d'accord entre eux au sein de leurs propres groupes (ils étaient cohérents), mais ils divergeaient fortement entre eux sur les mêmes images.

Exemple : Une image d'un repas de magasin de proximité pourrait être jugée « de faible qualité » par des Américains, mais « fraîche et fiable » par des experts chinois. Les deux groupes ont « raison » selon leurs propres règles culturelles, mais les chiffres sont totalement différents.

2. Le problème : Le robot juge est « coincé »

Lorsque les juges IA ont examiné ces images, ils n'ont pas agi comme des arbitres neutres. Ils ont commis deux erreurs spécifiques :

Erreur A : Le « plancher de positivité » (L'élastique)

Imaginez une règle où les chiffres du bas (1 et 2) représentent quelque chose de « mauvais » ou de « faible qualité ».

La réalité humaine : Les Américains notent souvent certains articles culturels chinois comme étant « mauvais » (donnant des 1 ou des 2).
Le problème du robot : Les juges IA refusent d'utiliser le bas de la règle. Ils ne donnent presque jamais de 1 ou de 2. Ils restent bloqués à un « plancher » d'environ 3.
Le résultat : Parce que l'IA refuse de donner des scores bas, elle est accidentellement d'accord avec les experts chinois (qui ont noté ces articles plus haut) et en désaccord avec les experts américains (qui les ont notés bas). L'IA ne « choisit » pas la Chine ; elle est juste trop polie pour dire « c'est mauvais ».

Erreur B : Le « réglage par défaut » (La boussole)

Même lorsque les chercheurs ont essayé de corriger le problème de la « politesse » en disant à l'IA : « Fais comme si tu étais un Américain », l'IA n'a pas totalement changé de régime.

C'est comme dire à un GPS : « Conduis vers New York », mais la voiture continue de dériver légèrement vers Chicago parce que sa boussole interne est bloquée pointant vers le Nord.
L'IA possède une orientation culturelle par défaut. Même lorsqu'on lui demande d'être américaine, elle penche encore légèrement vers les normes culturelles chinoises lorsqu'elle juge des images chinoises. Ce « décalage » ne pouvait pas être corrigé simplement en changeant les instructions.

3. Les expériences : Essayer de corriger le biais

L'équipe a testé diverses astuces pour voir s'ils pouvaient faire de l'IA un juge plus équitable :

Changer le personnage (Persona) : Ils ont dit à l'IA : « Tu es un Américain typique » ou « Tu es une personne chinoise typique ».
- Résultat : Cela a aidé un peu, mais l'IA n'a pas totalement changé. Elle n'a pas réussi à apprendre à donner des notes basses à ce que les Américains n'aiment pas, même quand on lui demandait d'être américaine.
Montrer des exemples (Apprentissage en contexte) : Ils ont montré à l'IA des exemples de la façon dont les humains avaient noté des images similaires avant de lui demander de juger.
- Résultat : Cela a en fait rendu les choses pires. Au lieu d'apprendre à utiliser toute l'échelle (de 1 à 5), l'IA a simplement commencé à donner des scores encore plus élevés (des 4 et des 5). Elle n'a pas appris à être juste ; elle a juste appris à être plus enthousiaste.

4. La grande conclusion

L'article conclut qu'on ne peut pas se contenter de regarder un seul « score d'accord » pour savoir si un juge IA est bon.

L'ancienne méthode : « Cette IA est d'accord avec les humains 80 % du temps. » (Mais avec quels humains ? Les Américains ? Les Chinois ? Les deux ?)
La nouvelle méthode : Il faut rapporter deux scores : « À quel point est-elle d'accord avec les Américains ? » et « À quel point est-elle d'accord avec les Chinois ? »

Si une IA est d'accord avec les Américains mais en désaccord avec les Chinois (ou l'inverse), ce n'est pas une erreur dans les données — c'est une propriété de l'IA. Cela révèle quel « prisme culturel » l'IA porte.

L'essentiel

Les juges IA sont comme des jurés qui n'ont pas été totalement filtrés. Ils possèdent des biais culturels cachés qui les font « être d'accord » avec un groupe de personnes tout en étant silencieusement en désaccord avec un autre. L'article soutient que nous devons cesser de prétendre que ces juges sont neutres et commencer à mesurer précisément quelle culture ils représentent.

Métaphore clé :
Pensez à l'IA comme un thermomètre qui est bloqué à la « température ambiante ».

Si vous le mettez dans un congélateur (une culture qui note les choses bas), il ne descendra pas jusqu'au « gel ». Il restera à la « température ambiante ».
Si vous le mettez dans un four (une culture qui note les choses haut), il peut monter un peu, mais il ne deviendra pas aussi chaud qu'il le devrait.
L'article dit : « Ne dites pas simplement que le thermomètre est "précis" parce qu'il correspond au four. Dites-nous qu'il est cassé parce qu'il refuse de mesurer le froid. »

Résumé technique : Jury Duty : Échecs de calibration et d'orientation des MLLM-en-tant-que-Juge sous ambiguïté culturelle

Énoncé du problème

Les paradigmes « LLM-as-a-Judge » (LLM en tant que juge) et « MLLM-as-a-Judge » (MLLM en tant que juge) sont de plus en plus utilisés pour évaluer des tâches de génération ouverte où les métriques basées sur des références sont insuffisantes. Ces systèmes sont conventionnellement validés en mesurant leur accord avec les annotations humaines. Cependant, cette approche de validation contient une faille critique : elle ne précise pas les jugements auxquels le modèle s'aligne. Dans les domaines sensibles aux préférences (ex. : plausibilité, adéquation, désirabilité), les jugements humains ne sont pas monolithiques mais sont culturellement situés. Lorsqu'un modèle juge est évalué par rapport à un ensemble humain culturellement hétérogène, le score d'« accord » résultant se conditionne silencieusement sur la composition culturelle spécifique de ce groupe.

Des travaux antérieurs ont documenté des biais culturels dans la génération de modèles (ex. : représentation erronée dans les systèmes de texte-vers-image), mais moins d'attention a été portée à la manière dont les biais culturels façonnent l'évaluation des modèles. Cela est structurellement conséquent car les sorties des juges servent souvent de signaux d'entraînement pour l'apprentissage par renforcement à partir de rétroactions d'IA (RLAIF) ou de vérité de terrain pour les classements (leaderboards). Si un juge possède un penchant culturel non signalé, il propage ce biais dans les futurs cycles d'entraînement et les métriques d'évaluation.

Méthodologie : Le benchmark VOIR DIRE

Pour étudier cela, les auteurs introduisent VOIR DIRE, un benchmark multimodal conçu pour quantifier la divergence entre l'alignement du MLLM-en-tant-que-juge et des groupes de référence humains culturellement distincts sous une ambiguïté sensible aux préférences.

Construction du benchmark

Composition du jeu de données : VOIR DIRE se compose de 626 éléments image-prompt culturellement appariés. Chaque élément associe un concept aligné sur les normes américaines à un concept aligné sur les normes de Chine continentale partageant le même référent (ex. : un repas de célébration dans les deux contextes).
Catégories : Les éléments couvrent trois catégories : Alimentation et Boissons, Mode et Caractéristiques Humaines, et Architecture et Symboles.
Source des images : Les images ont été générées avec Gemini 3 Pro Image avec des paramètres identiques (rapport d'aspect, éclairage, composition) pour garantir que les différences visuelles soient strictement des indices culturels plutôt que des variances esthétiques ou compositionnelles. Un sous-ensemble de 30 paires de photos naturalistes a également été créé pour vérifier que les résultats ne sont pas des artefacts d'imagerie synthétique.
Conception des prompts : Les prompts ont été rédigés par des annotateurs experts biculturels pour susciter des jugements évaluatifs (et non des recherches factuelles) qui sont plausiblement contestables à travers les cultures.
Annotation humaine : Dix annotateurs biculturels (cinq Américains, cinq de Chine continentale) ont évalué les éléments selon quatre dimensions :
1. Q1 (Réponse évaluative) : Une échelle ordinale en 5 points évaluant l'image par rapport au prompt.
2. Q2 (Alignement culturel) : Évaluation de l'élément sur une échelle de 5 points allant du chinois à l'américain.
3. Q3 (Subjectivité) : Évaluation de la subjectivité du prompt.
4. Q4 (Reconnaissabilité transculturelle) : Évaluation de la probabilité qu'une personne de l'autre culture comprenne le raisonnement.

Configuration expérimentale

Les auteurs ont évalué six MLLM (trois d'origine américaine : Claude Opus 4.7, GPT-5.5, Llama 4 Scout ; trois d'origine chinoise : GLM-5, Kimi K2.6, Qwen-3-VL-Flash) sous dix conditions de prompt :

Deux conditions neutres (anglais et chinois simplifié).
Huit conditions de persona croisant le détail du persona (basique vs avancé), la culture du persona (américaine vs chinoise) et la langue du prompt.

De plus, quatre conditions d'apprentissage en contexte (ICL) ont été testées, variant la source des exemples de démonstration (annotateurs américains vs chinois) et la source des images de démonstration (américaines vs chinoises).

Validation de l'ambiguïté culturelle

Le benchmark valide que les éléments sont fiables au sein d'un même groupe (Krippendorff's $\alpha$ = 0,86 pour les USA, 0,74 pour la Chine) mais divergents entre les groupes (Pearson $r$ = -0,12 entre le consensus américain et le consensus chinois sur Q1). Crucialement, le désaccord porte sur l'évaluation (Q1), et non sur la reconnaissance (Q2), confirmant que les groupes s'accordent sur le contenu mais divergent sur sa valeur normative.

Résultats clés

1. Échec de calibration du plancher de positivité

Les modèles présentent un « plancher de positivité », produisant rarement des notes de 1 ou 2 (seulement 6 à 16 % des cellules). Sur les éléments où le consensus américain est faible (≤ 2), les modèles échouent à attribuer des notes basses, se regroupant plutôt autour d'un plancher d'environ 3.

Mécanisme : Ce plancher valide mécaniquement la lecture culturelle la plus permissive. Dans ce corpus, le groupe chinois est plus permissif sur les éléments contestés ; ainsi, l'incapacité du modèle à utiliser l'extrémité basse de l'échelle entraîne un alignement systématique avec le consensus chinois sur l'imagerie chinoise.
Asymétrie : Le biais est localisé. Sur l'imagerie américaine, les modèles montrent un léger penchant américain. Sur l'imagerie chinoise, le biais s'inverse et s'accentue, montrant un fort penchant vers l'humain chinois.

2. Échec d'orientation (Le résidu)

Même lorsque la calibration est partiellement récupérée (ex. : via un prompting de persona), un résidu d'orientation culturelle persiste.

Prompts de persona : Bien que les prompts de persona (ex. : « Vous êtes un Américain ») déplacent l'inclinaison du juge dans la direction attendue, ils ne corrigent pas totalement l'échec de calibration. Sur l'imagerie chinoise, cinq des six modèles restent en dessous du point médian de l'axe culturel, même sous des conditions de persona américain.
Démonstrations ICL : Les démonstrations de groupes de référence ne restaurent pas la calibration. Au lieu de cela, elles élargissent la fenêtre de notation vers le haut (augmentant les 5) sans restaurer l'utilisation de l'extrémité basse (1 et 2). De plus, l'ICL approfondit le résidu d'orientation plutôt que de le corriger ; ajouter des démonstrations rend le juge plus aligné avec la norme culturelle du groupe de démonstration, échangeant l'alignement avec un groupe contre un désalignement avec l'autre.

3. L'origine du modèle comme covariable

L'origine du modèle (USA vs Chine) ajoute un léger penchant additif ( $\sim$ 0,10 MAE) qui est approximativement invariant sous démonstration.

Pas une pure compétence : Une hypothèse de « compétence » (les modèles d'origine chinoise connaîtraient simplement mieux la culture chinoise) prédirait une symétrie (les modèles CN s'aligneraient sur les humains CN, les modèles US sur les humains US). Les données ne montrent pas une telle symétrie : tous les six systèmes penchent vers les humains chinois sur l'imagerie chinoise, quelle que soit leur origine.
Hiérarchie d'influence : La variance du comportement du juge est dominée par l'élément ( $R^2$ = 0,57), suivi de la configuration du persona, l'origine du modèle contribuant le moins.

Contributions et Signification

L'article apporte trois contributions principales :

Benchmark VOIR DIRE : Un benchmark multimodal de 626 éléments culturellement appariés qui établit l'ambiguïté culturelle comme une propriété des éléments, validée par la fiabilité intra-groupe et la divergence inter-groupes.
Décomposition du biais : L'identification de deux modes de défaillance distincts dans le MLLM-en-tant-que-juge :
- Échec de calibration : L'incapacité à produire des notes basses (plancher de positivité).
- Échec d'orientation : Le défaut vers une norme culturelle spécifique qui persiste même après des tentatives de calibration.
Recommandations méthodologiques :
- R1 (Signalement multi-groupes) : L'alignement doit être rapporté séparément par rapport à chaque groupe de référence. Un score unique d'« accord avec les humains » est une erreur de catégorie dans des contextes culturellement hétérogènes. La divergence inter-groupes doit être traitée comme une propriété du modèle juge, et non comme du bruit.
- R2 (Origine comme covariable) : L'origine du modèle doit être signalée aux côtés de l'identité du modèle dans les évaluations, car elle introduit un penchant culturel systématique, bien que faible.

Conclusion

L'étude conclut que les systèmes actuels de MLLM-en-tant-que-juge échouent à capturer le plein spectre des préférences humaines sous l'ambiguïté culturelle en raison d'un échec de calibration par plancher de positivité et d'un échec d'orientation persistant. Ni le prompting de persona ni les démonstrations en contexte ne peuvent pleinement résoudre ces problèmes ; en fait, les démonstrations exacerbent souvent le résidu d'orientation. Les auteurs soutiennent que les cadres d'évaluation doivent passer de la recherche d'un score d'alignement « optimal » unique à un profil d'alignement à travers plusieurs groupes de référence culturels, traitant la divergence comme une caractéristique fondamentale du modèle juge.