Technische Samenvatting: Jury Duty: Kalibratie- en Oriëntatiefouten in MLLM-als-opperrechter onder Culturele Ambiguïteit

Probleemstelling

De paradigma's van "LLM-als-opperrechter" en "MLLM-als-opperrechter" worden steeds vaker gebruikt om open eind generatietaken te evalueren waarbij referentiegebaseerde metrieken ontoereikend zijn. Deze systemen worden conventioneel gevalideerd door hun overeenstemming met menselijke annotaties te meten. Deze validatiebenadering bevat echter een kritieke fout: het specificeert niet wiens oordelen het model benadert. In voorkeurgevoelige domeinen (bijv. plausibiliteit, geschiktheid, wenselijkheid) zijn menselijke oordelen niet monolithisch, maar zijn ze cultureel gesitueerd. Wanneer een rechtermodel wordt geëvalueerd tegen een cultureel heterogene pool, is de resulterende "overeenstemming"-score stilzwijgend afhankelijk van de specifie uiteenlopende culturele compositie van die pool.

Eerder werk heeft culturele vooroordelen in modelgeneratie gedocumenteerd (bijv. misrepresentatie in tekst-naar-beeld systemen), maar er is minder aandacht besteed aan hoe culturele vooroordelen de modelevaluatie vormgeven. Dit is structureel consequent omdat rechteroutputs vaak dienen als trainingssignalen voor Reinforcement Learning from AI Feedback (RLAIF) of als grondwaarheid voor leaderboards. Als een rechtermodel een ongerapporteerde culturele neiging heeft, propageert dit die bias in toekomstige trainingscycli en evaluatiemetrieken.

Methodologie: De VOIR DIRE Benchmark

Om dit te onderzoeken, introduceren de auteurs VOIR DIRE, een multimodale benchmark die ontworpen is om de divergentie tussen MLLM-als-opperrechter alignment en cultureel onderscheidende menselijke referentiepools onder voorkeurgevoelige ambiguïteit te kwantificeren.

Constructie van de Benchmark

• Dataset Compositie: VOIR DIRE bestaat uit 626 cultureel gepaarde beeld-prompt items. Elk item koppelt een op de VS gerichte concept aan een op het vasteland van China gericht concept dat dezelfde referent deelt (bijv. een feestelijke maaltijd in beide contexten).
• Categorieën: De items beslaan drie categorieën: Voedsel en Drank, Mode en Menselijke Kenmerken, en Architectuur en Symbolen.
• Beeldbron: Afbeeldingen zijn gegenereerd met Gemini 3 Pro Image met gematchte parameters (aspect ratio, belichting, compositie) om ervoor te zorgen dat visuele verschillen strikt culturele cues zijn en geen esthetische of compositorische varianten. Een subset van 30 naturalistische foto-paren werd ook gemaakt om te verifiëren dat de bevindingen geen artefacten zijn van synthetische beeldvorming.
• Prompt Design: Prompts werden geschreven door biculturele deskundige annotatoren om evaluatieve oordelen op te roepen (geen feitelijke opzoekopdrachten) die over culturen heen plausibel betwistbaar zijn.
• Menselijke Annotatie: Tien bicultureel vloeiende annotatoren (vijf uit de VS, vijf uit het vasteland van China) beoordeelden items op vier dimensies:
  1. Q1 (Evaluatieve Respons): Een 5-punts ordinale schaal die de afbeelding beoordeelt tegenover de prompt.
  2. Q2 (Culturele Alignment): Het item beoordelen op een 5-punts schaal van Chinees naar Amerikaans.
  3. Q3 (Subjectiviteit): De subjectiviteit van de prompt beoordelen.
  4. Q4 (Cross-culturele Herkenbaarheid): Hoe waarschijnlijk het is dat iemand uit de andere cultuur de rationale zou begrijpen.

Experimentele Opstelling

De auteurs evalueerden zes MLLMs (drie van Amerikaanse oorsprong: Claude Opus 4.7, GPT-5.5, Llama 4 Scout; drie van Chinese oorsprong: GLM-5, Kimi K2.6, Qwen-3-VL-Flash) onder tien promptcondities:

• Twee neutrale condities (Engels en Vereenvoudigd Chinees).
• Acht persona-condities waarbij de details van de persona (basis versus geavanceerd), de cultuur van de persona (Amerikaans versus Chinees) en de taal van de prompt werden gekruist.

Daarnaast werden vier In-Context Learning (ICL) condities getest, waarbij de bron van demonstratievoorbeelden (Amerikaanse versus Chinese annotatoren) en de bron van demonstratiebeelden (Amerikaanse versus Chinese beelden) varieerden.

Validatie van Culturele Ambiguïteit

De benchmark valideert dat items binnen-pool betrouwbaar zijn (Krippendorff's $\alpha$ = 0,86 voor de VS, 0,74 voor China) maar cross-pool divergent zijn (Pearson $r$ = -0,12 tussen de consensus van de VS en China op Q1). Cruciaal is dat de onenigheid gaat over de evaluatie (Q1), niet over de herkenning (Q2), wat bevestigt dat de pools het eens zijn over de inhoud, maar van mening verschillen over de normatieve waarde.

Belangrijkste Resultaten

1. Positiviteitsvloer Kalibratiefout

Modellen vertonen een "positiviteitsvloer", waarbij ze zelden ratings van 1 of 2 produceren (slechts 6–16% van de cellen). Op items waar de Amerikaanse consensus laag is (≤2), falen modellen om lage ratings toe te kennen, en clusteren ze in plaats daarvan rond een vloer van ~3.

• Mechanisme: Deze vloer valideert mechanisch de meer permissieve culturele lezing. In deze corpus is de Chinese pool meer permissief op betwiste items; aangezien het model niet in staat is om het lagere uiteinde van de schaal te gebruiken, resulteert dit in een systematische alignment met de Chinese consensus op Chinese beeldmateriaal.
• Asymmetrie: De bias is gelokaliseerd. Op Amerikaans beeldmateriaal vertonen modellen een lichte Amerikaanse neiging. Op Chinees beeldmateriaal keert de bias om en wordt deze breder, met een sterke neiging naar Chinese mensen.

2. Oriëntatiefout (De Residue)

Zelfs wanneer kalibratie gedeeltelijk wordt hersteld (bijv. via persona prompting), blijft er een culturele oriëntatieresidue bestaan.

• Persona Prompts: Hoewel persona-prompts (bijv. "Je bent een Amerikaan") de helling van de rechter in de verwachte richting verschuiven, corrigeren ze de kalibratiefout niet volledig. Op Chinees beeldmateriaal blijven vijf van de zes modellen onder het middelpunt van de culturele as, zelfs onder Amerikaanse persona-condities.
• ICL Demonstraties: Referentie-pool demonstraties herstellen de kalibratie niet. In plaats daarvan verbreden ze het ratingvenster naar boven (meer 5-en) zonder het gebruik van het lage uiteinde (1'en en 2'en) te herstellen. Bovendien verdiept ICL de oriëntatieresidue in plaats van deze te corrigeren; het toevoegen van demonstraties maakt de rechter meer in lijn met de culturele norm van de demonstratiepool, waarbij alignment met de ene pool wordt geruild voor misalignment met de andere.

3. Modeloorsprong als Covariaat

Modeloorsprong (VS versus China) voegt een kleine, additieve helling toe ($\sim$0,10 MAE) die ongeveer invariant is onder demonstratie.

• Geen Pure Competentie: Een "competentie"-hypothese (dat Chinese-oorsprong modellen simpelweg de Chinese cultuur beter kennen) zou symmetrie voorspellen (CN-modellen lijnen uit met CN-mensen, US-modellen met US-mensen). De data tonen dergelijke symmetrie niet: alle zes systemen neigen naar Chinese mensen op Chinees beeldmateriaal, ongeacht de oorsprong.
• Hiërarchie van Invloed: De variantie in de gedrag van de rechter wordt gedomineerd door het item ($R^2$ = 0,57), gevolgd door de persona-configuratie, waarbij de modeloorsprong de kleinste bijdrage levert.

Bijdragen en Betekenis

Het artikel levert drie primaire bijdragen:

1. VOIR DIRE Benchmark: Een multimodale benchmark van 626 cultureel gepaarde items die culturele ambiguïteit als een eigenschap van de items vaststelt, gevalideerd door binnen-pool betrouwbaarheid en cross-pool divergentie.
2. Decompositie van Bias: De identificatie van twee verschillende faalmodi in MLLM-als-opperrechter:
   • Kalibratiefout: Het onvermogen om lage ratings te produceren (positiviteitsvloer).
   • Oriëntatiefout: Het standaard afwijken naar een specifieke culturele norm, wat persisteert zelfs na kalibratiepogingen.
3. Methodologische Aanbevelingen:
   • R1 (Multi-pool Rapportage): Alignment moet apart tegen elke referentiepool worden gerapporteerd. Een enkele "overeenstemming met mensen"-score is een categoriefout in cultureel heterogene omgevingen. Cross-pool divergentie moet worden behandeld als een eigenschap van de rechter, niet als ruis.
   • R2 (Oorsprong als Covariaat): Modeloorsprong moet naast de modelidentiteit worden gerapporteerd in evaluaties, aangezien het een systematische, zij het kleine, culturele helling introduceert.

Conclusie

De studie concludeert dat huidige MLLM-als-opperrechter systemen er niet in slagen de volledige breedte van menselijke voorkeuren onder culturele ambiguïteit te vatten vanwege een positiviteitsvloer-kalibratiefout en een persistente oriëntatiefout. Noch persona prompting, noch in-context demonstraties kunnen deze problemen volledig oplossen; in feite verergeren demonstraties vaak de oriëntatieresidue. De auteurs betogen dat evaluatiekaders moeten verschuiven van het zoeken naar één enkele "beste" alignment-score naar het rapporteren van een profiel van alignment over meerdere culturele referentiepools, waarbij divergentie als een fundamenteel kenmerk van het rechtermodel wordt beschouwd.