Riepilogo Tecnico: Giuria: Fallimenti di Calibrazione e Orientamento in MLLM-as-a-Judge sotto Ambiguità Culturale

Definizione del Problema

I paradigmi "LLM-as-a-Judge" e "MLLM-as-a-Judge" sono sempre più utilizzati per valutare compiti di generazione aperta in cui le metriche basate su riferimenti sono insufficienti. Questi sistemi vengono convenzionalmente validati misurando il loro accordo con le annotazioni umane. Tuttavia, questo approccio di validazione contiene un difetto critico: non specifica verso chi si orientano i giudizi del modello. Nei domini sensibili alle preferenze (es. plausibilità, appropriatezza, desiderabilità), i giudizi umani non sono monolitici ma sono culturalmente situati. Quando un modello giudice viene valutato rispetto a un pool culturalmente eterogeneo, il punteggio di "accordo" risultante si condiziona silenziosamente alla specifica composizione culturale di quel pool.

Il lavoro precedente ha documentato pregiudizi culturali nella generazione dei modelli (es. rappresentazione errata nei sistemi text-to-image), ma meno attenzione è stata prestata a come i pregiudizi culturali modellino l'evaluazione del modello. Questo è strutturalmente consequenziale perché gli output dei giudici spesso fungono da segnali di addestramento per il Reinforcement Learning from AI Feedback (RLAIF) o come verità di base per le classifiche (leaderboard). Se un modello giudice possiede un orientamento culturale non riportato, esso propaga tale bias nei futuri cicli di addestramento e nelle metriche di valutazione.

Metodologia: Il Benchmark VOIR DIRE

Per investigare ciò, gli autori introducono VOIR DIRE, un benchmark multimodale progettato per quantificare la divergenza tra l'allineamento di un MLLM-as-a-Judge e pool di riferimento umani culturalmente distinti sotto ambiguità sensibile alle preferenze.

Costruzione del Benchmark

• Composizione del Dataset: VOIR DIRE consiste in 626 elementi immagine-prompt accoppiati culturalmente. Ogni elemento accoppia un concetto allineato agli USA con un concetto allineato alla Cina continentale che condivide lo stesso referente (es. un pasto celebrativo in entrambi i contesti).
• Categorie: Gli elementi spaziano in tre categorie: Cibo e Bevande, Moda e Caratteristiche Umane, e Architettura e Simboli.
• Sourcing delle Immagini: Le immagini sono generate utilizzando Gemini 3 Pro Image con parametri corrispondenti (rapporto d'aspetto, illuminazione, composizione) per garantire che le differenze visive siano strettamente indizi culturali piuttosto che variazioni estetiche o compositive. Un sottoinsieme di 30 coppie di foto naturalistiche è stato inoltre creato per verificare che i risultati non siano artefatti di immagini sintetiche.
• Design dei Prompt: I prompt sono stati redatti da annotatori esperti biculturali per elicitare giudizi valutativi (non ricerche fattuali) che siano plausibilmente contestabili tra le culture.
• Annotazione Umana: Dieci annotatori con competenza biculturale (cinque statunitensi, cinque della Cina continentale) hanno valutato gli elementi su quattro dimensioni:
  1. Q1 (Risposta Valutativa): Una scala ordinale a 5 punti che valuta l'immagine rispetto al prompt.
  2. Q2 (Allineamento Culturale): Valutazione dell'elemento su una scala a 5 punti da cinese ad americano.
  3. Q3 (Soggettività): Valutazione della soggettività del prompt.
  4. Q4 (Riconoscibilità Transculturale): Valutazione della probabilità che qualcuno dell'altra cultura comprenda la razionale.

Setup Sperimentale

Gli autori hanno valutato sei MLLM (tre di origine statunitense: Claude Opus 4.7, GPT-5.5, Llama 4 Scout; tre di origine cinese: GLM-5, Kimi K2.6, Qwen-3-VL-Flash) sotto dieci condizioni di prompt:

• Due condizioni neutrali (inglese e cinese semplificato).
• Otto condizioni di persona incrociando il dettaglio della persona (base vs avanzata), la cultura della persona (americana vs cinese) e la lingua del prompt.

Inoltre, sono state testate quattro condizioni di In-Context Learning (ICL), variando la fonte degli esempi di dimostrazione (annotatori statunitensi vs cinesi) e la fonte delle immagini di dimostrazione (americane vs cinesi).

Validazione dell'Ambiguità Culturale

Il benchmark valida che gli elementi siano affidabili all'interno del pool (Krippendorff's $\alpha$ = 0.86 per gli USA, 0.74 per la Cina) ma divergenti tra i pool (Pearson $r$ = -0.12 tra il consenso USA e quello cinese su Q1). Crucialmente, il disaccordo riguarda l'evaluazione (Q1), non il riconoscimento (Q2), confermando che i pool concordano sul contenuto ma discordano sul suo valore normativo.

Risultati Chiave

1. Fallimento di Calibrazione del "Positivity-Floor"

I modelli esibiscono un "pavimento di positività", producendo raramente valutazioni di 1 o 2 (solo il 6–16% delle celle). Negli elementi in cui il consenso USA è basso (≤2), i modelli non assegnano valutazioni basse, concentrandosi invece attorno a un pavimento di ~3.

• Meccanismo: Questo pavimento valida meccanicamente la lettura culturale più permissiva. In questo corpus, il pool cinese è più permissivo sugli elementi contestati; pertanto, l'incapacità del modello di utilizzare l'estremità inferiore della scala risulta in un allineamento sistematico con il consenso cinese sulle immagini cinesi.
• Asimmetria: Il bias è localizzato. Sulle immagini americane, i modelli mostrano una leggera tendenza USA. Sulle immagini cinesi, il bias si inverte e si amplia, mostrando una forte tendenza verso l'umano cinese.

2. Fallimento di Orientamento (Il Residuo)

Anche quando la calibrazione è parzialmente recuperata (es. tramite persona prompting), persiste un residuo di orientamento culturale.

• Persona Prompts: Sebbene i prompt di persona (es. "Sei un americano") spostino l'inclinazione del giudice nella direzione attesa, essi non correggono completamente il fallimento della calibrazione. Sulle immagini cinesi, cinque dei sei modelli rimangono al di sotto del punto medio dell'asse culturale anche sotto condizioni di persona statunitense.
• ICL Demonstrations: Le dimostrazioni del pool di riferimento non ripristinano la calibrazione. Al contrario, ampliano la finestra di valutazione verso l'alto (aumentando i 5) senza ripristinare l'uso dell'estremità bassa (1 e 2). Inoltre, l'ICL approfondisce il residuo di orientamento invece di correggerlo; aggiungere dimostrazioni rende il giudice più allineato con la norma culturale del pool di dimostrazione, scambiando l'allineamento con un pool per il disallineamento con l'altro.

3. L'Origine del Modello come Covariata

L'origine del modello (USA vs Cina) aggiunge una piccola inclinazione additiva ($\sim$0.10 MAE) che è approssimativamente invariante rispetto alla dimostrazione.

• Non è Pura Competenza: Un'ipotesi di "competenza" (ovvero che i modelli di origine cinese conoscano semplicemente meglio la cultura cinese) prevederebbe la simmetria (i modelli CN si allineano con gli umani CN, i modelli US con gli umani US). I dati non mostrano tale simmetria: tutti i sei sistemi pendono verso l'umano cinese sulle immagini cinesi, indipendentemente dall'origine.
• Gerarchia di Influenza: La varianza nel comportamento del giudice è dominata dall'elemento ($R^2$ = 0.57), seguito dalla configurazione della persona, con l'origine del modello che contribuisce meno.

Contributi e Significato

Il paper apporta tre contributi primari:

1. Benchmark VOIR DIRE: Un benchmark multimodale di 626 elementi accoppiati culturalmente che stabilisce l'ambiguità culturale come una proprietà degli elementi, validata dalla affidabilità intra-pool e dalla divergenza inter-pool.
2. Decomposizione del Bias: L'identificazione di due distinti modi di fallimento in MLLM-as-a-Judge:
   • Fallimento di Calibrazione: L'incapacità di produrre valutazioni basse (pavimento di positività).
   • Fallimento di Orientamento: Il default verso una specifica norma culturale che persiste anche dopo i tentativi di calibrazione.
3. Raccomandazioni Metodologiche:
   • R1 (Reporting Multi-pool): L'allineamento dovrebbe essere riportato rispetto a ciascun pool di riferimento separatamente. Un singolo punteggio di "accordo con gli umani" è un errore categoriale in contesti culturalmente eterogenei. La divergenza tra i pool deve essere trattata come una proprietà del giudice, non come rumore.
   • R2 (Origine come Covariata): L'origine del modello dovrebbe essere riportata insieme all'identità del modello nelle valutazioni, poiché introduce un'inclinazione culturale sistematica, seppur piccola.

Conclusione

Lo studio conclude che gli attuali sistemi MLLM-as-a-Judge non riescono a catturare l'intero spettro delle preferenze umane sotto ambiguità culturale a causa di un fallimento di calibrazione del pavimento di positività e di un persistente fallimento di orientamento. Né il persona prompting né le dimostrazioni in-context possono risolvere completamente questi problemi; anzi, le dimostrazioni spesso esacerbano il residuo di orientamento. Gli autori sostengono che i framework di valutazione debbano passare dal cercare un singolo punteggio di "miglior" allineamento al riportare un profilo di allineamento attraverso molteplici pool di riferimento culturali, trattando la divergenza come una caratteristica fondamentale del modello giudice.