Lost in Translation: Do LVLM Judges Generalize Across Languages?

1. Il Problema

I modelli di valutazione automatica, in particolare i reward model e i framework "LLM/LVLM-as-a-judge", svolgono un ruolo centrale nell'allineamento e nella valutazione dei Modelli Linguistici e Visivi (LVLM). Tuttavia, esiste una lacuna critica: questi valutatori sono quasi esclusivamente testati su benchmark incentrati sulla lingua inglese.
Nonostante la rapida espansione delle capacità multilingue e multimodali degli LVLM, non esistono benchmark unificati che permettano di studiare come questi "giudici" si comportino operando simultaneamente su diverse lingue e modalità visive. Di conseguenza, le prestazioni reali e la robustezza di questi valutatori in contesti non inglesi rimangono sconosciute, con il rischio di errori sistematici, allucinazioni e bias quando vengono applicati globalmente.

2. Metodologia: MM-JudgeBench

Per colmare questa lacuna, gli autori introducono MM-JudgeBench, il primo benchmark su larga scala per la valutazione di modelli giudici LVLM multilingue e multimodali.

• Costruzione del Dataset:

  • Il benchmark integra due sottoinsiemi complementari:
    1. M-VL-RewardBench: Un'estensione multilingue di VL-RewardBench per la valutazione delle preferenze visivo-linguistiche.
    2. M-OpenCQA: Un sottoinsieme centrato sul ragionamento visivo-testuale (grafici) derivato da OpenCQA.
  • Copertura: Il dataset copre 25 lingue tipologicamente diverse (incluso l'inglese, lingue ad alta risorsa come cinese e francese, e lingue a bassa risorsa come il kazako e il bengalese) e include oltre 60.000 istanze di preferenze a coppie.
  • Processo di Traduzione: Tutte le istanze sono state tradotte dall'inglese utilizzando Gemini-3-Pro, selezionato dopo un'analisi comparativa per la sua alta qualità (misurata tramite metriche LaBSE e CometKiwi). È stata implementata una rigorosa fase di filtraggio della qualità, inclusa la revisione umana per le traduzioni dubbie.
  • Set di Addestramento: Viene rilasciato anche un set di addestramento multilingue derivato da MM-RewardBench (100k istanze) per supportare l'adattamento di dominio.

• Protocollo di Valutazione:

  • Sono stati valutati 22 LVLM (15 open-source e 7 proprietari), con dimensioni che variano da 1B a 32B parametri.
  • Il compito consiste nel fornire al modello un'immagine, una domanda e due risposte candidate (A e B), chiedendo al modello di selezionare quella migliore e fornire una motivazione in formato JSON.
  • Le metriche includono: accuratezza a coppie, varianza cross-linguistica, e analisi dei bias (bias di posizione e bias di lunghezza).

3. Contributi Chiave

1. MM-JudgeBench: Un nuovo benchmark standardizzato che unifica la valutazione di reward model multimodali su 25 lingue e oltre 60k campioni.
2. Valutazione Empirica su Larga Scala: Un'analisi estesa di 22 modelli di punta, rivelando variazioni di prestazioni cross-linguistiche invisibili nelle valutazioni mono-lingua.
3. Risorsa per l'Adattamento: Il rilascio di un set di dati di addestramento multilingue per il fine-tuning di modelli open-source.

4. Risultati Principali

L'analisi dei risultati su MM-JudgeBench rivela diverse scoperte critiche:

• Varianza Cross-Linguistica Significativa: Molti modelli che mostrano alte prestazioni medie nascondono crolli drastici in lingue specifiche. Ad esempio, varianti ottimizzate per l'efficienza (come Gemini-2.5-Flash-Lite o Claude-4.5-Haiku) subiscono un collasso delle prestazioni in lingue a bassa risorsa (es. Kazako), scendendo sotto il 40-50% di accuratezza.
• Prestazioni dei Modelli Open-Source: Tra i modelli open-source, la famiglia Qwen3-VL mostra il comportamento multilingue più coerente e scalabile. Il modello Qwen3-VL-32B supera molti modelli proprietari più piccoli e mantiene una varianza bassa tra le lingue.
• Limiti dei Modelli Proprietari: Anche i modelli proprietari all'avanguardia (come GPT-5) mostrano variazioni, sebbene minori. Tuttavia, le varianti "Nano" o "Mini" spesso sacrificano la robustezza multilingue per l'efficienza.
• Bias e Allucinazioni: L'accuratezza da sola non garantisce un giudizio affidabile. Gli autori hanno rilevato bias significativi (es. preferenza per la prima risposta o per risposte più lunghe) che variano in base al modello e alla lingua. Inoltre, i modelli tendono a commettere allucinazioni (es. inventare iscrizioni su oggetti) che vengono penalizzate diversamente a seconda della lingua.
• Impatto della Traduzione: L'analisi di sensibilità mostra che l'uso di traduttori più deboli peggiora linearmente l'accuratezza e aumenta la varianza, confermando che le tendenze osservate sono legate al comportamento del giudice e non solo a errori di traduzione.
• Adattamento di Dominio: Il fine-tuning supervisionato su dati multilingue (M-MM-RewardBench) ha portato a miglioramenti sostanziali (+10/14% di accuratezza) per i modelli open-source, dimostrando che l'addestramento specifico è cruciale.

5. Significato e Implicazioni

Il paper dimostra che l'attuale pratica di valutare i reward model e i giudici LVLM esclusivamente in inglese è insufficiente e potenzialmente fuorviante.

• Limiti Fondamentali: Esistono limiti fondamentali nella modellazione dei reward attuali quando applicati a contesti multilingue. Le dimensioni del modello e l'architettura non sono buoni predittori della robustezza multilingue.
• Necessità di Nuovi Standard: È imperativo sviluppare e utilizzare benchmark multilingue e multimodali per garantire che i valutatori automatizzati siano affidabili prima del loro dispiegamento su larga scala in scenari globali.
• Avvertenze Etiche: I risultati evidenziano i rischi di utilizzare giudici LVLM come sostituti della valutazione umana in contesti multilingue senza una validazione rigorosa, poiché i modelli possono fallire in modo sistematico e non rilevato in lingue diverse dall'inglese.

In sintesi, MM-JudgeBench espone le vulnerabilità nascoste degli attuali sistemi di valutazione LVLM, spingendo la comunità verso una ricerca più inclusiva e robusta che vada oltre il dominio anglofono.