💬 NLP

LLM Evaluators are Biased across Languages

Questo articolo dimostra che i valutatori LLM multilingue esibiscono un pregiudizio consistente e statisticamente significativo per cui le lingue a basse risorse ricevono punteggi più alti e superano i filtri di sicurezza più facilmente rispetto alle lingue ad alte risorse, un difetto critico che rimane non rilevato dalle metriche standard di accuratezza a coppie nonostante l'alto grado di accordo dei valutatori sulle classifiche relative.

Autori originali: Ej Zhou, Lucas Resck, Zheng Hui, Anna Korhonen

Pubblicato 2026-07-17

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ej Zhou, Lucas Resck, Zheng Hui, Anna Korhonen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un mondo in cui, ogni volta che poni una domanda a un robot super intelligente, esso ti risponde nella tua stessa lingua. Questi robot, chiamati Large Language Models (LLM), sono come enciclopedie digitali capaci di scrivere storie, risolvere problemi matematici e chiacchierare di qualsiasi cosa. Ma come facciamo a sapere se stanno facendo un buon lavoro? Abbiamo bisogno di un arbitro. Nel mondo dell'IA, questi arbitri sono chiamati "evaluator" (valutatori). Sono o altri robot addestrati per dare punteggi o prompt di tipo umano che chiedono all'IA di auto-valutarsi. Di solito, controlliamo se questi arbitri sono equi vedendo se riescono a scegliere correttamente la risposta "migliore" tra due opzioni, un po' come un giudice che decide quale di due dipinti sia più bello. Questo è chiamato "accuratezza pairwise". Se l'arbitro sceglie il vincitore giusto il 90% delle volte, assumiamo che stia facendo un ottimo lavoro e che il suo punteggio sia equo, indipendentemente dalla lingua parlata.

Tuttavia, c'è un problema nascosto in questa supposizione. Il fatto che un arbitro sappia dirti quale di due dipinti sia migliore non significa che stia usando lo stesso righello per misurarli. Nel mondo reale, un ristorante a 4 stelle a Tokyo potrebbe essere considerato un capolavoro culinario, mentre un ristorante a 4 stelle a New York potrebbe essere visto solo come "discreto". Le stelle significano cose diverse a seconda di dove ti trovi. Questo articolo, intitolato "LLM Evaluators are Biased across Languages" (Gli valutatori LLM sono influenzati dalle lingue), indaga se i nostri arbitri artificiali soffrano della stessa confusione culturale. I ricercatori volevano sapere: se un'IA fornisce una risposta perfetta in inglese, fornisce esattamente lo stesso punteggio se quella risposta viene tradotta in hindi, farsi o ucraino? O la lingua stessa cambia il punteggio, anche se il significato rimane esattamente lo stesso?

Il team ha allestito un esperimento massiccio per scoprirlo. Hanno preso lo stesso identico set di istruzioni e risposte e le hanno tradotte in 23 lingue diverse, che spaziano da lingue ampiamente diffuse come l'inglese e lo spagnolo ad altre come l'ebraico e l'hindi. Hanno poi chiesto a otto diversi tipi di valutatori IA — alcuni che sono semplicemente istruiti tramite prompt per dare un punteggio, e altri che sono stati appositamente addestrati per fornire un numero di "ricompensa" — di valutare queste risposte identiche.

I risultati sono stati uno shock. Gli valutatori non stavano usando lo stesso righello. Anche se il contenuto era semanticamente identico (ovvero significava esattamente la stessa cosa), i punteggi variavano drasticamente a seconda della lingua. Il pregiudizio era enorme: su una scala da 1 a 5, la differenza tra le lingue con il punteggio più alto e quelle con il più basso era di circa 0,5 punti. Questa è una differenza enorme nel mondo della valutazione.

Ecco il colpo di scena che rende tutto così complicato: gli valutatori sembravano ancora perfetti sulla carta. Quando i ricercatori hanno controllato l' "accuratezza pairwise" (l'arbitro ha scelto la risposta migliore?), i punteggi erano incredibilmente alti, spesso sopra il 90%. I referee erano costantemente bravi nel dire "La risposta A è migliore della risposta B". Ma erano terribili nell'essere coerenti su quanto fosse buona la risposta A. È come un giudice che sceglie sempre correttamente il vincitore di una gara, ma assegna 100 punti al vincitore se corre in francese e solo 50 punti se corre in tedesco.

Il documento ha scoperto un modello chiaro: gli valutatori stavano essendo sorprendentemente generosi con le lingue a basse risorse (lingue con meno dati disponibili online, come l'hindi o l'ebraico) ed erano più severi con le lingue ad alte risorse come l'inglese. È come se i giudici IA pensassero: "Non sono sicuro al 100% di cosa sia una risposta perfetta in questa lingua, quindi le darò un punteggio alto per sicurezza". Al contrario, per l'inglese, si sentivano molto sicuri e severi, applicando agli argomenti uno standard più elevato.

Questo non è solo un gioco di numeri; ha conseguenze nel mondo reale. Molti sistemi di IA utilizzano una "soglia globale" per decidere cosa è sicuro mostrare agli utenti. Per esempio, se un filtro di sicurezza è impostato per bloccare tutto ciò che ha un punteggio sotto un certo livello, il pregiudizio significa che i contenuti dannosi nelle lingue a basse risorse sono molto più propensi a passare inosservati. Il documento ha scoperto che, sotto una singola regola globale, il tasso di accettazione dei contenuti può variare fino al 43% tra le diverse lingue. In un esempio specifico, una domanda dannosa in inglese è stata correttamente bloccata, ma la stessa identica domanda in ucraino è stata permessa perché l'evaluator le ha dato un punteggio più alto.

I ricercatori hanno anche indagato sul perché accada questo. Sospettavano che potesse essere dovuto al fatto che l'IA è meno sicura riguardo alle lingue a basse risorse. Hanno scoperto che quando l'IA era meno sicura (misurata in base a quanto era "sorpresa" dal testo), tendeva a dare punteggi più alti. Tuttavia, hanno dimostrato che l'incertezza non era tutta la storia. Anche dopo aver tenuto conto di quanto l'IA fosse confusa, la lingua stessa continuava a predire il punteggio. Ciò significa che il pregiudizio è un problema strutturale profondo nel modo in cui questi modelli sono costruiti, non è solo un semplice caso di "non conosco bene questa lingua".

L'articolo conclude che non possiamo semplicemente fidarci dei punteggi grezzi di questi valutatori IA attraverso le diverse lingue. Sebbene si possa risolvere parte del problema regolando i punteggi per ogni lingua, ciò crea una nuova vulnerabilità: se qualcuno mescola le lingue in un singolo prompt (code-switching), il sistema potrebbe confondersi su quale regola linguistica applicare e lasciare passare contenuti dannosi. Gli autori suggeriscono che, invece di controllare solo se i valutatori possono scegliere il "vincitore", dobbiamo costruire sistemi che siano calibrati per essere equi e coerenti in tutte le lingue, assicurando che una risposta da 5 stelle in hindi sia davvero preziosa quanto una da 5 stelle in inglese.

Riepilogo Tecnico: Gli Valutatori LLM sono Biased tra le Lingue

1. Problema

Gli valutatori basati su Large Language Model (LLM), che comprendono sia i sistemi "LLM-as-a-Judge" basati su prompt che i modelli di ricompensa (reward models) addestrati, sono strumenti standard per il benchmarking automatizzato, l'audit della sicurezza e il Reinforcement Learning from Human Feedback (RLHF). Questi sistemi vengono regolarmente validati utilizzando l'accuratezza pairwise, che misura se un valutatore classifica correttamente una risposta preferita rispetto a una rifiutata.

L'assunto prevalente negli scenari multilingue è che un'elevata accuratezza pairwise implichi una valutazione neutrale rispetto alla lingua: contenuti semanticamente identici dovrebbero ricevere lo stesso punteggio assoluto indipendentemente dalla lingua in cui sono espressi. Questo articolo mette in discussione tale assunto, dimostrando che i valutatori LLM esibiscono spostamenti sistematici e dipendenti dalla lingua nei punteggi pointwise. Di conseguenza, i valutatori che appaiono robusti sotto metriche pairwise inducono disparità sostanziali nelle decisioni basate su soglie, penalizzando o mal-calibrando in particolare le lingue a basse risorse.

2. Metodologia

Dataset e Ambito

Gli autori hanno condotto esperimenti su 23 lingue utilizzando coppie istruzione-risposta semanticamente identiche. I dati sono stati tratti da RewardBench e dalla sua estensione multilingue validata dagli umani, M-RewardBench. Questi benchmark coprono quattro categorie distinte: Chat, Chat-Hard, Safety e Reasoning, garantendo che le scoperte spazino su formati di task e domini eterogenei. Tutti i dati in M-RewardBench sono stati tradotti professionalmente e validati da esseri umani per preservare il parallelismo semantico, evitando artefatti derivanti dalla traduzione automatica.

Valutatori

Lo studio ha valutato otto modelli distinti che rappresentano diverse architetture e paradigmi di addestramento:

LLM-as-a-Judge (4 modelli): Aya Expanse 32B, Qwen 2.5 72B, LLaMA 3.1 70B Instruct e M-Prometheus 14B. Sono stati utilizzati prompt con una scala Likert standard da 1 a 5.
Modelli di Ricompensa (4 modelli): URM-LLaMA-3.1-8B, BTRM-Qwen-2-7B, Skywork-Reward-Gemma-2-27B e Skywork-Reward-LLaMA-3.1-8B-v0.2. Questi output punteggi scalari continui senza rubriche esplicite.

Design Sperimentale

Analisi dello Spostamento del Punteggio (Scoring Shift): Gli autori hanno confrontato i punteggi medi pointwise tra le lingue per contenuti identici.
Validazione Pairwise vs. Assoluta: Hanno analato la relazione tra accuratezza pairwise e tassi di accettazione sotto una soglia decisionale globale fissa.
Investigazione del Meccanismo: Per comprendere perché le lingue a basse risorse ricevessero punteggi più alti, gli autori hanno modellato la relazione tra l'incertezza del modello (misurata tramite la Negative Log-Likelihood, NLL) e i punteggi di ricompensa. Hanno impiegato regressioni Ordinary Least Squares (OLS) annidate per decomporre la varianza del punteggio nelle componenti spiegate dall'incertezza, dall'identità linguistica e dalla loro interazione.
Analisi della Superficie di Attacco: Hanno testato la vulnerabilità delle strategie di soglia per singola lingua contro i prompt in code-switching.

3. Risultati Chiave

Bias Sistematico del Punteggio

Spostamento Direzionale: Gli valutatori assegnano punteggi assoluti significativamente diversi a contenuti semanticamente identici in base alla lingua. Il bias è sostanziale, ammontando a uno spostamento di circa 0,4–0,5 punti su una scala da 1 a 5.
Correlazione con le Risorse: Contrariamente all'aspettativa che i modelli performino peggio nelle lingue a basse risorse, gli valutatori assegnano punteggi più generosi alle lingue a basse risorse. Esiste una forte correlazione negativa tra il livello di risorse della lingua (disponibilità di dati di addestramento) e la severità del punteggio (Spearman $\rho = -0,81$ per i modelli di ricompensa). Lingue come l'hindi, l'ebraico e l'arabo ricevono i punteggi più alti, mentre l'inglese, l'italiano e il francese ricevono i più bassi.
Coerenza tra i Modelli: Questo bias non è un artefatto di un singolo modello. Persiste in tutti gli otto valutatori, inclusi i modelli frontier (GPT-4.1-mini, Qwen3-32B), ed è coerente attraverso diverse architetture (LLaMA, Qwen, Gemma) e diversi paradigmi di addestramento.

Il Punto Cieco dell'Accuratezza Pairwise

Alta Accuratezza, Risultati Divergenti: Gli valutatori mantengono un'accuratezza pairwise uniformemente elevata (>90%) in tutte le lingue. Tuttavia, sotto una soglia decisionale globale fissa (ad esempio, il 50° percentile), i tassi di accettazione variano fino al 43% tra le lingue.
Implicazioni per la Sicurezza: Questa discrepanza significa che il contenuto dannoso nelle lingue a basse risorse ha una probabilità significativamente maggiore di superare i filtri di sicurezza rispetto a un contenuto identico nelle lingue ad alte risorse. Ad esempio, una risposta rifiutata in inglese potrebbe avere un punteggio di -4,51 (filtrata), mentre il suo equivalente ucraino potrebbe avere +3,57 (accettata) nonostante il contenuto semantico sia identico.

Meccanismo: Incertezza vs. Bias Strutturale

Correlazione con l'Incertezza: Esiste una forte correlazione positiva tra l'incertezza del modello (NLL più alta) e i punteggi di ricompensa. I modelli tendono a dare punteggi più alti quando sono meno sicuri del contenuto.
L'Incertezza non è l'Unica Causa: Sebbene l'incertezza spieghi parte della varianza, l'identità linguistica rimane un predittore significativo anche dopo aver controllato la NLL.
Disallineamento Strutturale: Le regressioni intra-lingua mostrano che la relazione tra la difficoltà dell'istanza (NLL) e il punteggio è incoerente e dipendente dal dominio (spesso negativa nei task di Chat). Ciò conferma che il bias è un disallineamento strutturale a livello linguistico piuttosto che una semplice reazione alla difficoltà del contenuto.

Vulnerabilità delle Strategie di Mitigazione

Attacchi di Code-Switching: Una mitigazione proposta — l'uso di soglie per singola lingua — richiede un'identificazione affidabile della lingua (LID). Gli autori dimostrano che i prompt in code-switching (ad esempio, un wrapper inglese attorno a un contenuto in hindi) possono sconfiggere gli strumenti di LID. Se il sistema identifica erroneamente la lingua come inglese, applica una soglia inglese permissiva a un contenuto che il modello in realtà valuta rispetto a una base hindi più severa, gonfiando artificialmente i tassi di accettazione dal 50% al 75%.

4. Contributi

Spostamenti di Punteggio Dipendenti dalla Lingua: Il paper dimostra che i valutatori LLM esibiscono un bias sistematico e coerente tra i modelli nei punteggi pointwise, dove le lingue a basse risorse ricevono punteggi più generosi. Questo bias persiste nei giudici frontier.
Punto Cieco dell'Accuratezza Pairwise: Stabilisce che l'accuratezza pairwise è strutturalmente cieca a questi spostamenti, mascherando gravi disparità nei tassi di accettazione sotto soglie globali. Evidenzia inoltre che le soglie per singola lingua sono vulnerabili agli input in code-switching.
Analisi del Meccanismo: Lo studio indaga il "perché", scoprendo che sebbene l'incertezza del modello correli con il bias, l'identità linguistica rimane predittiva dopo aver controllato l'incertezza. L'effetto non può essere ridotto alla sola difficoltà dell'istanza.

5. Significato e Rivendicazioni

Gli autori sostengono che l'attuale affidamento sull'accuratezza pairwise come metrica di validazione primaria per i valutatori multilingue sia insufficiente. Le scoperte suggeriscono che i bias cross-lingue non calibrati pongono un rischio per il deployment delle lingue a basse risorse nell'audit della sicurezza e nel RLHF.

Implicazione Pratica: Trattare i punteggi grezzi dei valutatori come comparabili tra le lingue senza calibrazione è pericoloso. Sebbene le correzioni dell'offset per singola lingua possano ridurre i gap nei tassi di accettazione di circa il 60%, esse non eliminano la varianza strutturale (interazione lingua $\times$ item) e introducono nuovi vettori di attacco tramite i fallimenti della LID.
Direzione Futura: Il paper invita a passare dalla correzione post-hoc a soluzioni basate su principi durante l'addestramento, come la calibrazione della lingua dei modelli di ricompensa, la normalizzazione dei punteggi condizionati dalla lingua durante il RLHF e protocolli di valutazione che testino esplicitamente la coerenza del punteggio cross-lingue insieme all'accuratezza pairwise.

Il lavoro conclude che la comunità deve riconoscere il bias multilingue nei valutatori LLM come un problema strutturale, andando oltre le metriche di ranking relativo per garantire una valutazione assoluta equa e affidabile tra le lingue.