💬 NLP

LLM Judges Inconsistently Disagree Across Safety Criteria and Harm Categories

Questo articolo rivela che i Large Language Models utilizzati come giudici automatizzati esibiscono una significativa inconsistenza e inaffidabilità, in particolare quando valutano domini regolamentati come la finanza o variando per lingua e criteri, evidenziando la necessità di una implementazione attenta nelle valutazioni di sicurezza.

Autori originali: Krishnapriya Vishnubhotla, Soumya Vajjala, Akriti Vij, Isar Nejadgholi

Pubblicato 2026-06-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Krishnapriya Vishnubhotla, Soumya Vajjala, Akriti Vij, Isar Nejadgholi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver assunto un panel di sei diversi critici d'arte per giudicare una serie di dipinti. Vuoi che concordino su quali dipinti siano "sicuri" (buoni, appropriati) e quali "non sicuri" (cattivi, dannosi). Ti aspetti che, se mostri loro lo stesso dipinto, o anche una versione leggermente diversa di esso (come una foto del dipinto in una cornice diversa, o una traduzione della nota dell'artista in un'altra lingua), tutti diano all'incirca lo stesso verdetto.

Questo articolo riguarda proprio il test di questo fenomeno, ma invece di critici d'arte, i "giudici" sono Large Language Models (IA), e invece di giudicare dipinti, stanno giudicando test generati dall'IA per quanto riguarda la sicurezza.

Ecco la suddivisione di ciò che i ricercatori hanno scoperto, utilizzando analogie semplici:

1. Il problema dell' "Ovvio vs Sottile"

I ricercatori hanno testato i giudici IA su due tipi molto diversi di contenuti "negativi":

Il test del "Grido di Fuoco" (Violenza): Hanno chiesto all'IA di giudicare testi riguardanti violenza, incitamento all'odio o atti illegali.
- Il Risultato: I giudici IA sono stati piuttosto bravi in questo. Se un dipinto era chiaramente in fiamme, tutti i sei critici concordavano: "Questo è non sicuro".
Il test del "Consiglio Finanziario" (Domini Regolamentati): Hanno chiesto all'IA di giudicare testi in cui un'IA fornisce consigli su questioni come il punteggio di credito, le domande di visto o i consigli medici.
- Il Risultato: I giudici IA sono stati terribili nel concordare su questo. È come chiedere a sei critici di giudicare un dipinto che è quasi un capolavoro, ma ha un piccolo, sottile difetto. Un critico dice: "È sicuro, solo un po' rischioso", mentre un altro dice: "È pericoloso, buttalo via!". Non riuscivano a concordare su cosa significasse "sicuro" in questi scenari complessi e reali.

2. Il problema dello "Specchio Magico" (Auto-coerenza)

I ricercatori hanno preso una singola risposta dell'IA e l'hanno mostrata ai giudici in diversi "specchi":

Traduzione: Hanno mostrato il testo in inglese, poi in francese, poi in hindi, ecc.
Parafrasi: Hanno riscritto il testo per farlo sembrare più formale, più informale o per cambiare l'ordine delle frasi, senza cambiare il significato effettivo.
Il Risultato: I giudici sono stati incoerenti. Se un giudice diceva: "Questa frase in inglese è sicura", potrebbe guardare esattamente la stessa frase tradotta in hindi e dire: "Aspetta, questa versione in hindi è non sicura!". Oppure, potrebbe guardare una versione parafrasata e cambiare idea.
La Metafora: Immaginate una guardia giurata che ferma una persona con una maglietta rossa, ma lascia passare la stessa persona con una maglietta blu, anche se si tratta della stessa identica persona. I giudici IA sono facilmente ingannati da come le parole sono "vestite", non da ciò che le parole dicono realmente.

3. Il problema della "Giuria" (Cross-coerenza)

I ricercatori hanno anche chiesto: "Se mettessimo tutti i sei giudici IA in una stanza insieme, concorderebbero tra loro?"

Il Risultato: No. Anche guardando lo stesso identico testo nella stessa lingua, i giudici spesso davano risposte opposte.
La Metafora: Immaginate una giuria dove una persona vota "Colpevole", un'altra "Non Colpevole" e una terza "Forse". Stanno tutti guardando le stesse prove, ma hanno libri di regole interni completamente diversi su cosa costituisca un crimine. Il documento ha scoperto che per argomenti complessi (come i consigli finanziari), la "giuria" è spesso nel totale caos.

4. La trappola del "Falso Accordo"

L'articolo evidenzia un trucco statistico sottile.

A volte, tutti i giudici dicono "Sicuro" il 99% delle volte. Se si contano solo i voti "Sì", sembra che siano in perfetto accordo (coerenza al 100%).
Il Problema: Ma se stanno dicendo "Sicuro" solo perché sono pigri o influenzati da un pregiudizio, e non perché stanno effettivamente riflettendo sui dettagli specifici, quella non è vera coerenza. I ricercatori hanno utilizzato una matematica speciale (come un punteggio "corretto per il caso") per eliminare questo falso accordo.
La Metafora: È come un gruppo di amici che indovina la risposta a una domanda di cultura generale. Se la risposta è "Sì" il 99% delle volte, e tutti indovinano "Sì", sembrano dei geni. Ma se la domanda è in realtà difficile e loro stanno solo indovinando la risposta più comune, non stanno in realtà concordando sul ragionamento. L'articolo mostra che, quando si guarda più a fondo, i giudici IA sono in realtà in grande disaccordo.

Conclusione

L'articolo conclude che, sebbene i giudici IA siano capaci di individuare pericoli ovvi e rumorosi (come la violenza), sono inaffidabili e incoerenti quando devono giudicare consigli sfumati e del mondo reale (come finanza o legge).

Se utilizzate un'IA per agire come guardiano della sicurezza per argomenti complessi, non potete fidarvi della sua coerenza. Potrebbe approvare una risposta pericolosa solo perché la struttura della frase è cambiata leggermente, o potrebbe rifiutare una risposta sicura solo perché è stata tradotta in una lingua diversa. La "giuria" dei modelli IA è attualmente troppo divisa per essere affidata a decisioni ad alto rischio senza la supervisione umana.

Sintesi Tecnica: Gli LLM Judge sono Inconsistenti tra i Criteri di Sicurezza e le Categorie di Danno

Definizione del Problema

L'uso di Large Language Models (LLM) come giudici automatizzati ("LLM-as-a-Judge") è diventato un paradigma prevalente per valutare la sicurezza dei modelli, spesso sostituendo o integrando l'annotazione umana per ragioni di scalabilità. Tuttavia, la ricerca esistente si concentra prevalentemente sull'accuratezza di questi giudici rispetto agli annotatori umani o assume che la sicurezza sia un costrutto unidimensionale (sicuro vs non sicuro).

Questo articolo affronta una lacuna critica: la consistenza degli LLM judge quando valutano la sicurezza attraverso criteri multidimensionali e trasformazioni semanticamente invarianti (ad es., traduzioni, parafrasi) in un contesto reference-free (senza riferimento). Gli autori investigano se gli LLM forniscano giudizi affidabili e stabili quando il contenuto di input viene alterato linguisticamente ma mantiene lo stesso significato semantico, e se diversi giudici concordino tra loro (cross-consistenza) attraverso diverse dimensioni di sicurezza, in particolare in domini sfumati e regolamentati rispetto a contenuti palesemente dannosi.

Metodologia

Lo studio impiega un workflow di valutazione reference-free progettato per misurare sia la self-consistenza (la stabilità di un singolo giudice attraverso le variazioni) sia la cross-consistenza (l'accordo tra più giudici).

1. Costruzione dei Dati

Query Seed: Gli autori hanno utilizzato 89 query seed dal dataset AIRBench-2024, categorizzate in due distinti tipi di rischio:
- OPMISUSE (Uso improprio operativo): 50 query focalizzate su "Processo Decisionale Automatizzato" e "Consulenza in Settori Regolamentati" (ad es., finanza, assunzione). Queste rappresentano scenari sfumati e dipendenti dalla cultura.
- VIOLENCE (Violenza): 39 query che coprono contenuti palesemente dannosi (violenza, estremismo, autolesionismo, attività criminali).
Generazione delle Variazioni:
- Variazioni Culturali/Geografiche: Per OPMISUSE, sono state generate 5 variazioni per query adattando nomi, località e valute a diverse culture (per un totale di 300 query).
- Traduzioni: Tutte le query e le risposte sono state tradotte in cinque lingue (francese, arabo, farsi, telugu, hindi) oltre all'inglese.
- Parafrasi: Per le risposte di OPMISUSE, sono state generate 10 variazioni semanticamente coerenti per ogni risposta, alterando il tono (formale vs colloquiale), la struttura (verdetto all'inizio vs verdetto alla fine) e l'esplicitezza, preservando il contenuto fattuale.
Generazione delle Risposte: Tutte le risposte sono state generate da un singolo modello generatore forte (GPT-4o-Mini) per isolare la variabilità del giudice.

2. Configurazione della Valutazione

Giudici: Sono stati utilizzati sei LLM allo stato dell'arte come giudici: Gemini-2.5-Flash, GPT-4o-Mini, Claude-Haiku-4.5, Command-A, Llama-3.3-70B e Gemma-3-27B.
Criteri: I giudici hanno valutato le risposte rispetto a sei dimensioni:
1. Rifiuto (Refusal): Il modello ha rifiutato la richiesta?
2. Sicurezza (Safety): La risposta è sicura?
3. Utilità (Helpfulness): La risposta è pertinente e utile?
4. Spiegazione (Explanation): Il modello ha spiegato la sua decisione?
5. Avvertenze (Warnings): Il modello ha emesso avvertenze o disclaimer necessari?
6. Sensibilità Culturale (Cultural Sensitivity): Il modello ha gestito appropriatamente i segnali culturali?
Metriche: La consistenza è stata misurata utilizzando l'Alpha di Krippendorff (corretto per il caso) e il Kappa di Cohen, insieme alla percentuale grezza di accordo. Gli autori sottolineano la necessità di metriche corrette per il caso per evitare punteggi gonfiati causati dallo sbilanciamento delle etichette (ad es., etichette "sicuro" quasi universali).

Contributi Chiave

Sviluppo del Workflow: Un nuovo workflow per misurare la consistenza dei giudici LLM attraverso sei criteri di sicurezza senza annotazioni gold-standard.
Valutazione Esaustiva: Una valutazione della self- e cross-consistenza tra sei LLM, circa 350 prompt di sicurezza, due categorie di rischio e sei lingue.
Insight Metodologico: Una dimostrazione che i punteggi di accordo grezzi possono essere fuorvianti nelle valutazioni di sicurezza a causa dello sbilanciamento delle classi, raccomandando l'uso di metriche corrette per il caso (Krippendorff's $\alpha$ ) per rivelare la reale affidabilità.

Risultati

1. Affidabilità Specifica per Dominio

Danno Manifesto (VIOLENCE): I giudici LLM hanno dimostrato una maggiore affidabilità e accordo nell'identificare contenuti palesemente dannosi (violenza, atti illegali). L'accordo è stato generalmente alto per criteri come Rifiuto e Sicurezza in questa categoria.
Consulenza Regolamentata (OPMISUSE): I giudici sono stati significativamente inaffidabili nell'identificare problemi di sicurezza relativi alla consulenza in domini regolamentati (ad es., finanza). C'è stato un alto disaccordo tra i giudici riguardo al fatto che una risposta fosse "sicura" o "utile" in questi contesti.

2. Self-Consistenza (Stabilità attraverso le Variazioni)

Bassa Stabilità nei Domini Sfumati: I giudici hanno mostrato una bassa self-consistenza per la categoria OPMISUSE. Quando le risposte venivano parafrasate o tradotte, i giudici cambiavano frequentemente i loro verdetti su dimensioni come Sicurezza, Utilità e Sensibilità Culturale.
Alta Stabilità nei Segnali Espliciti: Le dimensioni legate a segnali testuali espliciti (ad es., Rifiuto, Presenza di Avvertenze) hanno mostrato una maggiore consistenza.
Sensibilità Linguistica: La Sensibilità Culturale è stata la dimensione meno affidabile tra tutti i giudici e le lingue, indicando che i giudici faticano a interpretare in modo coerente le sfumature culturalmente radicate.

3. Cross-Consistenza (Accordo tra i Giudici)

Alto Disaccordo: C'è stato un sostanziale disaccordo tra diversi giudici per lo stesso input, in particolare nella categoria OPMISUSE.
Il Paradosso della Sicurezza: Nella categoria OPMISUSE, l'accordo grezzo per il criterio di "Sicurezza" era spesso elevato (poiché la maggior parte dei giudici etichettava le risposte come "sicure"), ma l'Alpha di Krippendorff era vicino allo zero o negativo. Ciò indica che l'accordo era guidato dalla prevalenza delle etichette piuttosto che da un vero consenso sulla definizione di sicurezza.
Impatto della Lingua: La cross-consistenza tra i giudici variava significativamente per lingua, con alcune lingue che mostravano una maggiore instabilità rispetto ad altre.

4. Risultati Qualitativi

Avvertenze Mancanti: I giudici spesso non riuscivano a rilevare l'assenza di necessari disclaimer in domini regolamentati (ad es., fornire un punteggio di credito senza un avviso), anche quando venivano esplicitamente istruiti per controllarli.
Interpretazione Incoerente: Criteri soggettivi come "Sensibilità Culturale" ed "Spiegazione" sono stati interpretati in modo incoerente tra le lingue e persino dallo stesso giudice su diverse variazioni dello stesso testo.

Significato e Rivendicazioni

L'articolo conclude che gli LLM sono attualmente inaffidabili come giudici automatizzati per valutazioni di sicurezza multidimensionali e sfumate, particolarmente in domini regolamentati dove il contesto e la sensibilità culturale sono fondamentali.

Limitazioni delle Pratiche Attuali: Lo studio mette in discussione la validità dell'uso degli LLM come "giuria" per la valutazione della sicurezza senza una calibrazione attenta, poiché modelli diversi non condividono una definizione comune di sicurezza.
Implicazioni per le Metriche: Fare affidamento solo sui punteggi di accordo grezzi porta a sovrastimare la consistenza del giudice. Gli autori affermano che le metriche corrette per il caso sono essenziali per una valutazione accurata.
Raccomandazioni Pratiche:
- Gli LLM judge sono più adatti a rilevare segnali di sicurezza chiari e superficiali (ad es., violenza palese) piuttosto che per valutare comportamenti sfumati e dipendenti dal contesto.
- I professionisti dovrebbero selezionare attentamente i giudici in base a criteri specifici (ad es., alcuni modelli potrebbero essere migliori nel rilevare "Avvertenze" mentre altri sono migliori nel "Rifiuto").
- I pipeline di valutazione devono tenere conto delle variazioni linguistiche e culturali, poiché i giudizi di sicurezza sono altamente sensibili a questi fattori.

Gli autori pongono questi risultati come un appello a pratiche di calibrazione più rigorose e a una ri-valutazione del paradigma "LLM-as-a-Judge" in scenari di sicurezza complessi e reali.