BabelJudge: Measuring LLM-as-a-Judge Reliability Across Languages and Agent Trajectories

Riepilogo Tecnico: BabelJudge

Definizione del Problema

L'adozione di "LLM-as-a-judge" è diventata l'approccio dominante per la valutazione scalabile nelle pipeline NLP, inclusi benchmark, raccolta delle preferenze per RLHF e gate di qualità in produzione. Tuttavia, i giudici stessi non sono neutrali; portano con sé bias sistematici che le metriche di accuratezza grezza non riescono a catturare. Il lavoro precedente ha documentato specifici modi di fallimento:

• Bias di Posizione: I giudici preferiscono sistematicamente le risposte collocate in uno slot specifico (es. slot A).
• Bias di Verbositá: I giudici premiano le risposte più lunghe indipendentemente dal valore informativo.
• Bias di Auto-Miglioramento (Self-Enhancement): I giudici preferiscono output provenienti da modelli della stessa famiglia.
• Degradazione Cross-Linguale: L'affidabilità del giudice crolla nelle lingue a basse risorse, eppure la maggior parte dei benchmark esistenti valuta esclusivamente l'inglese.

Attualmente, questi bias sono documentati in studi sparsi con setup sperimentali incompatibili, lasciando ai professionisti senza uno strumento unificato e riutilizzabile per auditare un arbitrario modello di giudice attraverso più lingue e modalità di fallimento.

Metodologia: Gold-Labelling per Degradazione

BabelJudge introduce un framework per misurare l'affidabilità del giudice senza richiedere costose etichette di preferenza umana. L'intuizione centrale è il gold-labelling per degradazione:

1. Costruzione Sintetica: Partendo da una risposta di riferimento di alta qualità ($r$) estratta da un corpus multilingue, viene applicata una funzione di degradazione controllata per generare una risposta perturbata ($p$).
2. Ground Truth Conosciuta: Per costruzione, la risposta di riferimento è l'etichetta "gold" (la risposta migliore).
3. Presentazione a Ordine Doppio: Ogni elemento a coppie viene presentato al giudice in entrambi gli ordini di slot (prima il riferimento, poi il perturbato) e viceversa. Ciò consente la misurazione diretta del bias di posizione e della coerenza dell'ordine.

Tipi di Perturbazione

Il framework utilizza cinque tipi di perturbazione controllati e indipendenti dalla lingua per sondare specifici modi di fallimento:

• Truncate (Troncare): Elimina le frasi finali per testare la tolleranza alla perdita di informazioni.
• Shuffle (Mescolare): Riordina le frasi per testare la sensibilità alla coerenza.
• Number Corrupt (Corruzione Numerica): Perturba i token numerici per testare il rilevamento dell'accuratezza fattuale.
• Drop Entities (Rimozione Entità): Rimuove token simili a entità per testare la completezza delle entità.
• Repeat Pad (Padding di Ripetizione): Aggiunge frasi ridondanti alla risposta perturbata. Fondamentalmente, questo rende la risposta perturbata più lunga ma strettamente peggiore, servendo come sonda specifica per il bias di verbosità.

Estensione Agente (Agentic Extension)

Il framework si estende agli scenari agentici (traiettorie di uso di strumenti) tramite nove perturbazioni a livello di traiettoria, tra cui:

• Corruzione degli Argomenti: Mutazione dei valori degli argomenti.
• Scambio di Nomi di Strumenti: Sostituzione degli strumenti con alternative errate.
• Strumenti Allucinati: Inserimento di chiamate a strumenti inesistenti.
• Argomenti Mancanti/Extra: Rimozione di argomenti richiesti o aggiunta di chiavi senza senso.
• Manipolazione dei Passaggi: Eliminazione di passaggi intermedi, terminazione anticipata o padding con passaggi ridondanti (per sondare il bias della lunghezza della traiettoria).

Metriche di Affidabilità

BabelJudge va oltre la semplice accuratezza per proporre un Punteggio di Affidabilità ($R$) composito che penalizza il bias in modo moltiplicativo. Il punteggio è calcolato come:
$$R = (\text{Base di Competenza}) \times (\text{Penalità di Posizione}) \times (\text{Penalità di Verbosità})$$

Dove:

• Base di Competenza: Una media ponderata dell'accuratezza grezza e della coerenza dell'ordine.
• Penalità di Posizione: Derivata dalla differenza del tasso di vittoria tra gli ordini di slot ($\Delta_{pos}$).
• Penalità di Verbosità: Derivata dalla suscettibilità a preferire risposte più lunghe ma di qualità inferiore.

Questo gating moltiplicativo assicura che un giudice con alta accuratezza grezza ma significativo bias sia penalizzato più severamente di quanto suggerirebbe una media additiva. Il paper propone una soglia di deployment di $R \geq 0.65$.

Risultati Sperimentali

Il framework è stato valutato utilizzando Qwen2.5-7B-Instruct-4bit su quattro lingue: inglese, hindi, arabo e swahili.

Risultati Chiave

1. L'Accuratezza Grezza Esagera l'Affidabilità: Mentre l'accuratezza macro rimaneva relativamente alta tra le lingue (variando da 0.660 a 0.835), il punteggio di affidabilità composito è sceso significativamente, in particolare nelle lingue a basse risorse.
2. Collasso Cross-Linguale:
   • Hindi: Alta affidabilità (0.714) con alta accuratezza (0.835).
   • Swahili: L'affidabilità è crollata a 0.550 nonostante un'accuratezza di 0.660.
   • Driver del Fallimento: La causa principale della bassa affidabilità dello Swahili è stata la coerenza dell'ordine (0.480), indicando che il verdetto del giudice era effettivamente casuale quando l'ordine degli slot veniva invertito.
3. Suscettibilità alla Verbosità: Questa metrica è altamente dipendente dalla lingua. L'inglese ha mostrato una bassa suscettibilità (0.075), mentre l'hindi ha mostrato una suscettibilità significativamente più alta (0.250), suggerendo che il giudice è più facilmente ingannato dalla lunghezza in hindi rispetto all'inglese.
4. Bias di Posizione: Il bias di posizione ($\Delta_{pos}$) è rimasto entro intervalli accettabili (<0.10) per tutte le lingue nel campione, suggerendo un parziale debiasing del modello.

Significato e Contributi

Il paper rivendica i seguenti contributi:

1. Metodologia: Un approccio di "gold-labelling-per-degradazione" che elimina i costi di annotazione fabbricando elementi a coppie con etichette note.
2. Strumento Unificato: Un singolo framework che operazionalizza i bias di posizione, verbosità e coerenza dell'ordine in metriche confrontabili.
3. Metrica Composita: Un punteggio di affidabilità che rende visibile il divario tra accuratezza grezza e reale qualità del giudice, rivelando che l'accuratezza da sola è un segnale incompleto.
4. Estensione Agente: Il primo ampliamento dell'audit dei giudici alle traiettorie degli agenti, introducendo metriche per l'accuratezza degli strumenti, il rilevamento delle allucinazioni e il bias della lunghezza della traiettoria.
5. Strumento Open-Source: Un pacchetto Python open-source (BabelJudge) con adapter per 11 backend di giudici, progettato per servire come una "living leaderboard" per l'affidabilità del giudice.

Gli autori concludono che BabelJudge dovrebbe essere utilizzato come checkpoint standard prima di distribuire giudici LLM in contesti di produzione multilingue o agentici, in particolare per identificare lingue o scenari in cui l'affidabilità del giudice scende sotto la soglia di 0.65.