Towards Reliable Multilingual LLMs-as-a-Judge: An Empirical Study

Enunciato del Problema
Sebbene i Modelli Linguistici di Grande Dimensione (LLM) siano sempre più utilizzati come valutatori automatici ("LLMs-as-a-Judge") per il testo generato, la maggior parte della ricerca e dei benchmark esistenti è incentrata sull'inglese. Estendere queste capacità di valutazione a contesti multilingue, in particolare per le lingue a risorse limitate, rimane una sfida significativa. Le lacune attuali includono la mancanza di dataset di valutazione multilingue robusti, l'incertezza riguardo alle strategie di allenamento ottimali (ad esempio, supervisione monolingue vs multilingue, traduzione delle istruzioni) e una comprensione limitata di come la scala del modello e la disponibilità dei dati (in-domain vs out-of-domain) influenzino l'affidabilità della valutazione tra lingue con diversi livelli di risorse e strutture tipologiche.

Metodologia
Gli autori conducono uno studio empirico focalizzato su tre lingue che rappresentano diversi livelli di risorse e famiglie tipologiche: inglese (alta risorsa, germanica), spagnolo (media risorsa, romanza) e basco (bassa risorsa, lingua isolata con morfologia agglutinante).

• Creazione del Dataset: Poiché non esistevano dataset di giudizio pubblici per il basco o lo spagnolo, gli autori hanno adattato dataset inglesi esistenti. Hanno tradotto la FeedBack Collection (100k coppie istruzione-risposta) per creare dati di allenamento. Per la valutazione, hanno tradotto due benchmark: RECON (trattato come in-domain, seguendo lo stesso protocollo di generazione dei dati di allenamento) e FLASK (trattato come out-of-domain, basato sulla valutazione umana delle dimensioni di allineamento).
• Scenari Sperimentali: Lo studio indaga due condizioni principali:
  1. Disponibilità In-Domain: Affinamento dei giudici su dati specifici per il compito.
  2. Indisponibilità Out-of-Domain: Valutazione zero-shot o affinamento su dati correlati ma out-of-domain.
• Configurazioni di Allenamento: Gli autori hanno confrontato:
  • Allineamento Linguistico: Traduzione completa di tutti i componenti (istruzioni, rubriche, output) vs traduzione parziale (mantenendo le rubriche di valutazione e i prompt di sistema in inglese mentre si traducono solo istruzioni e output).
  • Tipo di Supervisione: Allenamento monolingue (singola lingua) vs Allenamento multilingue (dati paralleli combinati).
  • Selezione del Modello: Gli esperimenti hanno utilizzato modelli della famiglia LLaMA (varianti 8B e 70B), inclusi modelli istruiti, modelli con distillazione del ragionamento e modelli già competenti nella lingua target (Latxa per il basco).
  • Analisi della Scala: Confronto tra modelli 8B e modelli 70B e alternative proprietarie (GPT-5.2, Command-A).

Contributi Chiave

1. Espansione delle Risorse: Il lavoro estende due dataset esistenti di meta-valutazione (RECON e FLASK) allo spagnolo e al basco, fornendo un banco di prova controllato per la ricerca sulla valutazione multilingue.
2. Insight Strategici per Contesti In-Domain:
   • Traduzione delle Istruzioni: Mantenere le rubriche di valutazione e le istruzioni in inglese durante l'allenamento e i test (traduzione parziale) produce giudizi più coerenti e una correlazione più alta con le etichette gold rispetto alla traduzione completa, anche per modelli addestrati monolingue.
   • Multilingue vs Monolingue: L'allenamento multilingue migliora le prestazioni per lo spagnolo e il basco rispetto all'allenamento strettamente monolingue, dimostrando un efficace trasferimento cross-linguistico.
   • Competenza del Modello: Adattare un modello già competente nella lingua target (ad esempio, Latxa per il basco) utilizzando istruzioni in inglese è più efficace che addestrare un modello generico su dati tradotti nella lingua target.
   • Scala del Modello: Quando sono disponibili dati in-domain, modelli più piccoli da 8B affinati su dati specifici per il compito possono raggiungere prestazioni comparabili a modelli molto più grandi da 70B e sistemi proprietari.
3. Insight Strategici per Contesti Out-of-Domain:
   • Rischi dell'Affinamento: In scenari out-of-domain, l'affinamento su dati correlati può degradare le prestazioni, in particolare per modelli più grandi (70B), che possono mostrare eccessiva sicurezza e polarizzazione dei punteggi.
   • Superiorità Zero-Shot: Per la valutazione out-of-domain, l'inferenza zero-shot con modelli più grandi si rivela spesso più robusta e affidabile rispetto all'affinamento su dati limitati o correlati.

Risultati

• Prestazioni In-Domain: I modelli addestrati con rubriche di valutazione in inglese (traduzione parziale) hanno raggiunto una correlazione di Pearson di 0,73 con le etichette gold, superando significativamente le configurazioni completamente tradotte (0,56). L'allenamento multilingue ha migliorato i punteggi Pearson di 4,2 punti per il basco e di 1,4 punti per lo spagnolo rispetto alle linee di base monolingue.
• Effetti della Scala: Sebbene le prestazioni zero-shot migliorassero generalmente con la dimensione del modello, l'affinamento ha ridotto i guadagni marginali del scaling. I modelli 8B affinati spesso eguagliavano o superavano i modelli 70B e le alternative proprietarie nei compiti in-domain.
• Prestazioni Out-of-Domain: L'affinamento di modelli 70B su dati out-of-domain ha portato a un degrado della generalizzazione, caratterizzato da una tendenza ad assegnare punteggi estremi (polarizzazione) e da un calo delle metriche relative alla fattualità e alla metacognizione. Al contrario, i modelli 8B hanno beneficiato dell'affinamento, ma hanno comunque ottenuto prestazioni inferiori rispetto ai modelli grandi zero-shot.
• Qualità della Traduzione: L'analisi statistica ha indicato che i benchmark tradotti automaticamente erano sufficienti per identificare strategie di allenamento efficaci, poiché i modelli non differivano sistematicamente nella sensibilità alla qualità della traduzione rispetto ai sottogruppi verificati dall'uomo.

Significato
Il documento fornisce indicazioni pratiche per la costruzione di pipeline di valutazione multilingue efficienti e affidabili. Mette in discussione l'assunto che i modelli più grandi siano sempre superiori, dimostrando che l'affinamento mirato di modelli open-weight più piccoli può essere altamente efficace quando sono disponibili dati in-domain. Al contrario, avverte contro l'affinamento indiscriminato in scenari con scarsità di dati o out-of-domain, dove la valutazione zero-shot di modelli più grandi può essere più robusta. I risultati suggeriscono che la traduzione completa dei prompt di valutazione è spesso inutile e che sfruttare le rubriche in inglese può migliorare la coerenza cross-linguistica. Queste intuizioni mirano a supportare lo sviluppo di sistemi di valutazione più trasparenti, linguisticamente inclusivi ed efficienti dal punto di vista delle risorse per diverse comunità linguistiche.