Towards Reliable Multilingual LLMs-as-a-Judge: An Empirical Study

Probleemstelling
Hoewel Large Language Models (LLM's) steeds vaker worden ingezet als automatische beoordelaars ("LLM's-as-a-Judge") voor gegenereerde tekst, zijn het merendeel van het bestaande onderzoek en de benchmarks gericht op het Engels. Het uitbreiden van deze evaluatiecapaciteiten naar meertalige omgevingen, met name voor taalkundig weinig-resourcerijke talen, blijft een aanzienlijke uitdaging. Huidige lacunes omvatten een gebrek aan robuuste meertalige evaluatiedatasets, onzekerheid over optimale trainingsstrategieën (bijvoorbeeld monolinguale versus meertalige supervisie, vertaling van instructies), en een beperkt begrip van hoe modelgrootte en beschikbaarheid van data (in-domein versus out-of-domein) de betrouwbaarheid van de evaluatie beïnvloeden over talen met verschillende resourceniveaus en typologische structuren.

Methodologie
De auteurs voeren een empirische studie uit met focus op drie talen die verschillende resourceniveaus en taalfamilies vertegenwoordigen: Engels (hoog-resourcerijk, Germaans), Spaans (middel-resourcerijk, Romaans) en Baskisch (laag-resourcerijk, taalisolaat met agglutinerende morfologie).

• Datasetcreatie: Aangezien er geen publieke beoordelingsdatasets bestonden voor Baskisch of Spaans, hebben de auteurs bestaande Engelse datasets aangepast. Ze vertaalden de FeedBack Collection (100k instructie-responsparen) om trainingsdata te creëren. Voor de evaluatie vertaalden ze twee benchmarks: RECON (behandeld als in-domein, volgens hetzelfde generatieprotocol als de trainingsdata) en FLASK (behandeld als out-of-domein, gebaseerd op menselijke scoring van uitlijningsdimensies).
• Experimentele scenario's: De studie onderzoekt twee primaire voorwaarden:
  1. Beschikbaarheid in-domein: Fijnafstemming van beoordelaars op taalspecifieke data.
  2. Niet-beschikbaarheid out-of-domein: Evaluatie van zero-shot of fijnafstemming op gerelateerde maar out-of-domein data.
• Trainingsconfiguraties: De auteurs vergeleken:
  • Taaluitlijning: Volledige vertaling van alle componenten (instructies, rubrieken, outputs) versus gedeeltelijke vertaling (het behouden van evaluatierubrieken en systeemprompten in het Engels terwijl alleen instructies en outputs worden vertaald).
  • Type supervisie: Monolinguale training (één taal) versus meertalige training (gecombineerde parallelle data).
  • Modelselectie: De experimenten maakten gebruik van modellen uit de LLaMA-familie (8B- en 70B-varianten), inclusief instructie-aangepaste modellen, redenerings-gedistilleerde modellen en modellen die al bekwaam waren in de doeltaal (Latxa voor Baskisch).
  • Schaalanalyse: Vergelijking van 8B-modellen met 70B-modellen en propriëtaire alternatieven (GPT-5.2, Command-A).

Belangrijkste bijdragen

1. Uitbreiding van resources: Het werk breidt twee bestaande meta-evaluatiedatasets (RECON en FLASK) uit naar Spaans en Baskisch, waardoor een gecontroleerde testomgeving wordt geboden voor meertalig evaluatieonderzoek.
2. Strategische inzichten voor in-domein settings:
   • Vertaling van instructies: Het behouden van evaluatierubrieken en instructies in het Engels tijdens training en testen (gedeeltelijke vertaling) levert consistentere beoordelingen en een hogere correlatie met gouden labels op dan volledige vertaling, zelfs voor monolinguale getrainde modellen.
   • Meertalig versus monolinguale: Meertalige training verbetert de prestaties voor Spaans en Baskisch in vergelijking met strikt monolinguale training, wat effectieve cross-linguale transfer aantoont.
   • Modelbekwaamheid: Het aanpassen van een model dat al bekwaam is in de doeltaal (bijvoorbeeld Latxa voor Baskisch) met Engelse instructies is effectiever dan het trainen van een algemeen doelmodel op vertaalde doeltaaldata.
   • Modelschaal: Wanneer in-domein data beschikbaar is, kunnen kleinere 8B-modellen die zijn fijnafgestemd op taalspecifieke data prestaties behalen die vergelijkbaar zijn met veel grotere 70B-modellen en propriëtaire systemen.
3. Strategische inzichten voor out-of-domein settings:
   • Risico's van fijnafstemming: In out-of-domein scenario's kan fijnafstemming op gerelateerde data de prestaties verslechteren, met name voor grotere modellen (70B), die een neiging kunnen vertonen tot oververtrouwen en polarisatie van scores.
   • Superioriteit van zero-shot: Voor out-of-domein evaluatie blijkt zero-shot inferentie met grotere modellen vaak robuuster en betrouwbaarder dan fijnafstemming op beperkte of gerelateerde data.

Resultaten

• Prestaties in-domein: Modellen getraind met Engelse evaluatierubrieken (gedeeltelijke vertaling) behaalden een Pearson-correlatie van 0,73 met gouden labels, wat significant beter was dan volledig vertaalde opstellingen (0,56). Meertalige training verbeterde de Pearson-scores met 4,2 punten voor Baskisch en 1,4 punten voor Spaans in vergelijking met monolinguale baselines.
• Schaaleffecten: Hoewel de zero-shot prestaties over het algemeen verbeterden met de modelgrootte, verminderde fijnafstemming de marginale winst van schaling. Fijnafgestemde 8B-modellen kwamen in in-domein taken vaak overeen met of overtroffen 70B-modellen en propriëtaire alternatieven.
• Prestaties out-of-domein: Fijnafstemming van 70B-modellen op out-of-domein data leidde tot een verslechtering van generalisatie, gekenmerkt door een neiging tot het toekennen van extreme scores (polarisatie) en een daling in metrieken gerelateerd aan factualiteit en metacognitie. Omgekeerd profiteerden 8B-modellen van fijnafstemming, maar presteerden ze nog steeds minder goed dan zero-shot grote modellen.
• Kwaliteit van vertaling: Statistische analyse gaf aan dat machine-vertaalde benchmarks voldoende waren voor het identificeren van effectieve trainingsstrategieën, aangezien modellen zich niet systematisch onderscheidden in gevoeligheid voor vertaalkwaliteit in vergelijking met menselijk geverifieerde subsets.

Betekenis
Het artikel biedt praktische richtlijnen voor het opzetten van efficiënte en betrouwbare meertalige evaluatiepijplijnen. Het daagt de aanname uit dat grotere modellen altijd superieur zijn, en toont aan dat gerichte fijnafstemming van kleinere, open-weight modellen zeer effectief kan zijn wanneer in-domein data beschikbaar is. Omgekeerd waarschuwt het voor ongedifferentieerde fijnafstemming in data-schaarse of out-of-domein scenario's, waar zero-shot evaluatie van grotere modellen robuuster kan zijn. De bevindingen suggereren dat volledige vertaling van evaluatieprompten vaak onnodig is, en dat het benutten van Engelse rubrieken de cross-linguale consistentie kan verbeteren. Deze inzichten zijn bedoeld om de ontwikkeling te ondersteunen van transparantere, taalkundig inclusievere en resource-efficiëntere evaluatiesystemen voor diverse taalgemeenschappen.