Challenges and Recommendations for LLMs-as-a-Judge in Multilingual Settings and Low-Resource Languages

Probleemstelling
Het "LLM-as-a-Judge"-paradigma is de dominante evaluatiemethode geworden voor taken binnen natuurlijke taalgeneratie (NLG), grotendeels vanwege de hoge correlatie tussen LLM-oordelen en menselijke beoordelingen in het Engels, evenals de voordelen op het gebied van kosten en schaalbaarheid ten opzichte van menselijke annotatie. Echter, dit paradigma wordt steeds vaker uitgebreid naar meertalige instellingen en talen met weinig middelen (low-resource languages, LRLs) zonder voldoende validatie. Het artikel identificeert een kritieke kloof: hoewel LLM's beperkte bekwaamheid vertonen in LRLs, passen onderzoekers hen vaak toe als beoordelaars in deze contexten zonder hun betrouwbaarheid te verifiëren. Dit leidt tot risico's zoals inconsistente evaluatieuitkomsten, overschatting van prestaties in LRLs, en een wijdverbreide afhankelijkheid van enkelvoudige beoordelingsmodellen zonder menselijke validatie of ensemble-methoden. De auteurs merken op dat bestaande surveys over LLM-as-a-Judge zich voornamelijk op Engels richten, waardoor er een gebrek is aan systematische analyse met betrekking tot de betrouwbaarheid van deze beoordelaars in meertalige en low-resource contexten.

Methodologie
Om deze kloof te adresseren, hebben de auteurs een systematisch literatuuronderzoek uitgevoerd van de ACL Anthology.

• Zoekstrategie: Ze implementeerden een reproduceerbare pipeline om metadata (titels en abstracts) van de ACL Anthology te doorzoeken met drie groepen trefwoorden: (1) LLMs, (2) Judge/Evaluatiefunctionaliteit, en (3) Low-resource/Meertalige contexten.
• Filtering: Vanuit een initiële set van 650 papers die LLM-as-a-Judge vermelden, leverde de zoekopdracht 49 kandidaten op die trefwoorden bevatten met betrekking tot low-resource of meertalige contexten.
• Annotatie: De auteurs hebben deze 49 papers handmatig beoordeeld, waarbij papers werden uitgesloten waar LLM's werden gebruikt voor directe tekstlabeling (annotator-georiënteerd) in plaats van het evalueren van modeloutputs (evaluator-georiënteerd), of waar de focus lag op niet-natuurlijke talen (bijv. code).
• Definitieve Corpus: Dit proces resulteerde in een definitieve corpus van 33 in-scope papers.
• Analyse-dimensies: De auteurs analyseerden deze 33 papers over vijf dimensies: beoordelingsparadigma (bijv. directe scoring, paarvergelijking), downstream NLP-taken, beoordelingsmodelfamilies (closed-source vs. open-source), taaldekking en de gebruikte validatieprotocollen om de betrouwbaarheid van de beoordelaar te toetsen.

Belangrijkste bevindingen en resultaten
De analyse van de 33 papers onthult verschillende structurele zwakheden in de huidige onderzoeksinstellingen:

1. Oppervlakkige diepgang in low-resource dekking: Hoewel veel papers aanspraak maken op meertalige dekking, is de focus op werkelijk low-resource talen oppervlakkig. Van de 33 papers bevatten er slechts 8 (24%) low-resource talen als ten minste de helft van hun evaluatieset. De dekking is sterk scheefgetrokken naar talen met meer middelen, en specifieke regio's (bijv. inheemse Amerikaanse, Pacifische en de meeste Sub-Saharaanse talen) zijn grotendeels afwezig.
2. Dominantie van closed-source en enkelvoudige beoordelaars: Het beoordelingsecosysteem wordt gedomineerd door closed-source modellen, met name de GPT-familie (gebruikt in 79% van de papers). Bovendien vertrouwen 48% van de studies op één enkele beoordelingsmodelfamilie, en 33% gebruikt GPT als de enige beoordelaar. Cross-judge validatie komt zelden voor.
3. Tekortkomingen in validatie: Hoewel 73% van de papers enige vorm van menselijke vergelijking rapporteert, vindt deze validatie vaak alleen plaats op Engelse of hoogwaardige (high-resource) subsets. Zo valideren sommige studies een meertalige beoordelaar met behulp van enkel Engelse benchmarks, waardoor de betrouwbaarheid in de doel-LRL's ongetoetst blijft. Verschillende papers zetten LLM-beoordelaars in voor LRL's (bijv. Nepalees, Yorùbá) zonder enige menselijke of gold-label controles, uitgaande van betrouwbaarheid op basis van de meertalige capaciteiten van de beoordelaar in plaats van empirisch bewijs.
4. Inconsistentie en bias: Bestaand bewijs geciteerd in het paper geeft aan dat de overeenstemming tussen mens en LLM significant afneemt in LRL's. Problemen zoals verbositeitsbias (verbosity bias), zelfversterkingsbias (self-enhancement bias) en taal-specifieke prestatieverslechtering zijn prominenter aanwezig in low-resource settings.

Aanbevelingen
Op basis van deze bevindingen doen de auteurs vier specifieke aanbevelingen voor de NLP-gemeenschap:

1. Valideer in de doelcontext: Onderzoekers moeten onderzoeken of een beoordelaar betrouwbaar is voor de specifieke doeltaal, in plaats van aan te nemen dat Engelse validatie overdraagbaar is naar LRL's.
2. Houd mensen in de loop: Menselijke evaluatie moet worden uitgevoerd op ten minste een subset van de data voor LRL's, vergezeld van statistische betrouwbaarheidsinschattingen. Onderzoekers moeten ook de demografie en expertise van menselijke evaluatoren documenteren om representativiteit te waarborgen.
3. Heroverweeg de noodzaak van metrieken: Voordat men overgaat tot LLM-as-a-Judge, moeten onderzoekers overwegen of niet-LLM metrieken (bijv. chrF, Exact Match) even haalbaar zijn. LLM-beoordelaars zouden alleen gebruikt moeten worden wanneer geen betere bestaande metriek beschikbaar is en ze moeten worden gebruikt in combinatie met gevalideerde traditionele metrieken om fouten zoals mismatches in taalvariëteit op te vangen.
4. Overweeg culturele en domeinrelevantie: Evaluatie moet verder gaan dan linguïstische competentie en ook culturele competentie en domeinspecifieke relevantie (bijv. medische of juridische contexten) omvatten, aangezien LLM's culturele stereotypen kunnen versterken of kunnen falen in gespecialiseerde domeinen.

Betekenis en claims
Het paper beweert dat hoewel LLM-as-a-Judge efficiëntie biedt, de toepassing ervan in meertalige en low-resource settings momenteel onhoudbaar is vanwege een gebrek aan validatie en een overmatige afhankelijkheid van onbewezen aannames. De auteurs stellen dat zonder rigoureuze validatie, het gemak van het gebruiken van LLM's als beoordelaars kan leiden tot een degradatie van de kwaliteit van de evaluatie, wat een cyclus creëert waarin modellen worden beoordeeld door andere modellen die zelf slecht gevalideerd zijn in die talen. De studie dient als een oproep tot actie voor de ACL-gemeenschap om voorbij oppervlakkige meertalige claims te gaan en robuuste, door mensen gevalideerde evaluatieprotocollen voor low-resource talen vast te stellen. De auteurs verklaren expliciet dat hun werk een survey is van de bestaande literatuur en geen nieuwe experimenten introduceert, met als doel de tekortkomingen in huidige onderzoekstrends aan te stippen.