Technische Samenvatting: JuICE – Een Benchmark voor het Evalueren van LLM-Rechters bij het Identificeren van Culturele Fouten

1. Probleemstelling

Naarmate Large Language Models (LLM's) wereldwijd worden ingezet, krijgen ze steeds vaker de taak cultureel ingebedde activiteiten uit te voeren, zoals het opstellen van persoonlijke communicatie, het brainstormen over creatieve ideeën en het vertellen van verhalen. Deze taken vereisen meer dan feitelijke juistheid; ze vragen om een 'dikke' culturele understanding – contextuele geschiktheid, symbolische resonantie en impliciete verwachtingen die moedertaalsprekers instinctief hanteren.

Huidige culturele benchmarks behandelen cultuur vaak als een vlakke verzameling feiten, waarbij ze vertrouwen op feitelijke verificatie of normatieve afleiding. Bovendien, terwijl het paradigma 'LLM als rechter' de dominante schaalbare aanpak voor evaluatie is geworden, blijft het onduidelijk of deze rechters 'dikke' culturele fouten kunnen detecteren. Dergelijke fouten zijn niet altijd expliciete normschendingen of feitelijke vergissingen, maar manifesteren zich als subtiele oncoherentie in setting, connotatie, specificiteit of ontbrekende context. Een verhaal kan bijvoorbeeld feitelijk plausibel zijn, maar cultureel storend voor een lokale lezer (bijvoorbeeld het beschrijven van jasmijn als een aangename stadsgeur in Indonesië, waar het geassocieerd wordt met begrafenissen). Het kernprobleem dat in dit artikel wordt aangepakt, is het ontbreken van een benchmark om te evalueren of LLM-rechters deze genuanceerde, gelokaliseerde culturele fouten in langere generaties betrouwbaar kunnen identificeren.

2. Methodologie

Datasetconstructie: JuICE

De auteurs presenteren JuICE (Benchmark for LLM-Judge in Identifying Cultural Errors), een meertalige dataset die is ontworpen om fijne culturele en taalkundige fouten vast te leggen.

• Scope: De dataset omvat 1.050 query-responseparen over vier landen (Verenigde Staten, Zuid-Korea, Indonesië, Bangladesh) en vier talen (Engels, Koreaans, Indonesisch, Bengaals).
• Taken: Het behandelt drie open-ended taaktypes: verhaalgeneratie, creatieve ideevorming en 'hoe'-advies.
• Annotatiepijplijn: Er werd een mens-LLM samenwerkende pijplijn gebruikt, waarbij 44 moedertaalsprekers en geavanceerde LLM's (gemini-3-pro, gpt-5.1) betrokken waren.
  1. Fase 1 (Identificatie): Twee moedertaalsprekers en twee LLM-rechters noteerden onafhankelijk reacties op culturele of taalkundige fouten, markeerden spannen en gaven toelichtingen.
  2. Fase 2 (Validatie): Alle geïdentificeerde spannen ondergingen kruisvalidatie. Door mensen gedetecteerde spannen werden gevalideerd door andere annotatoren, terwijl door modellen gedetecteerde spannen door mensen werden gevalideerd. Een foutspan werd alleen in de definitieve dataset opgenomen als alle menselijke validators het erover eens waren dat het een fout was.
• Schaal: Het proces leverde 7.470 span-niveau annotaties op over 33.621 zinnen.

Foutentaxonomie

Op basis van het 'dikke evaluatie'-kader (Qadri et al., 2025) operationaliseren de auteurs een taxonomie die onderscheid maakt tussen 'dunne' (oppervlakkige) en 'dikke' (interpretatieve) fouten:

• Dunne Fouten: Expliciete Taalkundige Fouten (mechanische vergissingen) en Culturele Onnauwkeurigheid (verifieerbare feitelijke fouten).
• Dikke Fouten:
  • Impliciete Taalkundige Fouten: Falen in toon, register of sociolinguïstische nuance.
  • Culturele Incoherentie: Contextuele botsingen van culturele elementen.
  • Culturele Specificiteitsfout: Het verkeerd voorstellen van de grenzen van culturele concepten (over-/ondergeneralisatie).
  • Culturele Connotatiefout: Het verkeerd hanteren van symbolische zwaarte of emotionele resonantie.
  • Culturele Ontoereikendheid: Afwezigheid van kritieke culturele context die nodig is voor volledigheid.

Evaluatietaken

Met behulp van JuICE evalueerden de auteurs diverse state-of-the-art propriëtaire en open-source LLM's die fungeerden als rechters op twee taken:

1. Detectie van Foutieve Spannen: De rechter identificeert specifieke tekstspannen die fouten bevatten. De prestatie wordt gemeten met Intersection over Union (IoU) met een drempelwaarde van $t=0,15$, gekalibreerd tegen een semantische orakel.
2. Classificatie van Foutieve Zinnen: Een binaire classificatietaken die bepaalt of een specifieke zin fouten bevat, gegeven de volledige context.

3. Belangrijkste Resultaten

Prestaties van LLM-Rechters

• Algemene Moeilijkheidsgraad: Zelfs de sterkste LLM-rechter (gemini-3.1-pro-preview) behaalde een F1-score van slechts 0,52 op de taak voor spandetectie.
• Beperkingen in Recall: Bij alle geëvalueerde modellen was de recall voor door mensen gedetecteerde fouten maximaal 0,50, wat aangeeft dat modellen minstens de helft van de fouten die door moedertaalsprekers zijn geïdentificeerd, missen.
• Verschil tussen Dun en Dik: Er bestaat een significant prestatieverschil tussen dunne en dikke fouten.
  • Modellen presteren relatief beter op Expliciete Taalkundige Fouten en Culturele Onnauwkeurigheid (dunne categorieën), met recalls variërend van 0,37 tot 0,72.
  • De prestaties dalen scherp voor dikke culturele fouten. De recall voor Culturele Ontoereikendheid daalde tot zo laag als 0,21–0,35, en Culturele Connotatiefouten waren eveneens moeilijk (0,28–0,60).
• Vergelijking met Eerdere Methodes: Traditionele benaderingen zoals normatieve afleiding (CultureBank) en claimverificatie (CaLMQA) faalden in het vastleggen van deze fouten. Bijvoorbeeld, normatieve afleiding accepteerde reacties die feitelijk consistent waren met algemene normen, maar cultureel incoherent in specifieke contexten (bijvoorbeeld specifieke ingrediëntencombinaties in Koreaanse desserts).

Impact van Richtlijnen

De auteurs testten of het verstrekken van expliciete richtlijnen (definities van de taxonomie voor dikke fouten en few-shot voorbeelden) de prestaties verbeterde met behulp van gemma-4-31B-it.

• Resultaten: De combinatie van taxonomie en few-shot voorbeelden verbeterde de F1-score marginaal (van 0,4457 naar 0,4591).
• Recall-winst: Deze richtlijnen leidden tot een statistisch significante toename in recall voor dikke fouten (toename van 7,6 procentpunten) in vergelijking met dunne fouten (toename van 3,9 procentpunten), wat suggereert dat expliciete kaders modellen helpen diepere culturele nuances te herkennen, hoewel ze het prestatieverschil niet volledig dichten.

4. Bijdragen

1. Nieuwe Evaluatietaken: Het artikel stelt voor om de culturele competentie van LLM's te evalueren via hun rechterlijke capaciteiten, specifiek hun vermogen om culturele fouten in gegenereerde tekst te detecteren en te lokaliseren.
2. JuICE-dataset: De release van een meertalige, multiculturele dataset met 7.500 span-niveau annotaties die zijn gevalideerd door moedertaalsprekers in het Koreaans, Indonesisch, Bengaals en Engels.
3. Empirische Bevindingen: Het aantonen dat huidige LLM-rechters systematisch dikke culturele fouten missen, met lage F1-scores (0,52) en recall (≤0,50) op door mensen gevalideerde fouten, met name voor connotatie, specificiteit en ontoereikendheid.

5. Betekenis en Beperkingen

Betekenis:
De bevindingen suggereren dat robuuste culturele evaluatie moet gaan voorbij oppervlakkige detectie en feitelijke verificatie. Het artikel pleit voor kaders die rekening houden met de 'diepte en situering van culturele betekenis'. Het benadrukt een kritieke kloof waar LLM's feitelijk plausibele tekst kunnen genereren die cultureel 'verkeerd' blijft voor moedertaalsprekers, een falen dat huidige geautomatiseerde rechters moeite hebben te detecteren.

Beperkingen:

• Subjectiviteit: Culturele oordelen zijn inherent pluriform en subjectief; de dataset vertegenwoordigt een conservatieve set van consensus-gevalideerde fouten en vangt mogelijk niet elke subtiele of bespreekbare fout op.
• Demografie: Annotatoren werden voornamelijk gerekruteerd uit universitair verbonden populaties, wat mogelijk de foutdetectiecapaciteiten van jongere, hoogopgeleide sprekers oververtegenwoordigt.
• Vergelijkbaarheid tussen Culturen: De verdeling van fouten varieert aanzienlijk per land en taal, wat betekent dat scores niet moeten worden geïnterpreteerd als directe maatstaven voor het begrip van een model van de ene cultuur versus de andere.
• Afhankelijkheid van Pijplijn: Sommige post-processingstappen (bijvoorbeeld toewijzing van categorieën) maakten gebruik van LLM-ondersteuning, wat betekent dat de labels gestructureerde benaderingen zijn van menselijk oordeel in plaats van een enkele autoritaire grondwaarheid.

De auteurs concluderen dat toekomstig werk zich moet richten op het ontwikkelen van rechtermodellen en evaluatieprotocollen die expliciet gericht zijn op dikke fouten, mogelijk door het integreren van cultureel onderbouwde rubrieken of ophalen uit lokale kennisbronnen.