💬 NLP

LLM Judges Inconsistently Disagree Across Safety Criteria and Harm Categories

Dit artikel onthult dat Large Language Models die worden gebruikt als automatische beoordelaars aanzienlijke inconsistentie en onbetrouwbaarheid vertonen, met name bij het evalueren van gereguleerde domeinen zoals de financiële sector of variërend per taal en criterium, wat het belang benadrukt van zorgvuldige implementatie bij veiligheidsbeoordelingen.

Oorspronkelijke auteurs: Krishnapriya Vishnubhotla, Soumya Vajjala, Akriti Vij, Isar Nejadgholi

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Krishnapriya Vishnubhotla, Soumya Vajjala, Akriti Vij, Isar Nejadgholi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een panel van zes verschillende kunstcritici hebt ingehuurd om een reeks schilderijen te beoordelen. Je wilt dat ze het eens worden over welke schilderijen "veilig" zijn (goed, gepast) en welke "onveilig" zijn (slecht, schadelijk). Je verwacht dat als je ze hetzelfde schilderij laat zien, of zelfs een iets andere versie ervan (zoals een foto van het schilderij in een andere lijst, of een vertaling van de aantekening van de kunstenaar in een andere taal), ze allemaal ongeveer hetzelfde oordeel geven.

Dit artikel gaat over het testen van precies dat, maar in plaats van kunstcritici zijn de "rechters" Large Language Models (AI), en in plaats van schilderijen beoordelen ze AI-gegenereerde tekst op veiligheid.

Hier is de uitslag van wat de onderzoekers vonden, met behulp van eenvoudige analogieën:

1. Het "Voor de hand liggend vs. Subtiel" Probleem

De onderzoekers testten de AI-rechters op twee zeer verschillende soorten "slechte" inhoud:

De "Schreeuwende Brand" Test (Geweld): Ze vroegen de AI om tekst te beoordelen over geweld, haatzaaien of illegale handelingen.
- Het resultaat: De AI-rechters waren hier vrij goed in. Als een schilderij duidelijk in brand stond, waren alle zes de critici het eens: "Dit is onveilig."
De "Financieel Advies" Test (Gereguleerde Domeinen): Ze vrogen de AI om tekst te beoordelen waarin een AI advies geeft over zaken als kredietscores, visumaanvragen of medisch advies.
- Het resultaat: De AI-rechters waren hier verschrikkelijk in het met elkaar eens worden. Het is alsof je zes critici vraagt een schilderij te beoordelen dat bijna een meesterwerk is, maar één klein, subtiel gebrek heeft. De ene criticus zegt: "Het is veilig, slechts een beetje riskant," terwijl een ander zegt: "Het is gevaarlijk, gooi het weg!" Ze konden het in deze complexe, real-world scenario's niet eens worden over wat "veilig" zelfs betekende.

2. Het "Magische Spiegel" Probleem (Zelfconsistentie)

De onderzoekers namen een enkel AI-antwoord en lieten dit aan de rechters zien in verschillende "spiegels":

Vertaling: Ze lieten de tekst zien in het Engels, daarna in het Frans, daarna in het Hindi, enzovoort.
Parafraseren: Ze herschreven de tekst om het formeler of informeler te laten klinken, of om de volgorde van de zinnen te veranderen, zonder de eigenlijke betekenis te veranderen.
Het resultaat: De rechters waren inconsistent. Als een rechter zei: "Deze Engelse zin is veilig," konden ze naar exact dezelfde zin kijken, vertaald naar het Hindi, en zeggen: "Wacht, deze Hindi-versie is onveilig!" Of ze keken naar een geparafraseerde versie en veranderden van gedachten.
De Metafoor: Stel je een beveiligingsbeambte voor die een persoon in een rood shirt tegenhoudt, maar dezelfde persoon in een blauw shirt gewoon doorlaat, ook al is het exact dezelfde persoon. De AI-rechters laten zich gemakkelijk misleiden door hoe de woorden zijn aangekleed, en niet door wat de woorden daadwerkelijk zeggen.

3. Het "Jury" Probleem (Cross-Consistentie)

De onderzoekers vroegen ook: "Als we alle zes de AI-rechters samen in een kamer zetten, zullen ze het dan met elkaar eens zijn?"

Het resultaat: Nee. Zelfs wanneer ze naar exact dezelfde tekst in exact dezelfde taal kijken, geven de rechters vaak tegenovergestelde antwoorden.
De Metafoor: Stel je een jury voor waarbij één persoon "Schuldig" stemt, een ander "Onschuldig" en een derde "Misschien". Ze kijken allemaal naar hetzelfde bewijs, maar ze hebben totaal verschillende interne regelboeken voor wat een misdaad vormt. Het paper stelt vast dat voor complexe onderwerpen (zoals financieel advies), de "jury" vaak in totale chaos verkeert.

4. De "Nepovereenstemming" Valstrik

Het paper wijst op een verraderlijke statistische illusie.

Soms zeggen alle rechters in 99% van de gevallen "Veilig". Als je alleen de "Ja"-stemmen telt, lijkt het alsof ze in perfecte overeenstemming zijn (100% consistentie).
De Catch: Maar als ze alleen maar "Veilig" zeggen omdat ze lui zijn of bevooroordeeld, en niet echt over de specifieke details nadenken, dan is dat geen echte overeenstemming. De onderzoekers gebruikten speciale wiskunde (zoals een "kans-gecorrigeerde" score) om deze nepovereenstemming weg te filteren.
De Metafoor: Het is als een groep vrienden die het antwoord op een quizvraag raden. Als het antwoord in 99% van de gevallen "Ja" is, en ze raden allemaal "Ja", dan lijken ze genieën. Maar als de vraag eigenlijk moeilijk is en ze gewoon het meest voorkomende antwoord gokken, dan zijn ze niet echt eens over de redenering. Het paper laat zien dat wanneer je dieper kijkt, de AI-rechters in werkelijkheid veel van elkaar verschillen.

De Conclusie

Het paper concludeert dat hoewel AI-rechters oké zijn in het herkennen van overduidelijke, luidruchtige gevaren (zoals geweld), ze onbetrouwbaar en inconsistent zijn bij het beoordelen van genuanceerd, real-world advies (zoals financiën of recht).

Als je een AI gebruikt om als veiligheidsbewaker te fungeren voor complexe onderwerpen, kun je hem niet vertrouwen om consistent te zijn. Hij kan een gevaarlijk antwoord doorlaten, simpelweg omdat de zinsstructuur licht is veranderd, of hij kan een veilig antwoord afwijzen omdat het in een andere taal is vertaald. De "jury" van AI-modellen is momenteel te verdeeld om zonder menselijk toezicht vertrouwd te worden voor beslissingen met een hoge inzet.

Technische Samenvatting: LLM-beoordelaars vertonen inconsistentie in overeenstemming over veiligheidscriteria en schadecategorieën

Probleemstelling

Het gebruik van Large Language Models (LLM's) als geautomatiseerde beoordelaars ("LLM-as-a-Judge") is een veelvoorkomend paradigma geworden voor het evalueren van de veiligheid van modellen, waarbij ze vaak menselijke annotatie vervangen of aanvullen vanwege de schaalbaarheid. Echter, bestaand onderzoek richt zich voornamelijk op de nauwkeurigheid van deze beoordelaars ten opzichte van menselijke annotatoren of gaat uit van veiligheid als een eendimensionale constructie (veilig vs. onveilig).

Dit artikel adresseert een kritiek gat: de consistentie van LLM-beoordelaars bij het evalueren van veiligheid over meerdimensionale criteria en semantisch invariante transformaties (bijv. vertalingen, parafrasering) in een referentievrije setting. De auteurs onderzoeken of LLM's betrouwbare, stabiele oordelen geven wanneer de inhoud van de input taalkundig wordt gewijzigd maar de semantische betekenis behoudt, en of verschillende beoordelaars met elkaar overeenstemmen (cross-consistentie) over diverse veiligheidsdimensies, met name in genuanceerde, gereguleerde domeinen versus overduidelijk schadelijke inhoud.

Methodologie

De studie maakt gebruik van een referentievrije evaluatiewerkstroom die is ontworpen om zowel zelf-consistentie (de stabiliteit van een enkele beoordelaar over variaties heen) als cross-consistentie (overeenstemming tussen meerdere beoordelaars) te meten.

1. Dataconstructie

Seed Queries: De auteurs maakten gebruik van 89 seed queries uit de AIRBench-2024 dataset, gecategoriseerd in twee verschillende risictypes:
- OPMISUSE (Operationeel Misbruik): 50 queries gericht op "Geautomatiseerde Besluitvorming" en "Advies in Gereguleerde Industrieën" (bijv. financiën, werving). Deze vertegenwoordigen genuanceerde, cultuurafhankelijke scenario's.
- VIOLENCE (Geweld): 39 queries die overduidelijk schadelijke inhoud dekken (geweld, extremisme, zelfbeschadiging, criminele activiteiten).
Variatiegeneratie:
- Culturele/Geografische Variaties: Voor OPMISUSE werden 5 variaties per query gegenereerd door namen, locaties en valuta aan te passen aan verschillende culturen (totaal 300 queries).
- Vertalingen: Alle queries en antwoorden werden vertaald in vijf talen (Frans, Arabisch, Perzisch, Telugu, Hindi) naast Engels.
- Parafrasering: Voor de OPMISUSE-antwoorden werden 10 semantisch consistente variaties gegenereerd per antwoord, waarbij de toon (formeel vs. conversatieel), structuur (conclusie eerst vs. conclusie laatst) en explicietheid werden gewijzigd, terwijl de feitelijke inhoud behouden bleef.
Antwoordgeneratie: Alle antwoorden werden gegenereerd door een enkele sterke generator-model (GPT-4o-Mini) om de variabiliteit van de beoordelaar te isoleren.

2. Evaluatieopstelling

Beoordelaars: Zes state-of-the-art LLM's werden gebruikt als beoordelaars: Gemini-2.5-Flash, GPT-4o-Mini, Claude-Haiku-4.5, Command-A, Llama-3.3-70B, en Gemma-3-27B.
Criteria: Beoordelaars evalueerden antwoorden tegen zes dimensies:
1. Weigering (Refusal): Weigerde het model het verzoek?
2. Veiligheid (Safety): Is het antwoord veilig?
3. Behulpzaamheid (Helpfulness): Is het antwoord relevant en behulpzaam?
4. Uitleg (Explanation): Legde het model zijn beslissing uit?
5. Waarschuwingen (Warnings): Werd er noodzakelijke waarschuwing/disclaimer gegeven?
6. Culturele Gevoeligheid (Cultural Sensitivity): Behandelde het model culturele signalen op een passende wijze?
Metrieken: Consistentie werd gemeten met behulp van Krippendorff's Alpha (kans-gecorrigeerd) en Cohen's Kappa, naast de ruwe percentage overeenstemming. De auteurs benadrukken de noodzaak van kans-gecorrigeerde metrieken om opgeblazen scores te voorkomen die worden veroorzaakt door label-imbalans (bijv. bijna universele "veilige" labels).

Belangrijkste Bijdragen

Werkstroomontwikkeling: Een nieuwe werkstroom voor het meten van de consistentie van LLM-beoordelaars over zes veiligheidscriteria zonder gouden standaard-annotaties.
Uitgebreide Evaluatie: Een evaluatie van zelf- en cross-consistentie over zes LLM's, ~350 veiligheidsprompts, twee risicocategorieën en zes talen.
Methodologische Inzicht: Een demonstratie dat ruwe overeenstemmingsscores misleidend kunnen zijn in veiligheidsevaluaties vanwege klasse-imbalans, wat pleit voor het gebruik van kans-gecorrigeerde metrieken (Krippendorff's $\alpha$ ) om de werkelijke betrouwbaarheid te onthullen.

Resultaten

1. Domeinspecifieke Betrouwbaarheid

Expliciete Schade (VIOLENCE): LLM-beoordelaars vertoonden een hogere betrouwbaarheid en overeenstemming bij het identificeren van overduidelijk schadelijke inhoud (geweld, illegale handelingen). De overeenstemming was over het algemeen hoog voor criteria zoals Weigering en Veiligheid in deze categorie.
Gereguleerd Advies (OPMISUSE): Beoordelaars waren aanzienlijk onbetrouwbaar bij het identificeren van veiligheidskwesties gerelateerd aan advies in gereguleerde domeinen (bijv. financiën). Er was een hoge mate van onenigheid tussen beoordelaars over de vraag of een antwoord "veilig" of "behulpzaam" was in deze contexten.

2. Zelf-consistentie (Stabiliteit over Variaties)

Lage Stabiliteit in Genuanceerde Domeinen: Beoordelaars vertoonden een lage zelf-consistentie voor de OPMISUSE-categorie. Wanneer antwoorden werden geparafraseerd of vertaald, veranderden beoordelaars frequent van oordeel over dimensies zoals Veiligheid, Behulpzaamheid en Culturele Gevoeligheid.
Hoge Stabiliteit in Expliciete Signalen: Dimensies gekoppeld aan expliciete tekstuele signalen (bijv. Weigering, Aanwezigheid van Waarschuwingen) vertoonden een hogere consistentie.
Linguïstische Gevoeligheid: Culturele Gevoeligheid was de minst betrouwbare dimensie over alle beoordelaars en talen, wat aangeeft dat beoordelaars moeite hebben met het consistent interpreteren van cultureel gewortelde nuances.

3. Cross-consistentie (Overeenstemming tussen Beoordelaars)

Hoge Onenigheid: Er was substantiële onenigheid tussen verschillende beoordelaars voor dezelfde input, met name in de OPMISUSE-categorie.
De "Veiligheidsparadox": In de OPMISUSE-categorie was de ruwe overeenstemming voor het criterium "Veiligheid" vaak hoog (omdat de meeste beoordelaars antwoorden als "veilig" labelden), maar Krippendorff's Alpha was nabij nul of negatief. Dit geeft aan dat de overeenstemming werd gedreven door de prevalentie van het label in plaats van een oprechte consensus over de definitie van veiligheid.
Impact van Taal: De overeenstemming tussen beoordelaars varieerde significant per taal, waarbij sommige talen een hogere instabiliteit vertoonden dan andere.

4. Kwalitatieve Bevindingen

Gemiste Waarschuwingen: Beoordelaars faalden vaak in het detecteren van de afwezigheid van noodzakelijke disclaimers in gereguleerde domeinen (bijv. het verstrekken van een kredietscore zonder waarschuwing), zelfs wanneer ze expliciet werden gevraagd dit te controleren.
Inconsistente Interpretatie: Subjectieve criteria zoals "Culturele Gevoeligheid" en "Uitleg" werden inconsistent geïnterpreteerd over verschillende talen en zelfs door dezelfde beoordelaar op verschillende variaties van dezelfde tekst.

Betekenis en Claims

Het artikel concludeert dat LLM's momenteel onbetrouwbaar zijn als geautomatiseerde beoordelaars voor genuanceerde, meerdimensionale veiligheidsevaluaties, vooral in gereguleerde domeinen waar context en culturele gevoeligheid cruciaal zijn.

Beperkingen van Huidige Praktijk: De studie daagt de geldigheid uit van het gebruik van LLM's als een "jury" voor veiligheidsevaluatie zonder zorgvuldige kalibratie, aangezien verschillende modellen geen gemeenschappelijke definitie van veiligheid delen.
Implicaties voor Metrieken: Het vertrouwen op enkel ruwe overeenstemmingsscores leidt tot een overschatting van de consistentie van de beoordelaar. De auteurs stellen dat kans-gecorrigeerde metrieken essentieel zijn voor een nauwkeurige beoordeling.
Praktische Aanbevelingen:
- LLM-beoordelaars zijn geschikter voor het detecteren van duidelijke, oppervlakkige veiligheidssignalen (bijv. overduidelijk geweld) dan voor het evalueren van genuanceerd, contextafhankelijk gedrag.
- Praktijkgebruikers moeten beoordelaars zorgvuldig selecteren op basis van specifieke criteria (bijv. sommige modellen zijn wellicht beter in het detecteren van "Waarschuwingen" terwijl andere beter zijn in "Weigering").
- Evaluatiepipelines moeten rekening houden met linguïstische en culturele variaties, aangezien veiligheidsoordelen zeer gevoelig zijn voor deze factoren.

De auteurs positioneren deze bevindingen als een oproep voor meer rigoureuze kalibratiepraktijken en een herwaardering van het "LLM-as-a-Judge"-paradigma in complexe, real-world veiligheidsscenario's.