💬 NLP

EvalMORAAL: Interpretable Chain-of-Thought and LLM-as-Judge Evaluation for Moral Alignment in Large Language Models

EvalMORAAL is een transparant, interpreteerbaar kader dat morele uitlijning evalueert in 20 grote taalmodellen aan de hand van wereldwijde surveygegevens, waarbij sterke over het algemeen correlaties worden blootgelegd maar ook een significante uitlijningstussenruimte van 0,21 punt tussen westerse en niet-westerse regio's.

Oorspronkelijke auteurs: Hadi Mohammadi, Anastasia Giachanou, Robert A. Bagheri

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hadi Mohammadi, Anastasia Giachanou, Robert A. Bagheri

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantische, superintelligente bibliotheek met boeken voor die een robot heeft gelezen om te leren spreken. Deze robot, een Large Language Model (LLM), is buitengewoon bekwaam in het schrijven van verhalen, het beantwoorden van vragen en het oplossen van raadsels. Maar er is een addertje onder het gras: de robot heeft voornamelijk geleerd uit boeken die in het Engels zijn geschreven, grotendeels door mensen in westerse landen (zoals de VS en Europa).

Stel je nu voor dat je deze robot een vraag stelt over wat "goed" of "slecht" is in een cultuur waarover hij weinig heeft geleerd, zoals in delen van Afrika of Azië. Zal de robot een antwoord geven dat past bij die cultuur, of zal hij gewoon het antwoord geven dat hij heeft geleerd uit zijn westerse boeken?

Dit is precies wat het paper EvalMORAAL onderzoekt. De onderzoekers bouwden een "morele test" om te zien hoe goed 20 verschillende AI-robots de morele waarden van mensen over de hele wereld begrijpen.

Hier is hoe ze dit deden, uitgelegd met enkele eenvoudige analogieën:

1. De Test: Een Wereldwijde "Morele Enquête"

De onderzoekers stelden de robots niet zomaar willekeurige vragen. Ze gebruikten twee enorme, real-world enquêtes (de World Values Survey en de PEW Global Attitudes Survey) waarin echte mensen in 64 landen werden gevraagd naar 23 verschillende morele thema's.

De Thema's: Dingen als "Is het oké om belasting te ontduiken?" "Is homoseksualiteit acceptabel?" of "Is het oké om geweld te gebruiken om een probleem op te lossen?"
Het Doel: Ze wilden zien of de antwoorden van de AI overeenkwamen met het gemiddelde antwoord van de echte mensen in dat specifieke land.

2. De Methode: Twee Manieren om te Vragen, Eén "Rechter"

Om de beste resultaten te krijgen, vroegen de onderzoekers de AI niet zomaar een simpel "Ja" of "Nee". Ze gebruikten een drieledige strategie:

De "Verborgen" Score (Log-kansen): Stel je voor dat je de AI vraagt een zin af te maken zoals: "In Japan is homoseksualiteit..." De AI moet kiezen tussen "acceptabel" of "niet acceptabel". De onderzoekers keken hoe zeker de AI was in zijn keuze op basis van zijn interne wiskunde. Dit is als kijken hoe snel de hand van een student beweegt wanneer hij het antwoord opschrijft; het toont hun ingewandsgewaarheid.
De "Denk"-Score (Chain-of-Thought): Dit is de grote innovatie. In plaats van alleen een antwoord te geven, vroegen de onderzoekers de AI eerst om hardop na te denken.
- Stap 1: "Wat zijn de sociale normen in dit land?"
- Stap 2: "Redeneer stap voor stap: Is dit hier oké?"
- Stap 3: "Geef een score van -1 (nooit oké) tot +1 (altijd oké)."
- Het Resultaat: Deze "denk"-stap werkte veel beter. Het was alsof je de AI een moment gaf om "culturele bril" op te doen voordat hij antwoordde, in plaats van gewoon te gokken.
De "Peer Review" (LLM als Rechter): Om ervoor te zorgen dat de AI niet zomaar dingen verzon, lieten ze de 20 verschillende robots elkaars "denk"-stappen beoordelen. Als de redenering van Robot A vreemd of bevooroordeeld klonk, zou Robot B dit markeren. Dit hielp de onderzoekers 348 specifieke gevallen te vinden waarin de robots sterk van mening verschilden.

3. De Resultaten: Goed Nieuws, Slecht Nieuws

De studie vond enkele zeer duidelijke patronen:

De "Top Tier" wordt Beter: De slimste modellen (zoals Claude-3-Opus en GPT-4o) doen het verrassend goed. Wanneer ze worden gevraagd naar morele kwesties in westerse landen, komen hun antwoorden bijna perfect overeen met echte menselijke enquêtes (ongeveer 90% correlatie). Het is als een student die hard heeft gestudeerd en een A haalde op de toets.
De "Regionale Kloof" is Echt: Dit is de belangrijkste bevinding. De robots zijn geweldig in het begrijpen van westerse waarden (zoals in de VS of Europa), maar ze worstelen aanzienlijk met niet-westerse waarden (zoals in het Midden-Oosten, Zuid-Azië of Afrika).
- De Analogie: Stel je een vertaler voor die vloeiend Frans en Spaans spreekt, maar slechts een paar woorden Swahili kent. Als je hen vraagt een complex Swahili-gedicht te vertalen, raden ze misschien de betekenis, maar zullen ze het waarschijnlijk verkeerd hebben. Het paper vond een kloof van 21 punten tussen hoe goed de AI westerse culturen begreep versus niet-westerse culturen.
Geweld is Moeilijk: De robots worstelden het meest met thema's die geweld betreffen (zoals terrorisme of huiselijk geweld). Dit zijn de vragen waar culturele context het belangrijkst is, en waar de "westerse voorkeur" van de AI het sterkst naar voren kwam.

4. Waarom Dit Belangrijk Is

Het paper concludeert dat hoewel AI grote vooruitgang boekt, het in veel delen van de wereld nog steeds "cultureel blind" is.

Het Probleem: Als we deze AI-robots gebruiken om beslissingen te nemen (zoals het modereren van sociale media of het geven van juridisch advies) in niet-westerse landen, kunnen ze legitieme lokale stemmen het zwijgen opleggen of lokale gebruiken verkeerd begrijpen, omdat ze westerse regels toepassen op niet-westerse situaties.
De Oplossing: De onderzoekers suggereren dat we niet kunnen vertrouwen op één "wereldwijde" AI. We moeten controleren hoe deze modellen presteren in specifieke regio's, de "denk"-methode (Chain-of-Thought) gebruiken om ze te verbeteren, en ze misschien trainen met meer diverse data, zodat ze niet klinken alsof ze uit één specifieke wijk komen.

Kortom: Het paper bouwde een spiegel om ons te laten zien dat onze AI-robots momenteel zeer goed zijn in het weerspiegelen van westerse waarden, maar nog steeds leren hoe ze de wereld door de ogen van de rest van de wereld moeten zien.

Technische Samenvatting: EvalMORAAL

Probleemstelling

De snelle implementatie van Large Language Models (LLM's) in wereldwijde contexten roept kritieke zorgen op over hun vermogen om diverse morele normen te reflecteren. Huidige modellen, vaak getraind op data die wordt gedomineerd door Westerse, Geëmancipeerde, Geïndustrialiseerde, Rijke en Democratische (W.E.I.R.D.) samenlevingen, riskeren culturele vooroordelen te versterken en af te wijken van lokale ethische standaarden. Hoewel eerdere onderzoek moderate correlaties heeft aangetoond tussen LLM-outputs en menselijke surveydata, blijven er aanzienlijke gaten bestaan in het begrijpen van de granulariteit van deze afstemmingen, de stabiliteit van modelredenering en de specifieke mechanismen waarmee regionale vooroordelen tot uiting komen. Bestaande evaluatiemethoden vertrouwen vaak op enkele scorescores of missen systematische protocollen voor het detecteren en oplossen van conflicten in morele oordelen tussen verschillende culturen.

Methodologie: Het EvalMORAAL-kader

De auteurs introduceren EvalMORAAL, een transparant evaluatiekader dat is ontworpen om morele afstemming in LLM's te beoordelen met een multifaceted aanpak. Het kader evalueert 20 diverse modellen (variërend van 3B tot 200B+ parameters, inclusief propriëtaire en open-source systemen) over 64 landen en 23 morele onderwerpen.

1. Datasets en Grondwaarheid

De evaluatie maakt gebruik van twee uitgebreide interculturele enquêtes als grondwaarheid:

World Values Survey (WVS): 55 landen, 19 onderwerpen (blok Ethische Waarden en Normen).
PEW Global Attitudes Survey: 39 landen, 8 onderwerpen.
De data wordt genormaliseerd naar een schaal van $[-1, 1]$ , waarbij -1 staat voor "nooit verdedigbaar" en +1 voor "altijd verdedigbaar". De evaluatie werkt met 1.357 unieke land-onderwerp-paren in plaats van geaggregeerde nationale scores om de structuur op onderwerpniveau te behouden.

2. Dual Scoring Mechanisme

Om een eerlijke vergelijking mogelijk te maken en zowel impliciete als expliciete morele redenering te vangen, hanteert het kader twee onderscheiden scoringmethoden voor elk model:

Log-kans Score ( $s_{LP}$ ): Afgeleid van token-kansen met behulp van zinsvoltooiingsprompts met antonieme bijvoeglijke naamwoordparen (bijvoorbeeld "altijd verdedigbaar" versus "nooit verdedigbaar"). Scores worden per model min-max geschaald om informatielekken te voorkomen.
Directe CoT Score ( $s_{DIR}$ ): Genereerd via een gestructureerd Chain-of-Thought (CoT)-protocol waarbij het model wordt gevraagd sociale normen te herinneren, stap voor stap te redeneren en een gebonden numerieke score uit te voeren ( $x \in [-1, 1]$ ). Om stabiliteit te waarborgen, worden $k=5$ steekproeven gegenereerd per scenario en wordt de gemiddelde score berekend.

3. Zelfconsistentie en Peer Review

Zelfconsistentie: Gemeten door de gemiddelde paarsgewijze cosinusgelijkheid van de $k=5$ redeneerembeddings. Dit beoordeelt de stabiliteit van het redeneerproces van het model.
LLM-as-Judge Peer Review: Een nieuw onderdeel waarbij 19 modellen de redeneersporen van het 20e model evalueren (exclusief zelfbeoordeling). Rechters beoordelen culturele plausibiliteit, logische consistentie en geschiktheid van de score, en retourneren een label "VALID/INVALID" met een korte rechtvaardiging. De Peer-Agreement Rate ( $A_m$ ) is het fractie van de sporen van een model die door peers worden gevalideerd.
Conflictdetectie: Conflicten worden gemarkeerd wanneer de directe scores van twee modellen met $\ge 0,38$ verschillen (de empirische 75e percentiel). Deze worden gecategoriseerd in binaire conflicten, gradiëntoneenstemmigheden en uitschieters.

Belangrijkste Bijdragen

Uitgebreid Evaluatiekader: EvalMORAAL biedt een reproduceerbare, drie-fasen pipeline (Dual Elicitation, Zelfconsistentie, Peer Review) die verder gaat dan eenvoudige correlatiemetingen om de kwaliteit en stabiliteit van redenering te analyseren.
Systematische Dual Scoring: Het artikel toont aan dat het combineren van log-kansprobing met expliciete CoT-redenering robuustere afstemmingsmetrieken oplevert dan welke methode dan ook alleen.
Conflicttaxonomie: Het kader introduceert een datagedreven methode om morele meningsverschillen tussen modellen te detecteren en te categoriseren, waarbij 348 specifieke conflicten in de evaluatieset worden geïdentificeerd.
Regionale Afstemmingsanalyse: Door de resultaten te ontleden op geografie, kwantificeert de studie de aanhoudende kloof tussen Westerse en niet-Westerse morele afstemming.

Resultaten

Hoge Top-tier Afstemming: De best presterende modellen (Claude-3-Opus, GPT-4o, Gemini-Pro) bereiken een sterke afstemming met menselijke surveydata op de WVS-dataset, met Pearson-correlatiecoëfficiënten ( $r$ ) die ongeveer 0,90 bereiken (bijvoorbeeld Claude-3-Opus $r=0,903$ ).
Superioriteit van Directe CoT Scoring: Voor alle 20 modellen presteert de Directe CoT-score ( $r_{DIR}$ ) systematisch beter dan de Log-kansscore ( $r_{LP}$ ). De verbetering is bescheiden op WVS ( $\Delta r \approx 0,10$ ) maar aanzienlijk groter op PEW ( $\Delta r \approx 0,17$ ), wat suggereert dat gestructureerde redenering modellen helpt oordelen beter te kalibreren.
Aanhoudende Regionale Kloof: Er bestaat een aanzienlijke discrepantie tussen regio's. Westerse regio's tonen een gemiddelde afstemming van $r=0,82$ , terwijl niet-Westerse regio's gemiddeld $r=0,61$ scoren, wat een absolute kloof van 0,21 creëert. Deze kloof is consistent over prestatieniveaus heen.
Peer Agreement als Kwaliteitssignaal: Peer-agreement rates correleren sterk met WVS-enquêteafstemming ( $r=0,74, p<.001$ ), wat suggereert dat modelconsensus kan dienen als een schaalbaar proxy voor redeneerkwaliteit. Deze correlatie is echter zwakker en niet-significant voor de PEW-dataset.
Onderwerp Moeilijkheid: Onderwerpen gerelateerd aan geweld (bijvoorbeeld politiek geweld, terrorisme, vrouwenslag) tonen consequent de hoogste gemiddelde absolute fouten over alle modelniveaus, wat aangeeft dat deze gebieden uitdagend blijven voor culturele afstemming.
Conflictoplossing: Van de gedetecteerde conflicten werden 89% opgelost via meerderheidsstemming onder de 20 modellen, waarbij de overige 11% ambigu gevallen vertegenwoordigen die menselijke validatie vereisen.

Betekenis en Aanspraken

De auteurs beweren dat EvalMORAAL reële vooruitgang toont naar cultuurbewuste AI, waarbij top-tier modellen nu menselijke morele oordelen in surveycontexten nauw benaderen. Het artikel behoudt echter een bescheiden houding, met de nadruk dat de 21-punts regionale kloof een grote barrière blijft voor een billijke wereldwijde implementatie.

De studie benadrukt dat hoewel huidige modellen goed kunnen afstemmen op Westerse normen, ze moeite hebben niet-Westerse perspectieven te vangen, met name in complexe of geweldgerelateerde morele domeinen. De auteurs betogen dat het vermogen van het kader om menselijk leesbare redeneersporen (CoT) te genereren, een praktische weg biedt voor het diagnosticeren van deze blinde vlekken. Ze concluderen dat hoewel geautomatiseerde peer review veelbelovend is voor kwaliteitscontrole, menselijk toezicht en regio-specifieke validatie essentieel zijn voordat dergelijke systemen worden ingezet in hoog-risico, niet-Westerse contexten. Het artikel claimt niet deze afstemmingsproblemen op te lossen, maar biedt wel de diagnostische hulpmiddelen die nodig zijn om ze te meten en toekomstige verbeteringen te sturen, zoals cultuurspecifieke fine-tuning en diverse pretraining.