💬 NLP

CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives

Het artikel introduceert CLASH, een dataset van dilemma's met hoge inzet met diverse perspectieven van personages, om te onthullen dat zelfs geavanceerde taalmodellen worstelen met waardegebaseerde besluitvorming, waarbij ze specifieke foutpatronen vertonen zoals vroege toezegging en een beperkt begrip van verschuivingen in waarden, ondanks redelijke voorspellingen van psychologisch ongemak.

Oorspronkelijke auteurs: Ayoung Lee, Ryan Sungmo Kwon, Peter Railton, Lu Wang

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ayoung Lee, Ryan Sungmo Kwon, Peter Railton, Lu Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij moeilijke levenskeuzes moet maken. De meeste eerdere tests vroegen de robot eenvoudige vragen zoals: "Is het oké om door rood te lopen als je te laat bent voor je werk?" Maar in de echte wereld zijn de moeilijkste keuzes niet simpel; het zijn situaties met hoge inzet waarbij elke optie iemand pijn doet en waarden botsen als twee stormen die tegen elkaar opvallen.

Dit artikel introduceert CLASH (Character perspective-based LLM Assessments in Situations with High-stakes), een nieuwe "examen"-methode ontworpen om te zien of AI complexe, onder druk staande situaties kan aan.

Hier is een overzicht van wat ze hebben gedaan en wat ze hebben gevonden, met behulp van eenvoudige analogieën:

1. Het Examen: CLASH

Beschouw eerdere AI-tests als een meerkeuzequiz met korte, heldere zinnen. CLASH is meer als een dramaserie.

De Verhalen: In plaats van oneliners bevat de dataset 345 lange, gedetailleerde verhalen over situaties van leven of dood of levensveranderende gebeurtenissen (zoals een arts die een beslissing neemt over een behandeling, of een bankbediende die een kostbare fout maakt).
De Karakters: Voor elk verhaal moet de AI antwoorden vanuit het perspectief van verschillende "karakters". Sommige karakters geven alleen om veiligheid; anderen geven alleen om rechtvaardigheid. Sommige karakters veranderen halverwege het verhaal van mening.
Het Doel: Het examen vraagt: "Als jij Karakter A was, zou je dit doen? Zou je je er slecht bij voelen? Is je mening veranderd van gisteren naar vandaag?"

2. De Grote Bevindingen: Waar de AI struikelt

De onderzoekers hebben 14 verschillende AI-modellen getest (inclusclusief de nieuwste, slimste modellen zoals GPT-5 en Claude-4) op dit examen. Dit is wat er gebeurde:

A. Het "Niet Kunnen Beslissen" Probleem (Ambivalentie)

De Metafoor: Stel je voor dat je voor twee deuren staat. De ene leidt naar een beloning, de andere naar een valstrik. Een mens zou kunnen zeggen: "Ik ben verdeeld, ik kan niet kiezen."
De Resultaten: De AI-modellen zijn erg slecht in het toegeven dat ze verdeeld zijn. Zelfs de slimste modellen dwongen een "Ja" of "Nee" antwoord, zelfs wanneer de situatie duidelijk om een "Misschien" vroeg. Ze vonden het moeilijk om te zeggen: "Ik weet het niet," zelfs toen het juiste antwoord "Ik ben in conflict" was. Sterker nog, het beste model kreeg dit slechts ongeveer 51% van de tijd goed.

B. Het "Gevoel in de Buik" Probleem (Ongemak)

De Metafoor: Soms weet je wat je zou moeten doen, maar voelt het niet goed in je onderbuik. Zoals een ouder die een vriend moet ontslaan om het bedrijf te redden.
De Resultaten: De AI is eigenlijk best goed in het herkennen wanneer een karakter zich ongemakkelijk zou moeten voelen. Als het verhaal zegt: "Karakter A hecht waarde aan eerlijkheid, maar moet liegen," raadt de AI correct: "Ja, Karakter A voelt zich hier slecht bij."

C. Het "Geheugen" Probleem (Waardeverschuivingen)

De Metafoor: Stel je een karakter voor dat van pizza houdt, maar dan buikpijn krijgt en nu besluit dat hij een hekel heeft aan pizza.
De Resultaten: De AI-modellen zijn erg slecht in het bijwerken van hun "geest". Wanneer een verhaal zegt: "Karakter A hechtte vroeger waarde aan X, maar hecht nu waarde aan Y," vergeet de AI de verandering vaak en antwoordt op basis van de oude overtuiging. Het is als een student die vorig jaar voor een test heeft gestudeerd, maar is vergeten dat hij dit jaar een nieuw vak heeft geleerd! De nauwkeurigheid daalde met bijna 43 punten wanneer waarden verschoven!

3. Hoe de AI "Denkt" (Redeneringsketens)

De onderzoekers keken in de "hersenen" van de AI om te zien hoe deze problemen werden opgelost.

De Oude Truc: In wiskunde of schaken gebruiken slimme AI's een strategie genaamd "backtracking" (het controleren van hun werk, terugkijken naar de regels). Dit werkt geweldig voor wiskunde.
De Nieuwe Fout: Bij morele dilemma's hielp dit backtracking niet. In plaats daarvan ontwikkelde de AI twee slechte gewoonten:
1. Vroegtijdige Toezegging: De AI kiest te snel een kant, zoals een rechter die de hamer laat vallen voordat het hele verhaal is gehoord.
2. Overmatige Toezegging: Zodra de AI een kant heeft gekozen, houdt hij er koppig aan vast en negeert hij bewijs dat suggereert dat de andere kant misschien gelijk heeft. Het is als een advocaat die weigert naar het tegenargument te luisteren zodra hij aan zijn pleidooi is begonnen.

4. De "Stuur" Test

De onderzoekers testten ook hoe gemakkelijk ze de AI konden "sturen" naar een specifieke waarde (zoals Veiligheid versus Zelfrespect).

De Bevinding: Als een AI al heel veel van "Veiligheid" houdt, is het erg moeilijk om hem "Zelfrespect" te laten kiezen in plaats daarvan. Hoe meer de AI van nature één waarde verkiest, hoe moeilijker het is om hem naar het tegenovergestelde te sturen.
De Perspectief-truc: De AI luisterde beter wanneer er werd gevraagd: "Wat zou Karakter A doen?" (derde persoon) in plaats van "Wat zou jij doen?" (eerste persoon). Echter, voor de waarde "Veiligheid" luisterde de AI eigenlijk beter wanneer er in de eerste persoon werd gevragen, waarschijnlijk omdat veiligheid een diepgeworteld instinct is voor het model.

Samenvatting

Het artikel concludeert dat hoewel AI slimmer wordt in wiskunde en spellen, het nog steeds erg onhandig is in het navigeren door de chaotische, emotionele en veranderende wereld van menselijke waarden. Het heeft moeite om toe te geven dat het verward is, het vergeet wanneer mensen van mening veranderen, en het komt vaak vast te zitten in zijn eigen koppige logica.

Belangrijke Opmerking: De auteurs benadrukken dat dit een diagnostisch hulpmiddel is. Ze zeggen niet dat deze AI-modellen klaar zijn om artsen of rechters te zijn. Sterker nog, ze waarschuwen dat een hoge score op deze test niet betekent dat een AI veilig is voor gebruik in het echte leven; het betekent alleen dat we nu een betere manier hebben om te zien waar de AI faalt.

Technische Samenvatting: CLASH – Het evalueren van taalmodellen bij het beoordelen van dilemma's met hoge inzet vanuit meerdere perspectieven

Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden ingezet in domeinen met een hoge inzet, zoals de medische wereld, de juridische sector en de financiële sector, blijft hun vermogen om te navigeren door dilemma's met een sterke waardelading onderbelicht, met name in contexten die gepaard gaan met conflicterende waarden en significante gevolgen. Voorgaand onderzoek heeft zich grotendeels gericht op alledaagse scenario's met een lage inzet of heeft vertrouwd op synthetische, kortvormige situaties die er niet in slagen de nuance van menselijke waardesystemen te vatten. Bovendien beperken bestaande benchmarks modellen vaak tot binaire keuzes, waardoor echte besluitvormingsambivalentie wordt verward met scenario-complexiteit, en negeren ze cruciale psychologische aspecten van besluitvorming, zoals ongemak en dynamische verschuivingen in waarden. Er is een gebrek aan rigoureuze evaluatiekaders die beoordelen hoe LLM's redeneren vanuit specifieke karakterperspectieven, hoe ze omgaan met waardeconflicten en hoe ze zich aanpassen aan veranderende waardesystemen in situaties met een hoge inzet.

Methodologie

Om deze tekortkomingen aan te pakken, introduceren de auteurs CLASH (Character perspective-based LLM Assessments in Situations with High-stakes), een zorgvuldig samengestelde dataset en benchmark.

Constructie van de dataset

CLASH bestaat uit 345 door mensen geschreven, langvormige dilemma's afkomstig uit publieke webbronnen binnen de domeinen medisch, zakelijk, journalistiek/media en overheid/politiek. Elk dilemma is verrijkt met:

Actie: Een specifieke, controversiële actie afgeleid van de situatie.
Waarde-gerelateerde rationales: Paren ondersteunende en tegenstrijdige rationales, gegenereerd en verfijnd door menselijke inspecteurs om relevantie en duidelijkheid te waarborgen.
Karakterbeschrijvingen: 11 verschillende karakterprofielen per situatie, gecategoriseerd in Statische (Rechtlijnig, Eenvoudig Contrast, Beïnvloed Contrast) en Dynamische (Verschuiving, Half-verschuiving, Vals-verschuiving) typen. Deze beschrijvingen operationaliseren hoe personages prioriteiten stellen aan waarden, ambivalentie ervaren of waardeverschuivingen ondergaan over een bepaalde tijd.

De dataset bevat 3.795 individuele perspectieven, ontworpen om modellen te testen op drie specifieke dimensies:

Ambivalentie: Het vermogen om besluiteloosheid te herkennen wanneer concurrerende waarden even zwaar wegen of wanneer een duidelijke keuze niet mogelijk is.
Psychologisch Ongemak: Het vermogen om het interne onbehagen te detecteren dat een personage ervaart bij het nemen van een moeilijke beslissing, gebaseerd op de cognitieve dissonantietheorie.
Waardeverschuivingen: Het vermogen om te redeneren over hoe de acceptatie van een actie door een personage verandert wanneer hun onderliggende voorkeuren evolueren (bijv. van "vorige" naar "huidige" perspectieven).

Experimentele Opzet

De auteurs hebben 14 modellen getest, inclus\u00ad bij niet-denkende LLM's (bijv. Qwen2.5, Llama3.1/3.3, Mistral, GPT-4o) en "denkende" Reasoning Language Models (RLM's) (bijv. GPT-5, Claude-4-Sonnet, Deepseek-3.1). Modellen werden geprompt om redeneerketens te genereren, gevolgd door antwoorden op ternaire (Ja/Nee/Ambigu) of binaire (Ja/Nee) vragen.

Aanvullende Analyses

Analyse van de Redeneerketen: De auteurs hebben succesvolle versus onsuccesvolle redeneerketens geanalyseerd, waarbij zij cognitieve gedragingen onderzochten (achterwaarts chainen, verificatie, vroege toezegging, overmatige toezegging) en het gebruik van ethische theorieën (bijv. Pragmatische Ethiek, Deontologie).
Conditionele Stuurbaarheid: Een nieuwe metriek werd voorgesteld om te evalueren hoe effectief een model kan worden gestuurd naar één waarde wanneer deze conflicteert met een andere, in contrast met eerder werk over absolute stuurbaarheid.
Framing-effecten: De studie vergeleken eerste-persoons versus derde-persoons vraagstelling om de impact ervan op modelprestaties en stuurbaarheid te beoordelen.

Belangrijkste Bijdragen

CLASH Dataset: Een nieuwe benchmark met 345 high-stakes, langvormige dilemma's met 3.795 diverse karakterperspectieven, wat verder gaat dan korte, synthetische scenario's om de complexiteit van de echte wereld te vangen.
Nieuwe Evaluatiedimensies: De eerste systematische evaluatie van LLM's op besluitvormingsambivalentie, psychologisch ongemak en dynamische waardeverschuivingen, wat specifieke foutmodi blootlegt die niet door standaard nauwkeurigheidsmetrieken worden gevangen.
Conditionele Stuurbaarheid: De introductie van een methode om stuurbaarheid te meten in scenario's met conflicterende waarden, wat een significante negatieve correlatie laat zien tussen de inherente waardevoorkeuren van een model en de mate waarin het gestuurd kan worden naar de tegenovergestelde waarde.
Inzichten in Redeneren: Identificatie van nieuwe foutpatronen in waarde-redeneren, specifiek vroege toezegging (early commitment) en overmatige toezegging (overcommitment), en de bevinding dat cognitieve strategieën die effectief zijn in wiskunde (bijv. verificatie) minder effectief zijn in waarde-redeneren.

Belangrijkste Resultaten

Strijd met Ambivalentie: Zelfs state-of-the-art propriëtaire modellen worstelen met ambivalente beslissingen. Zo behaalde GPT-5 slechts 24,06% nauwkeurigheid, en Claude-4-Sonnet 51,01% in ambivalente settings (Eenvoudig Contrast), wat wijst op een falen om echte besluiteloosheid te herkennen.
Ongemak vs. Waardeverschuivingen: Hoewel modellen redelijk goed psychologisch ongemak voorspellen (bijv. GPT-5 bereikte 98,61% in Swayed Contrast), falen ze significant bij het redeneren over waardeverschuivingen. GPT-4o-mini vertoonde een gemiddelde daling in nauwkeurigheid van 42,95 punten wanneer het werd gevraagd te redeneren vanuit een "huidig" perspectief vergeleken met een "vorig" perspectief, met een maximale daling van 66,43 punten.
Redeneerfouten: Succesvolle redeneerketens in waarde-taken vertoonden minder achterwaarts chainen en verificatie dan in wiskunde-taken. In plaats daarvan werden fouten gekenmerkt door vroege toezegging (voortijdig een kant kiezen) en overmatige toezegging (vasthouden aan een initiële oordeelsvorming ondanks tegenstrijdig bewijs).
Ethische Theorieën: Succesvolle ketens maakten vaker gebruik van Pragmatische Ethiek en Rechtenethiek, wat suggereert dat kaders die focussen op real-world adaptatie effectiever zijn voor waarde-redeneren dan rigide deontologische of utilistische benaderingen.
Correlatie van Stuurbaarheid: Er is een significante negatieve correlatie ( $r = -0,243, p < 0,005$ ) tussen de inherente voorkeur van een model voor een waarde en de stuurbaarheid naar de tegenovergestelde waarde. Sterkere inherente voorkeuren belemmeren het vermogen om gestuurd te worden naar de tegenpool.
Framing-effecten: Derde-persoons framing verbeterde over het algemeen de stuurbaarheid, hoewel eerste-persoons framing uniek effectief was voor het sturen naar Veiligheid ten opzichte van Zelfrespect, waarschijnlijk door de nadruk in de trainingsdata.

Betekenis en Claims

Het artikel beweert dat CLASH fundamentele beperkingen blootlegt in huidige frontier LLM's met betrekking tot mensachtige oordeelsvorming in situaties met hoge inzet. De auteurs stellen dat:

Redeneren met hoge inzet is onderscheidend: Waarde-gebaseerd redeneren profiteert niet van dezelfde cognitieve gedragingen (zoals verificatie) die helpen bij wiskunde of spel-redeneren; het vereist nieuwe strategieën om om te gaan met ambiguïteit en dynamische waarden.
Huidige modellen zijn onvoldoende: Zelfs de sterkste modellen (GPT-5, Claude-4-Sonnet) vertonen significante tekortkomingen in het omgaan met ambivalentie en waardeverschuivingen, wat suggereert dat ze nog niet betrouwbaar zijn voor autonome besluitvorming in gevoelige domeinen.
Methodologische vooruitgang: De introductie van "conditionele stuurbaarheid" en de focus op karakterperspectieven biedt een genuanceerder beeld van model-alignment dan eerdere metrieken voor enkelvoudige waarde of absolute alignment.

De auteurs benadrukken dat hun werk methodologisch en diagnostisch is. Ze waarschuwen expliciet dat een hoge prestatie op CLASH niet moet worden geïnterpreteerd als bewijs van veiligheid of betrouwbaarheid voor real-world inzet in domeinen met een hoge inzet. In plaats daarvan dient de benchmark om beperkingen bloot te leggen en toekomstig onderzoek te sturen naar het trainen van modellen die beter aansluiten bij complexe menselijke redeneerprocessen.