Technische Samenvatting: Kunnen LLM's morele alternatieven voorbij binaire dilemma's voorstellen?

Probleemstelling

Bestaand onderzoek naar Large Language Models (LLM's) en moreel redeneren kadert ethische besluitvorming voornamelijk als een selectietaak tussen vooraf gespecificeerde, concurrerende opties (bijv. Optie A versus Optie B). Deze binaire inkadering negeert een centraal aspect van het menselijke morele cognitie: morele verbeelding, gedefinieerd als het vermogen om nieuwe handelingswijzen te identificeren, de gevolgen ervan te voorzien en voorbij gedwongen keuze tussen twee opties te bewegen. Huidige evaluaties slagen er niet in om te beoordelen of LLM's (1) hun oordelen wijzigen wanneer ze worden geconfronteerd met niet-binaire alternatieven (compromissen of geherformuleerde opties) en (2) dergelijke genuanceerde alternatieven kunnen genereren met een kwaliteit die vergelijkbaar is met die van door mensen geschreven alternatieven. Deze kloof beperkt het vermogen van AI-systemen om te fungeren als geavanceerde morele actoren in situaties met hoge inzet, waar waardenconflicten vereisen dat er wordt bemiddeld in plaats van simpelweg te selecteren.

Methodologie

Dataset Constructie: MoralAltDataset

De auteurs introduceren de MoralAltDataset, een corpus van 307 morele dilemma's ontworpen om morele verbeelding te evalueren. De dataset is verdeeld in twee complementaire subsets:

1. Advisor Dilemma's (156 items): Afgeleid van filmplot-synopses (MPST dataset), deze bieden contextueel rijke, narratief gedreven menselijke conflicten.
2. Agent Dilemma's (151 items): Aangepast uit het Litmus-Testing AI Values framework, deze dekken realistische scenario's met hoge inzet die AI-systemen kunnen tegenkomen (bijv. gezondheidszorg, afvalbeheer).

Elk dilemma wordt aangevuld met twee verschillende soorten alternatieven buiten de oorspronkelijke binaire opties (A en B):

• Compromis Alternatief (Optie C): Balanceert de concurrerende doelstellingen van A en B door middel van een concrete afweging, waarbij ten minste één kernmoreel doel van beide zijden behouden blijft.
• Geherformuleerd Alternatief (Optie D): Herstructureert het dilemma zelf door nieuwe principes te introduceren, afwezige belanghebbenden naar voren te brengen, of de reikwijdte/temporele kaders van het conflict te herdefiniëren.

Databronnen:

• Human Baseline: 164 dilemma's bevatten door mensen geschreven alternatieven (75 Advisor, 89 Agent) gecreëerd door annotatoren op graduate-niveau.
• LLM Generatie: 143 dilemma's bevatten door auteurs gefilterde alternatieven gegenereerd door GPT-5.
• Totaal: De uiteindelijke vier-opties keuze-dataset bevat 307 dilemma's, met menselijke oordeelgegevens verzameld uit 1.535 reacties (5 participanten per dilemma) onder gecontroleerde omstandigheden.

Experimenteel Ontwerp

De studie behandelt twee primaire onderzoeksvragen via twee experimentele opstellingen:

1. Selectiegevoeligheid (Q1): Wijzigen LLM's hun oordelen wanneer alternatieven worden geïntroduceerd?

   • Opstelling: Een vier-opties keuzeopdracht (A, B, C, D) gepresenteerd aan 15 LLM's (inclusief GPT, Claude, Gemini, Llama, Qwen en Mistral families) en menselijke participanten.
   • Metrieken: Selectieratio's, waardeverschuivingen (met behulp van het LITMUS VALUES-framework) en mens-LLM overeenstemming (gemeten via 4-way F1 en groepsniveau overeenstemming).

2. Generatiekwaliteit (Q2): Kunnen LLM's alternatieven genereren die vergelijkbaar zijn met die van mensen?

   • Opstelling: LLM's genereerden compromis- en geherformuleerde alternatieven voor de 164 door mensen geschreven dilemma's.
   • Evaluatie:
     • Paarsgewijze Voorkeur: Evaluatoren vergeleken Human vs. LLM outputs head-to-head op basis van criteria zoals Haalbaarheid, Balans, Herformulering en Morele Aanvaardbaarheid.
     • Expert-gebaseerde Intrinsieke Evaluatie: Drie filosofie-specialisten beoordeelden 100 instanties tegen fijnmazige checklists voor generatiekwaliteit (bijv. Scenario Geldigheid, Trade-off Mechanisme) en ethische kaders (Deontologie, Utilitarisme, Deugdethiek).

Belangrijkste Resultaten

1. Alternatieven Vormen het Morele Oordeel Vorm

• Voorkeur voor Compromis: Over zowel mensen als 15 LLM's heen, veranderde de introductie van alternatieven de keuzeverdelingen aanzienlijk. Compromis-alternatieven (Optie C) waren de meest gekozen optie, en ontvingen vaak een groter deel van de stemmen dan de oorspronkelijke binaire opties.
• Modelgedrag: Closed-weight modellen (bijv. GPT-5, Claude) vertoonden een sterke, consistente voorkeur voor compromis boven herformulering. Open-weight modellen vertoonden meer heterogeniteit.
• Waardeverschuivingen: De aanwezigheid van alternatieven verschoof systematisch de geprioriteerde ethische waarden van de LLM's. In Advisor dilemma's verschoven modellen van autonomie/respect naar Wijsheid en prudentie. In Agent dilemma's was er een verschuiving naar Coöperatie en Aanpassingsvermogen, weg van rigide regelgebaseerde waarden zoals Rechtvaardigheid en Professionaliteit.
• Mens-LLM Overeenstemming: Hoewel de exacte 4-way overeenstemming bescheiden was, nam de overeenstemming aanzienlijk toe wanneer mensen alternatieven selecteerden. LLM's stemden veel sterker overeen met menselijke keuzes in de "alternatieve" groep (C/D) dan in de "binaire" groep (A/B), met name voor compromisoplossingen.

2. LLM's Genereren Alternatieven van Hoge Kwaliteit

• Voorkeur boven Mensen: In paarsgewijze voorkeursevaluaties werden door LLM gegenereerde alternatieven (specifiek GPT-5, Claude Sonnet 4.5 en Qwen 3.5) over het algemeen verkozen boven door mensen geschreven alternatieven. Ze werden waargenomen als duidelijker, beter gestructureerd en beter afgestemd op de beoogde functie van het type alternatief.
• Structurele vs. Haalbaarheids-trade-off: Er ontstond een cruciale trade-off. Modellen zoals GPT-5 excelleerden in structurele criteria (bijv. expliciete trade-off regels, morele nieuwheid) maar scoorden lager op Haalbaarheid vergeleken met modellen zoals Claude Sonnet 4.5 en Qwen 3.5. Dit suggereert dat het benadrukken van de definiërende kenmerken van een alternatief (bijv. perfecte balans) soms de praktische gronding kan verminderen.
• Ethische Afstemming: GPT-5 behaalde de hoogste scores over alle drie de ethische dimensies (Deontologie, Utilitarisme, Deugdethiek) in expert-evaluaties, en de hoge voorkeursscores correleerden met de oordelen van experts over normatieve verdedigbaarheid.

Betekenis en Claims

Het artikel claimt dat huidige LLM's over een betekenisvol maar ongelijkmatig vermogen beschikken om morele verbeelding toe te passen.

• Voorbij Binair: De studie toont aan dat moreel redeneren niet statisch is; de beschikbaarheid van alternatieven vormt de morele keuzes voor zowel mensen als machines causaal, waarbij compromis naar voren komt als een robuuste strategie voor conflictresolutie.
• Generatiecapaciteit: LLM's zijn niet enkel in staat om te selecteren uit een vaste set, maar kunnen alternatieven genereren die vaak de menselijke versies overtreffen in structurele kwaliteit en ethische afstemming, hoewel ze moeite hebben om tegelijkertijd te optimaliseren voor zowel structurele elegantie als praktische haalbaarheid.
• Implicaties voor AI-Agentschap: Deze bevindingen suggereren dat voor LLM's om te kunnen fungeren als geavanceerde morele adviseurs, ze niet alleen geëvalueerd moeten worden op hun vermogen om te kiezen tussen gegeven opties, maar op hun vermogen om "derde wegen" te bedenken en voor te stellen die concurrerende waarden verzoenen.

Beperkingen

De auteurs merken op dat de dataset, hoewel deze zowel narratieve als agent-scenario's beslaat, de diversiteit van real-world culturele, linguïstische of institutionele beperkingen niet volledig dekt. Het gebruik van gestandaardiseerde zero-shot prompting en vaste optiesets waarborgt reproduceerbaarheid, maar legt interactieve deliberatie of stakeholder-onderhandeling niet vast. Bovendien leunt de ethische evaluatie op checklist-gebaseerde proxies voor normatieve kaders, wat praktische instrumenten zijn maar geen definitieve filosofische metingen. De auteurs benadrukken dat de dataset een diagnostisch instrument is voor het bestuderen van de capaciteiten van LLM's, en geen voorschrijvend instrument voor besluitvorming met hoge inzet zonder menselijk toezicht.