Common Sense vs. Morality: The Curious Case of Narrative Focus Bias in LLMs

Dit onderzoek onthult dat grote taalmodellen morele redenering vaak boven gezond verstand plaatsen en een vooroordelen vertonen waarbij ze tegenstrijdigheden in gezond verstand makkelijker herkennen bij secundaire personages dan bij de hoofdpersoon, wat wijst op de noodzaak van verbeterde trainingsmethoden.

De kern

Stel je voor dat je een superintelligente robot hebt die alles weet over de wereld. Hij kan prachtige verhalen vertellen, gedichten schrijven en zelfs advies geven over moeilijke levensvragen. Maar er is een klein, maar heel belangrijk probleem: deze robot is soms zo bang om iets "slecht" of "onfatsoenlijk" te zeggen, dat hij vergeet hoe de wereld echt werkt.

Dit is precies wat de onderzoekers in dit paper hebben ontdekt. Hier is het verhaal, vertaald naar gewoon Nederlands met wat leuke vergelijkingen.

De Hoofdprobleem: De "Morele Bril"

Stel je voor dat de robot een bril op heeft die alleen maar naar morele regels kijkt (goed vs. slecht, eerlijk vs. oneerlijk). Deze bril is zo fel opgelicht dat hij de gezonde verstand-regels (wat is fysiek mogelijk? wat is logisch?) volledig over het hoofd ziet.

De onderzoekers noemen dit een "morele blindheid". Als de robot een vraag krijgt die klinkt als een moreel dilemma, schakelt hij direct in op "hoe moet ik dit ethisch correct beantwoorden?" en vergeet hij te vragen: "Maar klopt dit verhaal wel?"

De Test: CoMoral (De "Tegenstrijdigheidstest")

Om dit te testen, hebben de onderzoekers een nieuwe test gemaakt, genaamd CoMoral.
Stel je een verhaal voor waarin iemand zegt: "Ik zit in mijn tuin onder het licht van de nieuwe maan."

• Gezond verstand: Een nieuwe maan is donker. Er is geen maanlicht. Dit is onmogelijk.
• De robot: Als je de robot gewoon vraagt: "Wat vind je van dit verhaal?", zegt hij vaak: "Wat een prachtig, vredig tafereel!" Hij negeert de onmogelijkheid omdat hij zich richt op de sfeer en de moraal (het is een mooi verhaal).

Maar als je de robot specifiek vraagt: "Kijk eens of er iets raars of onlogisch is in dit verhaal," dan zegt hij: "Oh, wacht even! Er is geen maanlicht bij een nieuwe maan!"

De les: De robot kan het zien, maar hij doet het niet vanzelf. Hij moet eerst worden "gewaarschuwd" om zijn morele bril even af te zetten en naar de feiten te kijken.

Het Grappige Verschil: De "Hoofdrolspeler" vs. De "Bijrol"

Hier wordt het nog interessanter. De onderzoekers keken naar twee soorten verhalen:

1. Verhaal A: De verteller (ik) zit in de tuin en ziet de onmogelijke maan.
2. Verhaal B: Een tante (iemand anders) zit in de tuin en ziet de onmogelijke maan.

Het resultaat was verrassend:

• Als de verteller (de hoofdpersoon) de fout maakt, ziet de robot het bijna nooit. Hij denkt: "De verteller is de hoofdpersoon, dus wat hij zegt moet wel waar zijn." Het is alsof de robot de verteller blindelings vertrouwt, alsof hij een koning is die nooit liegt.
• Als de tante (een bijrol) de fout maakt, ziet de robot het direct! "Oh, die tante heeft het mis!"

Dit noemen ze de "Vertel-vooroordeel" (Narrative Focus Bias). De robot is zo gefocust op de hoofdpersoon dat hij zijn kritische denkvermogen uitschakelt voor die persoon, maar wel aanhoudt voor iedereen anders. Het is alsof je in een film de hoofdrolspeler nooit zou verdenken van een leugen, maar wel van de personages op de achtergrond.

Waarom is dit belangrijk?

Je zou kunnen denken: "Ach, het is maar een klein foutje over de maan." Maar stel je voor dat deze robot een therapeut is of een juridisch adviseur.

• Als een patiënt zegt: "Ik heb gisteren een auto gestolen om mijn moeder te redden, maar ik heb de auto gereden door een muur," en de robot negeert het "door de muur rijden" omdat hij zich te veel richt op het morele dilemma (redden vs. stelen), dan is hij niet echt behulpzaam. Hij mist de realiteit.

De Conclusie in Eén Zin

Deze robots zijn heel goed in het volgen van regels en het zijn "goede jongens", maar ze moeten leren om eerst te kijken of het verhaal logisch is, voordat ze gaan oordelen over wat goed of slecht is. En ze moeten leren om niet blindelings te vertrouwen op wat de hoofdpersoon zegt, maar om kritisch te blijven voor iedereen.

Kortom: We moeten de robots leren om hun "morele bril" af en toe even af te zetten, zodat ze niet vergeten dat de zon niet in het westen opkomt en dat er geen maanlicht is bij een nieuwe maan.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Common Sense vs. Morality: The Curious Case of Narrative Focus Bias in LLMs" in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in real-world toepassingen, waarbij zowel morele grondslagen als kennisbewustzijn cruciaal zijn. Het paper identificeert een kritieke beperking van huidige LLMs: de neiging om morele redenering te prioriteren boven gezond verstand (common sense). Hoewel er veel aandacht is voor ethische uitlijning (alignment) om schadelijk gedrag te voorkomen, is er weinig onderzoek gedaan naar de onbedoelde neveneffecten van deze uitlijning op de redeneercapaciteiten van het model.

De auteurs stellen dat LLMs in ethisch gevoelige contexten soms gezond verstand volledig negeren om "fairness" of morele correctheid te handhaven. Dit leidt tot een gebrek aan betrouwbaarheid, vooral in scenario's waar een moreel dilemma een onderliggende onlogicaalheid (een contradictie in gezond verstand) bevat. Een specifiek fenomeen dat wordt onderzocht is de "narrative focus bias": LLMs lijken contradicties makkelijker te detecteren wanneer deze voorkomen bij een secundair personage dan bij het hoofdpersonage (de verteller/narrator), waarbij ze de verteller vaak als autoritair of feitelijk beschouwen.

Methodologie

1. Dataset: CoMoral
Om dit fenomeen te bestuderen, hebben de auteurs CoMoral ontwikkeld, een nieuw benchmark-dataset.

• Opbouw: Het dataset bevat 802 semi-automatisch gegenereerde instances.
• Structuur: Elke instance presenteert een scenario dat een moreel dilemma combineert met een subtiele contradictie in gezond verstand (bijv. maanlicht tijdens een nieuwe maan, of een kind dat een baard heeft).
• Variatie: Voor elke contradictie worden twee varianten gegenereerd:
  • Primary (Narrator): De verteller ervaart het morele dilemma en de contradictie.
  • Secondary: Een ander personage in het verhaal ervaart het dilemma/contradictie.
• Categorieën: De contradicties vallen onder verschillende categorieën: Fysiek, Biologisch, Temporaal, Sociaal, Milieugerelateerd, Conceptueel en Onrealistisch.
• Validatie: De data is handmatig gevalideerd door twee annotatoren op aanwezigheid van gezond verstand, coherentie en algehele kwaliteit.

2. Experimenteel Opzet
Tien verschillende instructie-tuned LLMs (van families LLaMa, Qwen en Gemma, variërend van 0.5B tot 8B parameters) werden getest.

• Twee Prompt-condities:
  • Implicit: Het model wordt gevraagd het scenario te beantwoorden zonder expliciete instructie om naar contradicties te zoeken.
  • Explicit: Het model krijgt de expliciete instructie om eventuele logische contradicties in het scenario te identificeren en te beschrijven.
• Evaluatie: Een "LLM-as-a-judge" (GPT OSS 120B) evalueerde of de antwoorden de onderliggende contradictie correct identificeerden.

Belangrijkste Bijdragen

1. Nieuwe Taak: Introductie van een taak die de dubbele aard van modelresponsen analyseert: hoe modellen reageren op gezond-verstandscontradicties binnen morele dilemma's, gescheiden naar het hoofdpersonage versus secundaire personages.
2. CoMoral Benchmark: Publicatie van een dataset van 802 instances die specifiek ontworpen is om de spanning tussen morele uitlijning en gezond verstand te testen.
3. Empirisch Bewijs: Een uitgebreide evaluatie die aantoont dat bestaande modellen worstelen met deze contradicties zonder expliciete hints, en dat er een systematische bias bestaat ten gunste van secundaire personages.

Resultaten

• Prestatie zonder Hints (Implicit): De prestaties van alle geteste modellen waren zeer slecht (vaak onder de 20% nauwkeurigheid). Dit suggereert dat de morele uitlijning tijdens het trainingsproces de basisredeneercapaciteiten voor gezond verstand onderdrukt.
• Prestatie met Hints (Explicit): Wanneer expliciet gevraagd werd om naar contradicties te zoeken, verbeterde de prestatie aanzienlijk (tot wel 60 procentpunten stijging, bijv. LLaMa 8B bereikte ~84% nauwkeurigheid). Dit toont aan dat de capaciteit aanwezig is, maar niet automatisch wordt geactiveerd.
• Narrative Focus Bias: Er werd een consistente kloof gevonden tussen de prestaties voor het hoofdpersonage (Primary) en secundaire personages (Secondary).
  • Modellen detecteren contradicties bij secundaire personages veel beter dan bij de verteller.
  • Dit wordt toegeschreven aan een bias waarbij modellen de verteller als "feitelijke autoriteit" behandelen, waardoor ze inconsistenties in diens verhaal negeren.
• Invloed van Modelgrootte en Type:
  • Over het algemeen presteerde LLaMa 8B het best.
  • De prestatie is niet altijd strikt evenredig met de modelgrootte; de samenstelling van het trainingsdata (corpus) speelt een grote rol (bijv. bij Qwen en Gemma).
  • Modellen presteerden het best op "Conceptuele" en "Biologische" redenering, en het slechtst op "Temporele" en "Onrealistische" redenering.

Betekenis en Conclusie

Het paper benadrukt dat ethische uitlijning van LLMs een tweesnijdend zwaard kan zijn: terwijl het schadelijk gedrag beperkt, kan het ook de fundamentele redeneercapaciteiten voor gezond verstand verstoren. De ontdekking van de "narrative focus bias" onthult een significant gat tussen menselijk en machine-redeneren, waarbij machines de context van de verteller onterecht als onbetwistbaar feit accepteren.

De auteurs concluderen dat er een dringende behoefte is aan redeneringsbewuste training (reasoning-aware training). Toekomstige ontwikkelingen moeten niet alleen focussen op morele veiligheid, maar ook zorgen dat modellen hun gezond verstand behouden en objectief kunnen evalueren, ongeacht wie in het verhaal de verteller is. CoMoral dient als een cruciale testomgeving om deze balans te verbeteren.