🤖 AI

How Does Thinking Mode Change LLM Moral Judgments? A Controlled Instant-vs-Thinking Comparison Across Five Frontier Models

Deze studie concludeert dat het activeren van redeneermodes in geavanceerde LLM's hun geaggregeerde binaire morele oordelen niet significant verandert, maar wel de onderlinge onenigheid tussen modellen en demografische inconsistenties in specifieke controversiële scenario's aanzienlijk vermindert, terwijl het de zelfgelabelde ethische kaders van de modellen vaker verschuift.

Oorspronkelijke auteurs: Sai Sourabh Madur

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sai Sourabh Madur

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je vijf verschillende superslimme robots (AI-modellen) hebt van vijf verschillende technologiebedrijven. Je stelt hen een reeks van 100 lastige morele vragen, zoals "Is het oké om één persoon van een brug te duwen om vijf anderen te redden?" of "Moet een arts een patiënt prioriteren op basis van hun baan of hun leeftijd?"

De onderzoekers wilden zien wat er gebeurt als ze deze robots vertellen om "eerst na te denken voordat ze spreken."

Normaal gesproken beantwoorden de robots direct (als een reflex). In de "Denkmodus" pauzeren de robots, genereren ze een lang intern redeneerproces en geven ze daarna pas hun antwoord. De vraag in het artikel is: verandert het nemen van die extra tijd om na te denken hun morele kompas echt, of zeggen ze gewoon hetzelfde maar dan met een langere uitleg?

Hier is de uiteenzetting van wat ze vonden, met gebruikmaking van eenvoudige analogieën:

1. Het Grote Plaatje: De Menigte Is Nog Steeds Het Eens

Wanneer je de antwoorden van de robots als totale groep bekijkt, veranderde het nemen van tijd om na te denken de uiteindelijke uitspraak niet echt.

De Analogie: Stel je een jury van vijf mensen voor. Of ze nu direct hun antwoord roepen of eerst een minuut met elkaar fluisteren, ze komen in ongeveer 78% van de gevallen nog steeds tot overeenstemming over de uitspraak. De "Denkmodus" zorgde er niet voor dat ze als groep plotseling vaker of minder vaak het eens werden.

2. De "Moeilijke" Gevallen: Denken Helpt Iets

Echter, het verhaal verandert wanneer je kijkt naar de werkelijk moeilijke, controversiële vragen (zoals complexe treinproblemen of moderne ethische dilemma's).

De Analogie: In de "Directe Modus" gokten de vijf robots in feite op deze moeilijke vragen, waarbij ze slechts zo vaak met elkaar overeenkwamen als wanneer ze munten zouden opgooien.
Het Resultaat: Toen ze overschakelden naar de "Denkmodus", begonnen ze iets meer met elkaar overeen te komen. Het was geen magische oplossing, maar het was alsof ze stopten met het roepen van willekeurige gissingen en iets meer grond voor overeenstemming vonden.
De Haken: De onderzoekers waarschuwen dat deze verbetering "richtinggevend" is (het ging de goede kant op), maar nog niet statistiek waterdicht is. Het is een hint, geen garantie.

3. Het "Redeneren" versus de "Uitspraak"

Hier is de meest interessante wending: De robots veranderden hun redenen veel vaker dan ze hun antwoorden veranderden.

De Analogie: Stel je twee mensen voor die allebei zeggen: "Nee, je mag die koek niet."
- Persoon A (Direct) zegt: "Omdat ik het zeg."
- Persoon B (Denkend) zegt: "Nee, want koekjes zijn slecht voor je tanden en je hebt beloofd eerst groente te eten."
- Ze zeiden allebei "Nee", maar hun interne logica verschuift.
De Bevinding: De robots veranderden vaak het ethische kader dat ze beweerden te gebruiken (bijvoorbeeld schakelen van "Utilitaristisch" naar "Deontologisch"), zelfs wanneer hun uiteindelijke Ja/Nee-antwoord hetzelfde bleef. Het is alsof een advocaat halverwege een proces zijn juridische argument verandert, maar nog steeds om dezelfde uitspraak vraagt.

4. De "Demografische" Test: Denken Maakt Ze Rechtvaardiger

De onderzoekers testten of de robots mensen verschillend beoordeelden op basis van hun ras, geslacht of nationaliteit.

De Analogie: Stel je een robot voor die een misdaad beoordeelt. In de "Directe Modus" zou het een zwaardere straf kunnen geven als de crimineel wordt beschreven als een "migrant" in plaats van een "burger".
Het Resultaat: Toen drie van de vijf robots overschakelden naar de "Denkmodus", werden ze veel consistenter. Ze lieten de achtergrond van de persoon hun oordeel minder beïnvloeden. Het is alsof het "denkproces" fungeerde als een filter dat het ruis van vooroordelen verwijderde.

5. Het "Appels versus Peren"-Probleem (Een Belangrijke Voorwaarschuwing)

Het artikel heeft een enorme waarschuwing: We hebben eigenlijk niet dezelfde hoeveelheid "denken" vergeleken.

De Analogie: Stel je voor dat je vijf studenten vraagt een wiskundeprobleem op te lossen.
- Student A (Claude) denkt 1 minuut na.
- Student B (Qwen) denkt 80 minuten na.
- Student C (GPT) denkt 2 minuten na.
De Realiteit: De onderzoekers konden ze niet allemaal precies even lang laten "denken", omdat de bedrijven de knoppen anders controleren. De ene robot doet misschien een snelle mentale check, terwijl de andere een heel essay in zijn hoofd schrijft. Dus wanneer we zeggen "Denkmodus", vergelijken we een lichte rek-oefening met een zware workout, afhankelijk van welke robot je gebruikt.

Samenvatting van de 5 Hypothesen

De onderzoekers hadden vijf hypothesen voordat ze begonnen. Dit is wat er gebeurde:

Hebben verschillende robots verschillende morele uitgangspunten? Ja. (Sommigen leunen meer op "het grootste goed", anderen op "regels").
Verandert het veranderen van de formulering van een vraag het antwoord? Nee. (De robots waren verrassend goed in het negeren van lastige formuleringen).
Verandert het antwoord van de robot op basis van de achtergrond van de persoon? Soms. (De directe modus was inconsistent; denkmodus loste dit op voor sommige robots).
Zijn robots het eens over makkelijke vragen maar ruziën ze over moeilijke? Ja. (Ze waren het eens over simpele dingen, maar waren verward over de moeilijke dingen totdat ze nagedachten).
Verandert "Denkmodus" het morele oordeel? Op een manier. (Het veranderde zelden de uiteindelijke Ja/Nee, maar het veranderde vaak waarom ze het zeiden, en het hielp hen iets meer overeen te komen op de allerlastigste vragen).

De Conclusie

Het inschakelen van de "Denkmodus" verandert de robots niet in volledig nieuwe morele wezens. Ze geven over het algemeen dezelfde "Ja" of "Nee" antwoorden. Echter, denken lijkt hen wel te helpen:

Iets consistenter met elkaar te zijn op de moeilijkste vragen.
Minder vooroordelen te hebben tegen specifieke groepen mensen.
Hun interne logica te veranderen, zelfs als het uiteindelijke antwoord hetzelfde blijft.

De onderzoekers hebben al hun data vrijgegeven (de vragen, de antwoorden en de "denkprocessen" van de robots) zodat andere wetenschappers dit werk kunnen controleren.

Technische Samenvatting: Hoe Verandert de Denkmodus Morele Oordelen van Grootte Taalmodellen?

Probleemstelling
Naarmate redenering-getrainde Large Language Models (LLM's) steeds vaker worden ingezet in hoog-risico morele domeinen (bijvoorbeeld triage, samenvatting van beleidsstukken, inhoudsmoderatie), hebben aanbieders "denkmodi" geïntroduceerd die extra berekeningstijd toewijzen aan redenering. Hoewel eerdere studies hebben aangetoond dat verschillende modellen uiteenlopende ethische voorkeuren coderen, blijft een kritieke kloof bestaan: verandert het inschakelen van expliciete redenering morele voorkeuren binnen één enkel modelcheckpoint? Bovendien, is de "denkmodus" een vergelijkbaar construct tussen verschillende aanbieders, gezien hun verschillende API-implementaties en rekenbudgetten?

Methodologie
De auteurs voerden een gecontroleerde vergelijking uit binnen één enkel checkpoint over vijf frontier-modelfamilies: Claude Sonnet 4.6, GPT-5.5, Gemini 3 Flash, DeepSeek-V3.1 en Qwen3.5-397B.

Experimenteel Ontwerp: Voor elke modelfamilie bleven de modelgewichten constant. De enige variabele was de canonieke parameter voor redeneringsmodus van de aanbieder (bijvoorbeeld het omschakelen van reasoning.enabled van False naar True of het aanpassen van reasoning.effort). Dit isoleert het effect van het redeneringsmechanisme van veranderingen in modelarchitectuur of trainingsdata.
Benchmarks: Er werd een morele redenering-benchmark van 100 scenario's samengesteld, die vijf categorieën bestrijkt:
1. Treinstelproblemen (15 scenario's).
2. Moral Foundations Theory (25 scenario's over vijf fundamenten).
3. Parafraase-consistentie (20 scenario's die robuustheid van oppervlaktevorm testen).
4. Demografische Gevoeligheid (30 scenario's met variatie in demografie zoals ras, geslacht en nationaliteit).
5. Huidige Dilemma's (10 scenario's over AI-veiligheid, bio-ethiek, enzovoort).
Elicitatie: Modellen kregen de opdracht om een binair oordeel, een betrouwbaarheidsschatting, een zelfgekozen ethisch kader (uit een vastgestelde set van zes) en een redeneerspoor te geven. Drie antwoorden werden per configuratie per scenario gesampled ( $N=3$ ).
Maten: De studie mat onderlinge overeenstemming tussen modellen (Krippendorff's $\alpha$ ), consistentie bij parafraase, inconsistentie in demografische oordelen, en de frequentie van omkeringen van oordelen versus verschuivingen van kaders tussen de instant- en denkmodus.

Belangrijkste Bijdragen

Gecontroleerde Vergelijking Instant-vs-Denken: De studie biedt de eerste systematische evaluatie van de effecten van redenering binnen enkele checkpoints over vijf diverse modelfamilies, waarmee verstorende factoren die samenhangen met het vergelijken van verschillende modelversies worden verwijderd.
Benchmark en Pipeline: De auteurs hebben een reproduceerbare open-source pipeline, de benchmark van 100 scenario's en 2.963 ruwe antwoorden (inclusief door de aanbieder blootgelegde redeneerartefacten) vrijgegeven voor toekomstige analyse.
Empirische Bevindingen over Effecten van Redenering: Het artikel kwantificeert hoe redenering morele oordelen beïnvloedt, specifiek met betrekking tot stabiliteit van oordelen, zelflabeling van kaders en demografische consistentie.

Resultaten

Totale Overeenstemming: Het inschakelen van de denkmodus veranderde de totale onderlinge overeenstemming tussen modellen over binaire morele oordelen niet significant. Krippendorff's $\alpha$ bleef statistisch niet onderscheidbaar tussen instant ($0,781$) en denk ($0,789$) modus.
Moeilijke versus Makkelijke Gevallen (Stratificatie):
- Makkelijke Gevallen: Bij 79 scenario's waarbij modellen aanvankelijk overeenstemden (instant-modus), bleef de overeenstemming hoog, hoewel redenering in vier gevallen kleine afwijkingen introduceerde (wat $\alpha$ verlaagde van $1,00$ naar $0,95$).
- Moeilijke Gevallen: Bij 21 "door modellen betwiste" scenario's (waarbij de overeenstemming in instant-modus dicht bij het toeval lag, $\alpha \approx 0,08$ ), narrowde redenering de onderlinge onenigheid tussen modellen richtinggevend in. De gemiddelde paarwijze overeenstemming steeg van $5,4/10$ naar $6,7/10$ . De auteurs merken echter op dat deze verbetering suggestief is; het gepaarde bootstrap 95%-betrouwbaarheidsinterval voor de verandering in $\alpha$ ( $[-0,05, 0,36]$ ) omvat nul, en het resultaat overleeft geen correctie voor meervoudige vergelijkingen.
Oordelen versus Kaders: Redenering veranderde het zelfgekozen ethische kader vaker dan dat het het binaire oordeel veranderde. Bij alle modellen overtrof de rate van kaderschifting (9–19%) de rate van omkering van oordelen (1–9%). Bijvoorbeeld, DeepSeek-V3.1 toonde een omkeringsrate van oordelen van 8%, maar een rate van kaderschifting van 19%.
Demografische Consistentie: Redenering verkleinde de inconsistentie in demografische oordelen (variantie in oordelen gebaseerd op demografische aanwijzingen) bij drie van de vijf modellen (DeepSeek, GPT-5.5, Qwen). Het verhoogde de inconsistentie in geen enkel model.
Robuustheid bij Parafraase: Alle modellen toonden een hoge robuustheid tegen parafraase (consistentierates van 0,90–1,00), wat de hypothese weerlegt dat variaties in oppervlaktevorm niet-triviale omkeringen van oordelen zouden veroorzaken bij redenering-getrainde modellen.
Voorbehoud inzake Constructvaliditeit: De studie benadrukt een significante beperking: "lichtgewicht denken" is niet computationeel vergelijkbaar tussen aanbieders. De gemiddelde besteding aan redeneertokens per oproep varieerde van 33 tokens (Claude) tot 2.639 tokens (Qwen3.5), een spreiding van 80 keer. Bijgevolg vermengen cross-family vergelijkingen "redenering ingeschakeld" met "hoeveelheid aan redenering besteed".

Betekenis en Claims
Het artikel claimt bescheiden dat het inschakelen van de redeneringsmodus de totale morele oordelen niet materieel verandert, maar de overeenstemming richtinggevend verbetert bij moeilijke, betwiste scenario's waar instant-modus modellen uiteenlopen. Het stelt verder vast dat redenering werkt als een correctie voor demografische inconsistentie bij meerdere modellen zonder de bias te vergroten.

De auteurs benadrukken dat hoewel redenering er vaak toe leidt dat modellen hun ethische onderbouwing opnieuw labelen (kaders verschuiven), het zelden het uiteindelijke binaire besluit omkeert. De studie concludeert dat "denkmodus" een aanbiedersspecifiek construct is met variërende computationele dieptes, en dat het, hoewel het voordelen biedt voor consistentie in moeilijke gevallen en demografische gevoeligheid, geen monolithische oplossing is voor morele uitlijning. De resultaten suggereren dat voor toepassingen die gevoelig zijn voor eerlijkheid, het inschakelen van redenering een verdedigbare standaard is, maar dat zelfgekozen kaders niet als betrouwbare signalen van de onderliggende ethische logica van een model moeten worden behandeld zonder onafhankelijke validatie tegen redeneersporen.