📄 other

Humans Disengage, Reasoning Models Persist: An Item-Controlled Dissociation in Deliberation Allocation

Dit artikel onthult een kritieke dissociatie tussen mensen en grote redeneermodellen (LRM's) in de toewijzing van deliberatie: hoewel beiden over het algemeen meer tijd besteden aan moeilijkere problemen, investeren mensen minder tijd in items die ze uiteindelijk fout hebben (het opgeven van moeilijke taken), terwijl LRM's paradoxaal genoeg langere redeneersporen genereren bij problemen die ze niet oplossen (het voortbestaan in onzekerheid), wat wijst op een fundamenteel verschil in stop- en controlebeleid ondanks oppervlakkige gelijkenissen.

Oorspronkelijke auteurs: Han-yu Wang

Gepubliceerd 2026-07-23

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Han-yu Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar twee verschillende studenten kijkt die een heel moeilijke wiskundetoets maken. De één is een briljante menselijke tiener, en de ander is een superintelligent computerprogramma dat ontworpen is om problemen stap voor stap door te "denken". Al een lange tijd zijn wetenschappers gefascineerd door hoe deze twee met elkaar vergelijken. Ze hebben opgemerkt dat er een oppervlakkige gelijkenis is: wanneer een probleem lastig is, besteden zowel de mens als de computer er meer tijd aan. Het is alsof je naar de snelheidsmeter van een auto kijkt; als de weg steil wordt, vertragen beide bestuurders om de helling te beklimmen. Deze observatie leidde velen tot de overtuiging dat computers beginnen te "denken" zoals mensen dat doen, waarbij ze vergelijkbare mentale tandwielen gebruiken om te bepalen welke problemen moeilijk en welke makkelijk zijn.

Maar hier komt de twist: alleen omdat twee bestuurders vertragen op dezelfde steile heuvel, betekent dat niet dat ze op dezelfde manier rijden. De ene bestuurder kan vertragen om voorzichtig een bocht te navigeren, terwijl de andere vertraagt omdat hij in de war is en naar de kaart staart, niet wetend wat hij moet doen. De grote vraag in de wereld van kunstmatige intelligentie en menselijke psychologie is: hoe beslissen deze denkers wanneer ze doorgaan met proberen en wanneer ze opgeven? Besteden ze extra inspanning aan de problemen waar ze mee worstelen, of geven ze de strijd op en gaan ze door naar het volgende? Het begrijpen hiervan gaat niet alleen over wiskundescores; het gaat over uitzoeken of computers werkelijk leren redeneren zoals wij, of dat ze slechts de schijn van denken nabootsen zonder de bijbehorende interne logica.

De Grote "Denk"-Mismatch

Een nieuwe studie door onderzoeker Han-yu Wang legt de lagen van dit mysterie bloot en vindt een verrassend geheim dat voor het op het oog zichtbaar is. Hoewel mensen en geavanceerde "redenerende" AI-modellen het erover eens zijn welke problemen moeilijk zijn, zijn ze het volledig oneens over wat te doen met die moeilijkheid.

Denk aan een videogame. Wanneer een speler een baas tegenkomt die te sterk is, kan een slimme menselijke speler beseffen: "Dit is nu te moeilijk," en besluiten om geen tijd meer te verspillen, bijvoorbeeld door een andere strategie te proberen of door te gaan naar een ander niveau. Zij haken af. Maar de AI, volgens deze studie, doet precies het tegenovergestelde. Wanneer de AI een probleem fout heeft, stopt hij niet; hij gaat door, genereert nog meer tekst, meer "gedachten" en meer stappen voordat hij uiteindelijk het foute antwoord opgeeft.

De Kernontdekking: De "Goed" vs. "Fout" Kloof
De studie onderzocht een enorme verzameling gegevens waarbij mensen en zes verschillende AI-modellen dezelfde visuele puzzels oplosten (de zogenaamde H-ARC). De onderzoekers maten twee dingen:

Registratie: Waren ze het erover eens welke puzzels moeilijk waren? Ja. Zowel mensen als AI besteedden meer tijd aan de moeilijke puzzels.
Allocatie: Wanneer ze een puzzel fout hadden, besteedden ze dan meer of minder tijd eraan vergeleken met wanneer ze het goed hadden? Nee. Hier splitsen ze zich af.

Mensen: Wanneer mensen een puzzel fout hadden, besteedden ze minder tijd eraan dan wanneer ze het goed hadden. De data laat een "Cohen's d" zien van -0,10. Dit suggereert een "opgave-strategie". Als een mens het gevoel heeft vast te zitten, stoppen ze vaak snel met nadenken over dat probleem.
AI-modellen: Wanneer de AI een puzzel fout had, besteedde hij aanzienlijk meer tijd eraan. De AI-modellen vertoonden een "Cohen's d" variërend van 1,47 tot 3,13. Dit betekent dat de AI bleef blijven produceren ("thoughts"/tokens), zelfs toen het duidelijk was dat hij faalde.

Het artikel betoogt dat dit niet zomaar een kleine glitch is; het is een fundamenteel verschil in hoe zij "denken". Het patroon van de mens lijkt op betrokkenheid versus afhaken: we blijven bij problemen die we denken te kunnen oplossen en stoppen met de problemen die we niet kunnen. Het patroon van de AI lijkt op lengte-bij-onzekerheid: wanneer de AI onzeker is, blijft hij gewoon praten, genereert hij langere ketens van redeneringen, ook al helpt dat extra praten niet om het juiste antwoord te krijgen.

De "Trace" Aanwijzingen

Om te begrijpen waarom de AI dit doet, keken de onderzoekers naar de daadwerkelijke tekst die de AI genereerde (zijn "thought trace"). Ze ontdekten dat wanneer de AI een vraag fout zou hebben, de tekst vol zat met "voorzichtigheid" en "zelftwijfel". De AI zei dingen als "wacht, eigenlijk," "hmm," of "laat me even overwegen." Het was in feite tegen zichzelf aan het praten, onzeker over het pad, maar het stopte niet.

In tegenstelling hiermee, wanneer mensen een vraag snel fout hadden, maakten zij vaak minder zetten (zoals minder raster-aanpassingen in de puzzel), wat suggereert dat ze al hadden besloten dat de puzzel de moeite niet waard was. De studie suggereert dat voor mensen de beslissing om te stoppen een slimme, metacognitieve keuze is. Voor de AI lijkt de beslissing om te stoppen gekoppeld te zijn aan een andere regel: de AI blijft doorgaan totdat hij door zijn "budget" heen is of tegen een muur aanloopt, zelfs als hij weet (of zou moeten weten) dat hij de verkeerde kant op gaat.

Wat dit Betekent (en Wat het Niet Betekent)

Het artikel is zeer voorzichtig om niet te zeggen dat de AI "dom" is of dat mensen "perfect" zijn. In plaats daarvan suggereert het dat de AI en de mensen volgens verschillende spelregels spelen.

De AI faalt niet noodzakelijkerwijs in het denken: Het kan een regel volgen die zegt: "Als je onzeker bent, genereer dan meer tekst." Dit kan een goede strategie zijn voor sommige taken, maar voor deze puzzels leidt het tot verspilde inspanning.
Het "Denken" is niet hetzelfde: Alleen omdat de AI een lange keten van tekst produceert die lijkt op menselijk redeneren, betekent dat niet dat hij dezelfde mentale stopregels gebruikt. De studie laat zien dat het "denken" van de AI meer lijkt op een hamster in een rad die rondjes rent wanneer hij in de war is, terwijl de mens een wandelaar is die besluit om om te keren wanneer het pad te steil wordt.

De onderzoekers testten dit ook op andere soorten puzzels (zoals intuïtieve fysica en binaire redenering). Het patroon hield stand: de AI bleef extra tijd besteden aan zijn fouten, terwijl mensen de neiging hadden om minder tijd te besteden. Echter, in één specifiek type puzzel (Cortes) veranderde het gedrag van de AI licht, wat aantoont dat de "lengte-bij-onzekerheid"-regel afhankelijk kan zijn van het specifieke spel dat gespeeld wordt.

De Conclusie

Deze studie bewijst niet dat AI niet kan denken; het bewijst dat AI en mensen hun denken anders alloceren. De oppervlakkige gelijkenis (beiden nemen meer tijd voor moeilijke zaken) verbergt een diep verschil: mensen hebben de neiging om te stoppen met denken wanneer ze beseffen dat ze vastzitten, terwijl AI-modellen de neiging hebben om door te blijven denken (en praten) zelfs wanneer ze vastzitten.

De auteurs suggereren dat we, om AI echt te begrijpen, moeten kijken naar wanneer ze stoppen, en niet alleen naar hoe lang ze denken. Ze stellen een nieuwe manier voor om dit te testen: als we het "denken" van de AI vroegtijdig afkappen (truncatie), kunnen we zien of die extra woorden daadwerkelijk hielpen of slechts ruis waren. Totdat we dat doen, concludeert het artikel dat de "persistentie" van de AI bij foutieve antwoorden een teken is dat de interne logica voor de beslissing "wanneer te stoppen" fundamenteel verschilt van de onze. Het is een herinnering dat we in de race om mensachtige AI te bouwen, misschien machines bouwen die erg goed zijn in het lijken alsof ze denken, maar erg slecht in het weten wanneer ze moeten stoppen.

Technisch overzicht: Mensen haken af, redeneermodellen blijven doorgaan

Probleemstelling

Een centrale vraag in de cognitieve wetenschap van deliberatie is hoe agenten beslissen wanneer ze blijven nadenken over een probleem en wanneer ze stoppen. Voorafgaand onderzoek (bijv. de Varda et al., 2025) stelde een "cross-item" uitlijning vast tussen Large Reasoning Models (LRMs) en mensen: beide systemen genereren langere sporen (redeneertokens voor LRMs, reactietijden voor mensen) op items die objectief moeilijker zijn. Dit suggereert een gedeelde moeilijkheidsregistratie—het vermogen om te percipiëren dat een taak moeilijk is.

Echter, deze oppervlakkige gelijkenis maskeert een potentiële divergentie in deliberatie-allocatie: hoe een agent computationele middelen plant nadat de moeilijkheid is geregistreerd, specifiek in relatie tot het eigen succes of falen. Het artikel betoogt dat correlaties tussen verschillende items alleen niet kunnen onderscheiden tussen een gedeeld mechanisme van redeneren en een toevallige uitlijning in moeilijkheidsgradatie. De kern van het probleem is bepalen of LRMs en mensen deliberatiebronnen (tijd/tokens) op dezelfde manier toewijzen aan correcte en incorrecte pogingen wanneer de identiteit van het item constant wordt gehouden.

Methodologie

De studie maakt gebruik van een diagnostisch kader op twee niveaus, gebruikmakend van item-gecontroleerde, uitkomst-geconditioneerde analyses op publiekelijk beschikbare, gede-identificeerde datasets (H-ARC, INTUIT, Cortes) en een steekproef van zes open-weight denkende LRMs (bijv. DeepSeek-R1, Qwen-QwQ, gpt-oss) plus een niet-denkende baseline (DeepSeek-V3).

1. Diagnostiek op twee niveaus

Niveau 1: Moeilijkheidsregistratie (Cross-Item): Meet de correlatie tussen de trace-lengte van de LRM en de menselijke reactietijd over verschillende items heen. Dit repliceert de bevinding dat beide systemen het eens zijn over welke items moeilijk zijn.
Niveau 2: Deliberatie-allocatie (Binnen-Item): Meet de relatie tussen deliberatie-lengte en juistheid binnen hetzelfde agent en binnen hetzelfde item. Dit is de nieuwe bijdrage. Het vraagt: "Besteedt de agent meer deliberatie aan pogingen die het goed heeft of aan pogingen die het fout heeft?"

2. Statistische benadering

Metriek: De primaire metriek is de d-ratio (Cohen's d op log-deliberatie), berekend als $(\bar{\ell}_{fout} - \bar{\ell}_{goed}) / s_{gepoolde}$ $(\overset{ˉ}{ℓ}_{f o u t} - \overset{ˉ}{ℓ}_{g oe d}) / s_{g e p oo l d e}$ .
- Positieve d: De agent délibereert langer bij fouten.
- Negatieve d: De agent délibereert langer bij successen.
Controles: Om allocatie van moeilijkheid te isoleren, gebruiken de auteurs item fixed-effects regressies. Dit absorbeert de item-identiteit, waardoor de vergelijking puur gedreven wordt door de uitkomst van juistheid binnen hetzelfde item.
Omvang: De analyse is "item-gecontroleerd" in plaats van strikt "binnen-agent" in de zin van herhaalde metingen, aangezien de publieke data één uitkomst per (item $\times$ model) paar biedt. Het contrast wordt geïdentificeerd over modellen (en mensen) die hetzelfde specifieke item proberen.

3. Mechanistische probes

Om de gedragsmatige divergentie te interpreteren, analyseerden de auteurs de inhoud van de traces:

Menselijke data: Decompositie van reactietijd met behulp van "actie-aantallen" (grid-bewerkingen) om onderscheid te maken tussen "afhaken" (snelle fouten) en "betrokken falen" (langzame fouten).
LRM-data: Analyse van redeneertraces op zoek naar "zelf-twijfel markers" (hedging), zelfcorrectie-markers en lexicale repetitie-percentages om te zien of langere traces correleren met onzekerheid.

Belangrijkste resultaten

1. De Allocatiekloof (Tekenomkering)

Op de primaire dataset (H-ARC) ontstaat een scherpe dissociatie:

Mensen: Vertonen een negatieve d-ratio ( $d = -0,10$ ). Wanneer zij controleren voor item-moeilijkheid, besteden mensen minder tijd aan pogingen die ze fout hebben. Dit suggereert een beleid van betrokkenheid versus afhaken: mensen houden vol bij items waarvan ze verwachten ze op te lossen en haken snel af bij items die ze niet kunnen oplossen.
Denkende LRMs: Vertonen een positieve d-ratio ( $d = 1,47–3,13$ ). Wanneer zij controleren voor item-moeilijkheid, besteden LRMs meer tokens aan pogingen die ze fout hebben. Dit suggereert een beleid van lengte-op-onzekerheid: het model genereert langere ketens wanneer het onzeker is, wat precies is wanneer het de neiging heeft te falen.

2. Robuustheid en Generalisatie

Cross-Paradigma: De tekenomkering houdt stand op INTUIT (intuïtieve fysica), waar LRMs een $d > 0$ vertonen en mensen $d \approx 0$ .
Grensgeval (Cortes): Op Cortes (binair relationeel redeneren) wordt de binnen-item helling van enkel de LRM positief (tegenovergesteld aan H-ARC), maar de interactie tussen agent-type en juistheid blijft significant omdat mensen een nog sterkere positieve helling vertonen. De dissociatie blijft bestaan, hoewel de interpretatie van het mechanisme complexer is hier.
Baseline: De niet-denkende DeepSeek-V3 vertoont ook een neiging om meer tokens te besteden aan foutieve pogingen (positieve d-ratio), wat suggereert dat dit "lengte-op-onzekerheid" gedrag een eigenschap kan zijn van de basismodel-generatie onder onzekerheid, en niet alleen een "redeneer"-kenmerk.

3. Mechanistisch Bewijs

Menselijke Betrokkenheid: De positieve binnen-item helling voor mensen (op correcte pogingen) wordt gemedieerd door actie-aantallen. Snelle fout-pogingen (afhaken) hebben aanzienlijk minder acties dan langzame fout-pogingen (betrokken falen), wat het "betrokkenheid versus afhaken" hypothese ondersteunt.
LRM Onzekerheid: Foutieve ketens op H-ARC bevatten aanzienlijk meer zelf-twijfel/hedging markers. Op Cortes vertonen ze hogere 5-gram repetities en lagere type-token ratio's. Deze oppervlakkige markers suggereren dat het model "vastzit" of onzeker is, waarbij het meer tokens genereert zonder noodzakelijkerwijs de nauwkeurigheid te verbeteren.

Belangrijkste Bijdragen

Ontkoppeling van Registratie en Allocatie: Het artikel scheidt twee gedragsniveaus die vaak worden samengevoegd: registratie en allocatie. Het demonstreert dat terwijl LRMs en mensen overeenstemming vertonen over welke items moeilijk zijn (registratie), ze fundamenteel verschillen in hoe ze middelen aan die items toewijzen (allocatie).
Item-Gecontroleerde Diagnostiek: Het introduceert een rigoureus, uitkomst-geconditioneerd diagnostisch instrument dat de identiteit van het item constant houdt. Dit onthult dat cross-item correlaties (moeilijkheidsregistratie) orthogonaal zijn aan binnen-item deliberatie-policies.
Herformulering van Uitlijning: Het artikel betoogt dat de schijnbare uitlijning in trace-lengte een "oppervlakkige gelijkenis" is die tegengestelde interne policies verbergt. Het herkadert mens-LRM uitlijning niet als een vraag naar trace-lengte alleen, maar als een vraag naar stop- en controle-policies.

Betekenis en Claims

Het artikel beweert dat de waargenomen dissociatie de opvatting uitdaagt dat huidige LRMs menselijke metacognitieve controle implementeren.

Metacognitieve Ontkoppeling: Bij mensen is monitoring (onzekerheid) gekoppeld aan controle (stoppen/afhaken). Bij LRMs stijgen monitoring-signalen (hedging, onzekerheidsmarkers) bij foutieve pogingen, maar zijn ze zwak gekoppeld aan controle; het model blijft tokens genereren zelfs wanneer de uitkomst waarschijnlijk onjuist zal zijn.
Resource-Rational Interpretatie: Het menselijke patroon is consistent met een resource-rationaal beleid waarbij computation wordt ingetrokken wanneer de verwachte marginale winst verdwijnt (afhaken). Het LRM-patroon suggereert een beleid waarbij extra tokens worden toegewezen aan onzekere items ongeacht hun uiteindelijke nut, wat potentieel optimaliseert voor een ander doel (bijv. trainingssignalen, verifier rewards) in plaats van item-nauwkeurigheid.
Methodologische Verschuiving: De auteurs stellen dat toekomstig werk dat LRMs met menselijke cognitie vergelijkt, cross-item uitlijningstests moet combineren met binnen-item allocatietests. Het vertrouwen op enkel cross-item correlaties is onvoldoende om te claimen dat er gedeelde redeneermechanismen aanwezig zijn.

Beperkingen: De auteurs merken expliciet op dat de data observationeel zijn. Ze bewijzen niet dat de extra tokens op LRM foutieve pogingen geen causale waarde hebben, maar alleen dat hun allocatiepatroon het inverse is van menselijk gedrag. Ze stellen een "gecontroleerde truncatie" experiment voor als de noodzakelijke volgende stap om te bepalen of de extra tokens "nuttige zoektocht" of "opvulling" zijn. De studie is beperkt tot open-weight modellen en testت geen gesloten-frontier systemen.