🤖 AI

Humans Disengage, Reasoning Models Persist: Separating Difficulty Registration from Deliberation Allocation

Dit artikel onthult dat hoewel grote redeneermodellen en mensen beide over het algemeen meer tijd besteden aan moeilijkere problemen, zij tegengestelde interne strategieën vertonen: mensen besteden minder tijd aan problemen die ze uiteindelijk niet oplossen (wat wijst op strategische ontkoppeling), terwijl modellen meer tokens besteden aan hun mislukkingen (wat wijst op onzekerheidsgestuurde deliberatie), een cruciale divergentie die wordt gemaskeerd door standaard moeilijkheidsgraad-correlatiemetrieken.

Oorspronkelijke auteurs: Han-yu Wang

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Han-yu Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Twee Manieren van Denken

Stel je voor dat je een moeilijke toets maakt. Je hebt twee manieren om te reageren als een vraag je even niet meer helpt:

De "Opgeven"-strategie: Je beseft: "Dit is nu te moeilijk voor mij," en je stopt snel met nadenken over deze vraag om energie te besparen voor de volgende vraag.
De "Doorgaan"-strategie: Je beseft: "Dit is moeilijk," dus je blijft ernaar staren, schrijft meer aantekeningen en probeert het harder, zelfs als je het uiteindelijk fout hebt.

Dit artikel ontdekt dat mensen vooral de eerste strategie gebruiken, terwijl AI-redeneringsmodellen (de slimste nieuwe AI's) de tweede gebruiken.

De Opstelling: Een Oppervlakkige Gelijkenis

Lange tijd dachten onderzoekers dat AI en mensen op dezelfde manier dachten. Ze merkten een patroon op:

Wanneer een mens een moeilijke puzzel tegenkomt, doet hij er lang over om deze op te lossen.
Wanneer een AI een moeilijke puzzel tegenkomt, genereert het een lange keten van "denkende" tekst (tokens) voordat het antwoord geeft.

Het leek alsof ze beiden zeiden: "Moeilijk probleem = Meer inspanning." Het artikel noemt dit "Difficulty Registration" (Moeilijkheidsgraad Registratie). Zowel mensen als AI zijn het erover eens welke problemen moeilijk zijn.

De Twist: Wat Gebeurt Er Wanneer Ze Falen?

De auteurs gingen dieper. Ze keken niet alleen naar hoe lang het duurde om een probleem op te lossen; ze keken naar wat er gebeurde wanneer het antwoord fout was.

Mensen: Wanneer mensen een vraag fout hebben, besteedden ze meestal minder tijd aan die vraag. Ze beseften al vroeg dat het een verloren zaak was en gingen door met het volgende.
- Analogie: Stel je voor dat je probeert een kapotte broodrooster te repareren. Als je beseft dat de stekker ontbreekt, stop je direct met prutsen. Je verspilt geen 20 minuten aan het proberen te repareren van een broodrooster die niet is ingeplugd.
AI-modellen: Wanneer deze AI-modellen een vraag fout hebben, besteedden ze meer tijd (genereerden meer tekst) dan wanneer ze het goed hadden. Ze bleven "denken", zelfs toen ze faalden.
- Analogie: Stel je voor dat de broodrooster niet is ingeplugd. De AI blijft knoppen indrukken, de deur openen en de gloeidraden controleren voor 20 minuten, terwijl het een enorme rapportage over de strijd genereert, voordat het eindelijk toegeeft: "Oh, hij is niet ingeplugd."

De Twee Niveaus van Denken

Het artikel scheidt het denken in twee duidelijke stappen:

Registration (Opmerken): "Is dit probleem moeilijk?" (Zowel mensen als AI zeggen "Ja" tegen dezelfde moeilijke problemen).
Allocation (Beslissen): "Nu ik weet dat het moeilijk is, wat moet ik doen?"
- Mensen: "Het is moeilijk en ik zit vast? Dan stop ik en probeer ik iets anders." (Disengagement/Ontkoppeling).
- AI: "Het is moeilijk en ik zit vast? Dan denk ik nóg harder en schrijf ik meer." (Persistentie/Volharding).

Waarom Doet de AI Dit?

De auteurs suggereren dat de AI niet "eigenwijs" is op een menselijke manier; het wordt gedreven door onzekerheid.

Wanneer de AI onzeker is, zegt de interne programmering dat het meer tekst moet genereren om het antwoord te vinden.
Helaas, op de problemen waar de AI het meest onzeker is, geeft hij vaak een fout antwoord. De AI eindigt dus met de langste, meest gedetailleerde "denkketens" precies op het moment dat hij het antwoord fout heeft.
Het is als een detective die steeds meer aantekeningen blijft maken wanneer hij in de war is, in plaats van te beseffen dat hij op het verkeerde spoor zit en te stoppen.

De "Menselijke" Kant van het Verhaal

Het artikel legt ook uit waarom mensen anders reageren. Mensen hebben een concept van engagement vs. abandonment (betrokkenheid versus opgeven).

Als een mens een probleem probeert en snel vastloopt, beseft hij vaak: "Ik ga dit niet oplossen," en stopt hij ermee. Dit is "abandonment" (opgeven).
Als ze blijven proberen en het uiteindelijk oplossen, hebben ze veel tijd aan het probleem besteed.
De gegevens laten zien dat mensen hun tijd besteden aan de problemen die ze verwachten op te lossen, en de problemen die ze niet kunnen oplossen, laten vallen.

De Conclusie: Dezelfde Kaart, Anders Kompas

Het artikel concludeert dat hoewel AI en mensen aan de oppervlakte op elkaar lijken (beiden doen er langer over bij moeilijke zaken), ze eigenlijk totaal andere regels gebruiken voor hoe ze hun tijd besteden.

De Metrische Valstrik: Eerdere studies keken alleen naar de "kaart" (welke problemen zijn moeilijk). Ze zagen dat AI en mensen overeenkwamen.
De Realiteit: Wanneer je kijkt naar het "kompas" (hoe ze omgaan met falen), wijzen ze in tegengestelde richtingen.

Kortom: Mensen zijn goed in weten wanneer ze een slecht probleem moeten laten vallen om energie te besparen. Huidige AI-modellen zijn slecht in stoppen; ze blijven "denken" (tekst genereren) zelfs wanneer ze alleen maar rondjes draaien, waardoor hun "denken" langer wordt precies op het moment dat ze het waarschijnlijk fout hebben.

Wat Dit Betekent voor de Toekomst (Volgens het Artikel)

Het artikel beweert niet dat dit een klinisch probleem of een specifieke oplossing voor AI is (nog). In plaats daarvan suggereert het een nieuwe manier om AI te testen.

De Test: Als je het "denken" van de AI vroegtijdig afkapt (truncatie), zal het dan nog steeds het juiste antwoord geven?
De Voorspelling: Als de AI alleen maar "opvulling" genereert omdat het in de war is, zal het afkappen van de tekst de nauwkeurigheid niet veel schaden (omdat het alleen maar tijd verspilde). Als de AI daadwerkelijk nuttig werk verrichtte, zou het afkorten van de tekst leiden tot een fout. De auteurs suggereren dat deze test nodig is om te zien of het extra denken van de AI daadwerkelijk nuttig is of slechts een teken van verwarring.

Technische Samenvatting: Mensen haken af, Reasoning Modellen blijven doorgaan

Probleemstelling
Recent werk (de Varda et al., 2025) stelde een oppervlakkige uitlijning vast tussen Large Reasoning Models (LRMs) en mensen: beide systemen genereren langere redeneersporen (of nemen meer tijd in beslag) bij moeilijkere items. Deze "cross-item uitlijning" suggereert dat LRMs moeilijkheidsgraad vergelijkbaar met mensen registreren. Deze correlatie verzwakt echter twee verschillende cognitieve processen: moeilijkheidsregistratie (het graderen van items op moeilijkheid) en deliberatieallocatie (het beslissen hoeveel rekenkracht aan een specifiek item wordt besteed zodra de moeilijkheid bekend is).

Het artikel betoogt dat cross-item correlaties onvoldoende zijn om mechanistische gelijkenis te claimen, omdat ze niet onthullen hoe een agent computationele middelen plant in relatie tot zijn eigen successen en fouten. Het is onbekend of LRMs, net als mensen, meer inspanning leveren bij items die ze verwachten op te lossen (betrokkenheid/engagement) of of ze inspanning alloceren op basis van een ander signaal, zoals onzekerheid, zelfs wanneer die inspanning tot falen leidt.

Methodologie
De studie introduceert een diagnostisch proces op twee niveaus om registratie te scheiden van allocatie, gebruikmakend van een publieke, gematchte mens–LRM corpus over drie redeneerparadigma's: H-ARC (visuele abstractie), INTUIT (intuïtieve fysica) en Cortes (binaire relationele redenering).

Moeilijkheidsregistratie (Probe 1): De auteurs repliceren de cross-item analyse door de lengte van het LRM-redeneerspoor te correleren met de menselijke reactietijd (RT) over items heen.
Deliberatieallocatie (Probe 2): De kerninnovatie is een uitkomst-geconditioneerde, item-gecontroleerde diagnostiek. De auteurs vragen: Gegeven een vast item, besteedt een agent dan meer deliberatie aan pogingen die het correct beantwoordt versus incorrecte pogingen?
- Metriek: De binnen-agent $d$ -ratio, gedefinieerd als de Cohen's $d$ op de log-deliberatietijd (seconden voor mensen, tokens voor LRMs) tussen foutieve en correcte pogingen: $d = (\bar{\ell}_{wrong} - \bar{\ell}_{right}) / s_{pooled}$ .
- Controles: Om allocatie van moeilijkheid te isoleren, gebruikt de analyse item fixed effects (waarbij de identiteit van het item wordt geabsorbeerd) en moeilijkheidsgecontroleerde regressies. Dit zorgt ervoor dat de vergelijking strikt binnen hetzelfde item plaatsvindt, waardoor cross-item moeilijkheidsgradiënten het resultaat niet verstoren.
- Normalisatie: Deliberatie wordt gemeten binnen de natuurlijke schaal van elke agent (seconden versus tokens); absolute grootheden worden nooit direct vergeleken.
- Modellen: Zes open-weight "thinking" LRMs (bijv. DeepSeek-R1, Qwen-QwQ, gpt-oss) en één non-thinking baseline (DeepSeek-V3) worden vergeleken met gematchte menselijke steekproeven.

Belangrijkste Resultaten
De studie vindt een dissociatie tussen registratie en allocatie:

Registratie (Uitlijning): Denkende LRMs en mensen zijn het eens over welke items moeilijk zijn. De LRM-spoorlengte correleert positief met de menselijke RT over items heen (Spearman $\rho = 0.16–0.30$ ), wat de vorig werk van de Varda et al. (2025) repliceert.
Allocatie (Divergentie): Zodra de identiteit van het item vaststaat, vertonen de twee systemen tegengestelde allocatiebeleid:
- Mensen: Tonen een negatieve of nagenoeg nul $d$ -ratio ( $d = -0.10$ op H-ARC). Mensen besteden minder tijd aan pogingen die ze fout hebben, wat consistent is met een engagement-versus-abandonment strategie: ze houden vol bij items die ze verwachten op te lossen en haken af (abandon) bij items die dat niet doen.
- Denkende LRMs: Tonen een grote positieve $d$ -ratio ( $d = 1.47–3.13$ op H-ARC). LRMs besteden meer tokens aan pogingen die ze fout hebben. Dit suggereert een length-on-uncertainty beleid: ketens groeien wanneer het model onzeker is, wat precies het moment is waarop het de neiging heeft te falen.
- Non-Thinking Baseline: De non-thinking DeepSeek-V3 vertoont ook een positieve $d$ -ratio op sommige taken, wat suggereert dat lengte-expansie onder onzekerheid een eigenschap kan zijn van basisgeneratie in plaats van een specifiek "redeneer" allocatiebeleid, hoewel de denkende modellen sterkere effecten laten zien.
Trace Inhoud: Binnen de LRM-sporen bevatten foutieve pogingen een hogere dichtheid aan zelf-twijfel markers (bijv. "wait", "hmm") op H-ARC en een hogere lexicale herhaling op Cortes, wat de interpretatie ondersteunt dat lengte wordt gedreven door onzekerheid in plaats van productieve zoektocht.

Bijdragen

Conceptuele Decompositie: Het artikel scheidt formeel moeilijkheidsregistratie van deliberatieallocatie, en toont aan dat cross-item uitlijning geen gedeelde stopbeleid impliceert.
Nieuwe Diagnostiek: Het introduceert de uitkomst-geconditioneerde, item-gecontroleerde $d$ -ratio als een noodzakelijke test voor mens–LRM uitlijning in metacognitieve controle.
Empirische Bevinding: Het onthult dat terwijl LRMs en mensen het erover eens zijn wat moeilijk is, ze fundamenteel van mening verschillen over hoe te reageren op die moeilijkheid. De schijnbare uitlijning in eerder werk maskeerde een tegengesteld allocatiebeleid.

Significantie en Claims
Het artikel claimt dat de geobserveerde dissociatie de visie uitdaagt dat LRMs mensachtige metacognitieve controle implementeren.

Metacognitieve Ontkoppeling: De resultaten suggereren dat in huidige denkende LRMs, onzekerheidsmonitoring (gesignaleerd door twijfel of lengte) ontkoppeld is van de stopcontrole. Mensen gebruiken monitoring om inspanning te reguleren (het afhaken van pogingen met lage waarde), terwijl LRMs lijken door te gaan met het genereren van tokens wanneer ze onzeker zijn, ongeacht de afnemende meeropbrengst in nauwkeurigheid.
Resource-Rational Interpretatie: Onder een resource-rational kader is het menselijke patroon consistent met een stopregel die de inspanning terugtrekt wanneer de verwachte marginale winst verdwijnt. Het LRM-patroon impliceert ofwel een falen om de verwachte winst te conditioneren op item-specifieke kenmerken, ofwel een optimalisatie-doelstelling die verschilt van taaknauwkeurigheid (bijv. lengte-geconditioneerde voorkeuren).
Methodologische Verschuiving: De auteurs stellen dat toekomstige cognitieve modellering van LRMs cross-item registratietests moet combineren met binnen-item allocatietests. Het uitsluitend vertrouwen op cross-item correlaties is onvoldoende om mechanistische gelijkenis te claimen.

Beperkingen en Toekomstige Richtingen
De auteurs geven expliciet aan dat hun bevindingen observationeel zijn en niet de causale waarde van de extra tokens bewijzen. Ze beweren niet dat LRMs "irrationeel" zijn, maar dat ze een ander resource-rational beleid implementeren. Het artikel stelt gecontroleerde inferentie-tijd truncatie voor als de noodzakelijke volgende stap om te differentiëren tussen "length-on-uncertainty" (waarbij truncatie de nauwkeurigheid niet zou schaden) en "useful search" (waarbij truncatie de prestaties zou verslechteren), een test die in dit onderzoek niet is uitgevoerd. De reikwijdte is beperkt tot open-weight modellen en specifieke datasets, en de engagement-versus-abandonment lezing is een interpretatie van gedragsmatige signatures, geen directe observatie van de interne architectuur.