Think-Aloud Reshapes Automated Cognitive Model Discovery Beyond Behavior

Dit artikel toont aan dat het integreren van Think-Aloud-traces in de geautomatiseerde ontdekking van cognitieve modellen de voorspellende prestaties aanzienlijk verbetert en de geïdentificeerde modelstructuren verschuift naar meer geïntegreerde nutsmechanismen, waardoor cognitieve processen aan het licht komen die alleen met gedragsdata niet kunnen worden gereconstrueerd.

De kern

Stel je voor dat je probeert uit te vinden hoe een vriend besluit wat hij voor het avondeten eet. Je hebt twee manieren om iets over hun proces te leren:

1. Het "Wat" (Gedrag): Je ziet ze bestellen. Ze kiezen de pizza. Je ziet het resultaat.
2. Het "Hoe" (Hardop Denken): Je vraagt hen om hun gedachten hardop te uiten terwijl ze beslissen. Ze zeggen: "Hmm, ik heb honger, maar pizza is zwaar. Misschien moet ik eerst de calorieën controleren en dan de kosten vergelijken."

Lange tijd hadden wetenschappers die probeerden computermodellen van menselijk denken te bouwen, alleen toegang tot het "Wat". Ze zagen mensen keuzes maken (zoals het kiezen tussen een riskante gok of een veilige optie) en probeerden de wiskunde erachter om te keren.

Het probleem is dat het "Wat" vaak een mistige spiegel is. Veel verschillende interne wiskundige formules kunnen precies dezelfde uiteindelijke keuze opleveren. Het is alsof je een auto ziet rijden door een straat; je weet dat het van A naar B is verplaatst, maar je weet niet of de bestuurder een GPS, een kaart gebruikte, of gewoon gokte. Dit maakt de computermodellen "onderbepaald" – er zijn te veel mogelijke antwoorden, en de computer kan het verkeerde kiezen, alleen omdat het enigszins bij de data past.

De Nieuwe Aanpak: Luisteren naar het Innerlijk Monoloog

Dit artikel introduceert een nieuwe manier om deze modellen te bouwen. In plaats van alleen naar de uiteindelijke keuze te kijken, voerden de onderzoekers de computermodellen ook het "Hoe" aan – de daadwerkelijke gesproken gedachten (hardop-denkersporen) die mensen hadden tijdens het nemen van beslissingen.

Ze gebruikten een superintelligente AI (een Groot Taalmodel) om als detective op te treden. De AI kreeg twee soorten aanwijzingen:

• Aanwijzing A: De lijst met keuzes die de persoon maakte.
• Aanwijzing B: Het transcript van wat de persoon zei terwijl hij die keuzes maakte.

De AI probeerde vervolgens een computerprogramma te schrijven dat zowel de keuzes als de gesproken gedachten kon verklaren.

Wat Ze Vonden

De onderzoekers testten dit op mensen die risicovolle beslissingen namen (zoals kiezen tussen een zeker kleine beloning of een kans op een grote beloning). Dit gebeurde toen ze de "gesproken gedachten" aan het mengsel toevoegden:

1. De Modellen Kregen Slimmere (Betere Voorspellingen)
Wanneer de AI alleen de keuzes gebruikte, deed het redelijke voorspellingen. Maar toen het de keuzes plus de gesproken gedachten gebruikte, werden de modellen veel beter in het voorspellen wat de persoon de volgende keer zou doen. Het is alsof een detective een misdaad oplost: als je alleen de voetafdrukken ziet, kun je de verkeerde verdachte raden. Maar als je ook het alibi van de verdachte hoort, kun je de waarheid veel nauwkeuriger vaststellen.

2. De Modellen Veranderden Hun "DNA" (Structurele Verschuiving)
Dit is het meest verrassende deel. De AI paste niet alleen de cijfers aan; het veranderde volledig het type logica dat het gebruikte om de menselijke geest te verklaren.

• Zonder de gesproken gedachten: De AI dacht vooral dat mensen een "Touwtrouw"-methode gebruikten. Het ging ervan uit dat mensen de waarde van Optie A berekenden, de waarde van Optie B berekenden, en vervolgens gewoon de twee getallen vergeleken om te zien welke groter was.
• Met de gesproken gedachten: De AI besefte dat voor de meeste mensen (ongeveer 70%) de hersenen meer werken als een "Smoothie Blender". In plaats van gewoon twee aparte getallen te vergelijken, mengden mensen de ingrediënten (risico, beloning, waarschijnlijkheid) eerst binnen elke optie, blendten ze tot één gevoel, en maakten daarna een keuze.

Het artikel vond dat voor bijna 7 van de 10 mensen het toevoegen van de gesproken gedachten de AI dwong het "Touwtrouw"-model te verlaten en over te stappen naar het "Blender"-model.

De Grote Conclusie

Het belangrijkste punt van dit artikel is dat het luisteren naar hoe mensen denken, de kaart verandert die we van hun geest tekenen.

Als je alleen naar de bestemming kijkt (de keuze), kun je een kaart tekenen die eruitziet als een rechte lijn. Maar als je naar de commentaar van de reiziger luistert, besef je dat ze een kronkelend pad hebben genomen, zijn gestopt om naar een uitzicht te kijken, en misschien zelfs zijn teruggekeerd.

Door "Hardop-denken"-data toe te voegen, kregen de onderzoekers niet alleen een iets betere kaart; ze ontdekten dat het terrein zelf anders was dan ze dachten. De gesproken woorden fungeerden als een beperking, waardoor de computer stopte met gokken en begon met het vinden van de werkelijke mentale machines die mensen gebruikten – machines die onzichtbaar waren als je alleen naar hun handen keek.

Technische samenvatting

Technische Samenvatting: Think-Aloud herformuleert de geautomatiseerde ontdekking van cognitieve modellen

Probleemstelling
Computationele cognitieve modellen die uitsluitend zijn afgeleid uit gedragsdata, zijn vaak onderbepaald; verschillende computationele mechanismen kunnen identieke of sterk vergelijkbare keuzepatronen voortbrengen, wat leidt tot aanzienlijke ambiguïteit bij modelselectie (Wilson & Collins, 2019). Hoewel "think-aloud"-protocollen al lang worden gebruikt om redeneerprocessen op procesniveau in natuurlijke taal vast te leggen, heeft eerdere werk zich grotendeels gericht op het valideren van de betrouwbaarheid van deze mondelinge rapporten of op het ontwikkelen van methoden om ze te analyseren. Een fundamentele vraag blijft onontgonnen: kunnen redeneersporen uit think-aloud-procedures de geautomatiseerde ontdekking van computationele structuren faciliteren die alleen uit gedragsdata niet kunnen worden herwinnen?

Methodologie
De auteurs maken gebruik van een framework voor geautomatiseerde modelontdekking genaamd GeCCo (Rmus et al., 2025), dat een Large Language Model (LLaMA-3.1-70B) gebruikt om iteratief kandidaat-computationele modellen te genereren. Deze modellen worden gedefinieerd als uitvoerbare functies die taakinvoer afbeelden op keuzes. De LLM wordt geprompt om alternatieve modelstructuren voor te stellen die het huidige best presterende model verbeteren, gebaseerd op hun fit met vastgehouden data.

De studie past dit framework toe op een dataset voor risicovolle besluitvorming met 72 deelnemers. Bij deze taak maken deelnemers in 19 trials binaire keuzes op basis van het paradigma dat is vastgesteld door Kahneman en Tversky (1979). Het experiment vergelijkt twee condities:

1. Alleen Gedrag: Modellen worden ontdekt met uitsluitend de gedragskeuzedata.
2. Gedrag + Think-Aloud: Modellen worden ontdekt met zowel gedragsdata als de verbaal geredeneerde sporen van de deelnemers als invoer voor de LLM.

Voor elke deelnemer wordt het ontdekkingsproces 10 keer herhaald met identieke dataverdelingen. Het best passende model voor elke conditie wordt geselecteerd op basis van de Bayesian Information Criterion (BIC) (Watanabe, 2013), geëvalueerd op 10 vastgehouden trials. Om de modelstructuur te analyseren, worden de ontdekte programma's omgezet in genormaliseerde berekeningsgrafieken, waaruit structurele kenmerken worden geëxtraheerd en geclusterd met behulp van HDBSCAN (McInnes et al., 2017).

Belangrijkste Resultaten

1. Verbeterde Predictieve Prestaties: Modellen die zijn ontdekt met inachtneming van think-aloud-data vertoonden significant betere voorspellende prestaties op steekproeven buiten de trainingsset. Een gepaarde t-toets toonde aan dat de vastgehouden BIC-scores significant lager waren voor de think-aloud-conditie in vergelijking met de alleen-gedrag-conditie ($t(71) = -3.41, p = 0.001$). Specifiek vertoonden 59,7% van de deelnemers een lagere BIC onder de think-aloud-conditie.
2. Systematische Herformulering van Modelstructuur: De opname van taaldata op procesniveau heeft niet alleen bestaande modellen verfijnd, maar heeft systematisch de structurele klasse van de ontdekte mechanismen veranderd. Clustering identificeerde drie primaire mechanismefamilies: Geïntegreerde Nuttigheid, Expliciete Vergelijker en Regelgebaseerde Operator.
   • Structurele Verschuivingen: 69,4% van de deelnemers werd toegewezen aan verschillende mechanismeclusters bij de overgang van de alleen-gedrag-conditie naar de think-aloud-conditie.
   • Specifieke Overgangen: De meest prominente verschuiving vond plaats van de cluster Expliciete Vergelijker (die nuttigheid berekent en deze direct vergelijkt, bijvoorbeeld $\Delta U = U_A - U_B$) naar de cluster Geïntegreerde Nuttigheid (die opties transformeert en integreert voordat er een vergelijking plaatsvindt).
   • Kwalitatieve Verschillen: Deze overgangen vertegenwoordigen fundamentele veranderingen in computationele organisatie (bijvoorbeeld een verschuiving van directe waardevergelijking naar een proces van het transformeren en integreren van winsten/verliezen binnen elke optie) in plaats van oppervlakkige codevariaties.

Betekenis en Beweringen
Het artikel beweert dat taaldata op procesniveau een functionele rol speelt bij het beperken van de ruimte van toelaatbare computationele modellen. Door extra beperkingen te bieden op de onderliggende cognitieve mechanismen, lossen think-aloud-sporen de onbepaaldheid op die inherent is aan gedragsdata alleen.

De auteurs concluderen dat het integreren van think-aloud-data:

• De voorspellende kwaliteit van geautomatiseerde modelontdekking verbetert.
• Systematisch de structuur van ontdekte cognitieve modellen herformuleert, wat leidt tot de identificatie van mechanismefamilies die niet uit gedrag alleen kunnen worden herwinnen.
• Suggereert dat mondelinge rapporten niet slechts aanvullende data zijn, maar cruciaal zijn voor het blootleggen van de ware computationele architectuur van menselijke besluitvorming.

Het werk toont aan dat frameworks voor geautomatiseerde modelontdekking natuurlijke taaltraces kunnen benutten om voorbij gedrags-onbepaaldheid te gaan, waardoor onderscheidende cognitieve mechanismen worden onthuld die anders verborgen zouden blijven.