Think-Aloud Reshapes Automated Cognitive Model Discovery Beyond Behavior

Questo articolo dimostra che l'integrazione delle tracce Think-Aloud nella scoperta automatizzata di modelli cognitivi migliora significativamente le prestazioni predittive e spinge le strutture dei modelli identificati verso meccanismi di utilità più integrati, rivelando processi cognitivi che i soli dati comportamentali non possono recuperare.

L'essenziale

Immagina di cercare di capire come un amico decide cosa mangiare per cena. Hai due modi per conoscere il suo processo:

1. Il "Cosa" (Comportamento): Osservi mentre ordina. Sceglie la pizza. Vedi il risultato.
2. Il "Come" (Pensare ad alta voce): Chiedi loro di esporre i propri pensieri mentre decidono. Dicono: "Mmm, ho fame, ma la pizza è pesante. Forse dovrei controllare prima le calorie, poi confrontare il costo".

Per molto tempo, gli scienziati che cercavano di costruire modelli informatici del pensiero umano hanno avuto accesso solo al "Cosa". Osservavano le persone mentre facevano delle scelte (come scegliere tra una scommessa rischiosa o una sicura) e tentavano di ricostruire a ritroso la matematica sottostante.

Il problema è che il "Cosa" è spesso uno specchio nebbioso. Molte diverse formule matematiche interne possono produrre esattamente la stessa scelta finale. È come vedere un'auto che percorre una strada; sai che si è spostata da A a B, ma non sai se il conducente stava usando un navigatore GPS, una mappa o stava semplicemente indovinando. Questo rende i modelli informatici "sottodeterminati": ci sono troppe risposte possibili e il computer potrebbe sceglierne una sbagliata solo perché si adatta abbastanza bene ai dati.

Il Nuovo Approccio: Ascoltare il Monologo Interiore

Questo studio introduce un nuovo modo per costruire questi modelli. Invece di osservare solo la scelta finale, i ricercatori hanno fornito ai modelli informatici anche il "Come" — i pensieri effettivamente espressi ad alta voce (tracce di pensiero ad alta voce) che le persone avevano mentre prendevano le decisioni.

Hanno utilizzato un'intelligenza artificiale superintelligente (un Large Language Model) per agire come un detective. All'AI sono stati forniti due tipi di indizi:

• Indizio A: L'elenco delle scelte compiute dalla persona.
• Indizio B: La trascrizione di ciò che la persona ha detto mentre compiva quelle scelte.

L'AI ha poi cercato di scrivere un programma informatico in grado di spiegare sia le scelte sia i pensieri espressi ad alta voce.

Cosa Hanno Scoperto

I ricercatori hanno testato questo approccio su persone che prendevano decisioni rischiose (come scegliere tra una ricompensa certa e piccola o una possibilità di una ricompensa grande). Ecco cosa è successo quando hanno aggiunto i "pensieri espressi ad alta voce" al mix:

1. I Modelli Sono Diventati Più Intelligenti (Migliori Previsioni)
Quando l'AI utilizzava solo le scelte, faceva ipotesi decenti. Ma quando utilizzava le scelte più i pensieri espressi ad alta voce, i modelli sono diventati molto più bravi a prevedere cosa avrebbe fatto la persona la prossima volta. È come un detective che risolve un crimine: se vedi solo le impronte, potresti indovinare il sospettato sbagliato. Ma se ascolti anche l'alibi del sospettato, puoi individuare la verità con molta più precisione.

2. I Modelli Hanno Cambiato il Loro "DNA" (Cambiamento Strutturale)
Questa è la parte più sorprendente. L'AI non ha semplicemente aggiustato i numeri; ha cambiato completamente il tipo di logica utilizzata per spiegare la mente umana.

• Senza i pensieri espressi ad alta voce: L'AI pensava principalmente che gli umani utilizzassero un metodo di "Tiro alla fune". Assumeva che le persone calcolassero il valore dell'Opzione A, calcolassero il valore dell'Opzione B e poi confrontassero semplicemente i due numeri per vedere quale fosse più grande.
• Con i pensieri espressi ad alta voce: L'AI ha realizzato che per la maggior parte delle persone (circa il 70%), il cervello funziona più come un "Frullatore". Invece di confrontare semplicemente due numeri separati, le persone mescolavano effettivamente gli ingredienti (rischio, ricompensa, probabilità) all'interno di ogni opzione prima, fondendoli in un'unica sensazione, e poi prendevano una decisione.

Lo studio ha scoperto che per quasi 7 persone su 10, l'aggiunta dei pensieri espressi ad alta voce ha costretto l'AI ad abbandonare il modello "Tiro alla fune" e passare al modello "Frullatore".

La Grande Conclusione

Il punto principale di questo studio è che ascoltare come le persone pensano cambia la mappa che disegniamo delle loro menti.

Se guardi solo la destinazione (la scelta), potresti disegnare una mappa che sembra una linea retta. Ma se ascolti il commento del viaggiatore, ti rendi conto che ha percorso un sentiero tortuoso, si è fermato per ammirare una vista e forse è anche tornato indietro.

Aggiungendo i dati del "Pensare ad alta voce", i ricercatori non hanno ottenuto solo una mappa leggermente migliore; hanno scoperto che il terreno stesso era diverso da quanto pensavano. Le parole pronunciate hanno agito come un vincolo, costringendo il computer a smettere di indovinare e iniziare a trovare la reale macchina mentale che le persone stavano utilizzando — una macchina che era invisibile se osservavi solo le loro mani.

Sommario tecnico

Riepilogo Tecnico: Il Protocollo Think-Aloud Riforma la Scoperta Automatica di Modelli Cognitivi

Enunciato del Problema
I modelli cognitivi computazionali derivati esclusivamente da dati comportamentali sono spesso sottodeterminati; meccanismi computazionali distinti possono produrre pattern di scelta identici o altamente simili, portando a un'ambiguità sostanziale nella selezione del modello (Wilson & Collins, 2019). Sebbene i protocolli "think-aloud" siano utilizzati da tempo per catturare il ragionamento a livello di processo in linguaggio naturale, i lavori precedenti si sono concentrati prevalentemente sulla validazione dell'affidabilità di questi resoconti verbali o sullo sviluppo di metodi per analizzarli. Una domanda fondamentale rimane inesplorata: i tracciati di ragionamento think-aloud possono facilitare la scoperta automatica di strutture computazionali irrecuperabili dai soli dati comportamentali?

Metodologia
Gli autori impiegano un framework di scoperta automatica di modelli chiamato GeCCo (Rmus et al., 2025), che utilizza un Large Language Model (LLaMA-3.1-70B) per generare iterativamente modelli computazionali candidati. Questi modelli sono definiti come funzioni eseguibili che mappano gli input del compito sulle scelte. Il LLM viene sollecitato a proporre strutture di modello alternative che migliorino il modello attualmente migliore in base alla loro aderenza ai dati tenuti in riserva (held-out data).

Lo studio applica questo framework a un dataset di decisione in condizioni di rischio che coinvolge 72 partecipanti. In questo compito, i partecipanti compiono scelte binarie attraverso 19 prove basate sul paradigma stabilito da Kahneman e Tversky (1979). L'esperimento confronta due condizioni:

1. Solo Comportamento: I modelli sono scoperti utilizzando esclusivamente i dati di scelta comportamentale.
2. Comportamento + Think-Aloud: I modelli sono scoperti utilizzando sia i dati comportamentali sia i tracciati di ragionamento verbalizzati dei partecipanti come input per il LLM.

Per ogni partecipante, il processo di scoperta viene ripetuto 10 volte con divisioni dei dati identiche. Il modello migliore per ciascuna condizione viene selezionato in base al Criterio di Informazione Bayesiano (BIC) (Watanabe, 2013) valutato su 10 prove tenute in riserva. Per analizzare la struttura del modello, i programmi scoperti vengono convertiti in grafi di calcolo normalizzati, da cui vengono estratte caratteristiche strutturali e clusterizzate utilizzando HDBSCAN (McInnes et al., 2017).

Risultati Chiave

1. Miglioramento delle Prestazioni Predittive: I modelli scoperti con l'inclusione di dati think-aloud hanno dimostrato prestazioni predittive fuori campione significativamente migliori. Un test t appaiato ha rivelato che i punteggi BIC tenuti in riserva erano significativamente più bassi per la condizione think-aloud rispetto alla condizione solo comportamento ($t(71) = -3.41, p = 0.001$). Nello specifico, il 59,7% dei partecipanti ha mostrato un BIC inferiore nella condizione think-aloud.
2. Riformulazione Sistematica della Struttura del Modello: L'inclusione di dati linguistici a livello di processo non ha semplicemente raffinato i modelli esistenti, ma ha alterato sistematicamente la classe strutturale dei meccanismi scoperti. Il clustering ha identificato tre famiglie principali di meccanismi: Utilità Integrata, Comparatore Esplicito e Operatore Basato su Regole.
   • Spostamenti Strutturali: Il 69,4% dei partecipanti è stato assegnato a cluster di meccanismi diversi quando si è passati dalla condizione solo comportamento alla condizione think-aloud.
   • Transizioni Specifiche: Lo spostamento più prominente è avvenuto dal cluster Comparatore Esplicito (che calcola le utilità e le confronta direttamente, ad esempio $\Delta U = U_A - U_B$) al cluster Utilità Integrata (che trasforma e integra le opzioni prima del confronto).
   • Differenze Qualitative: Queste transizioni rappresentano cambiamenti fondamentali nell'organizzazione computazionale (ad esempio, il passaggio dal confronto diretto dei valori a un processo di trasformazione e integrazione di guadagni/perdite all'interno di ciascuna opzione) piuttosto che variazioni superficiali del codice.

Significato e Affermazioni
Il documento afferma che i dati linguistici a livello di processo svolgono un ruolo funzionale nel vincolare lo spazio dei modelli computazionali ammissibili. Fornendo vincoli aggiuntivi sui meccanismi cognitivi sottostanti, i tracciati think-aloud risolvono l'indeterminazione intrinseca nei soli dati comportamentali.

Gli autori concludono che l'inclusione di dati think-aloud:

• Migliora la qualità predittiva della scoperta automatica di modelli.
• Riforma sistematicamente la struttura dei modelli cognitivi scoperti, portando all'identificazione di famiglie di meccanismi non recuperabili dal solo comportamento.
• Suggerisce che i resoconti verbali non sono solo dati supplementari, ma sono critici per svelare la vera architettura computazionale del processo decisionale umano.

Il lavoro dimostra che i framework di scoperta automatica di modelli possono sfruttare i tracciati in linguaggio naturale per superare la sottodeterminazione comportamentale, rivelando meccanismi cognitivi distinti che altrimenti rimarrebbero nascosti.