Think-Aloud Reshapes Automated Cognitive Model Discovery Beyond Behavior

Cet article démontre que l'intégration de traces de pensée à voix haute dans la découverte automatisée de modèles cognitifs améliore considérablement les performances prédictives et oriente les structures de modèles identifiées vers des mécanismes d'utilité plus intégrés, révélant ainsi des processus cognitifs que les données comportementales seules ne peuvent restituer.

L'essentiel

Imaginez que vous essayez de comprendre comment un ami décide quoi manger pour le dîner. Vous avez deux façons d'apprendre son processus :

1. Le « Quoi » (Comportement) : Vous observez sa commande. Il choisit la pizza. Vous voyez le résultat.
2. Le « Comment » (Pensée à voix haute) : Vous lui demandez d'exprimer ses pensées pendant qu'il décide. Il dit : « Hmm, j'ai faim, mais la pizza est lourde. Peut-être devrais-je vérifier les calories d'abord, puis comparer le coût. »

Pendant longtemps, les scientifiques tentant de construire des modèles informatiques de la pensée humaine n'avaient accès qu'au « Quoi ». Ils observaient les gens faire des choix (comme opter pour un pari risqué ou un choix sûr) et tentaient de reconstituer la mathématique sous-jacente.

Le problème est que le « Quoi » est souvent un miroir brumeux. De nombreuses formules mathématiques internes différentes peuvent produire exactement le même choix final. C'est comme voir une voiture rouler dans une rue ; vous savez qu'elle est allée du point A au point B, mais vous ne savez pas si le conducteur utilisait un GPS, une carte, ou s'il devinait simplement. Cela rend les modèles informatiques « sous-déterminés » : il existe trop de réponses possibles, et l'ordinateur pourrait choisir la mauvaise simplement parce qu'elle correspond « à peu près » aux données.

La Nouvelle Approche : Écouter le Monologue Intérieur

Cet article présente une nouvelle façon de construire ces modèles. Au lieu de simplement observer le choix final, les chercheurs ont fourni aux modèles informatiques le « Comment » également — les pensées parlées réelles (traces de pensée à voix haute) que les gens avaient eues en prenant leurs décisions.

Ils ont utilisé une intelligence artificielle très performante (un grand modèle de langage) pour jouer au détective. L'IA a reçu deux types d'indices :

• Indice A : La liste des choix que la personne a faits.
• Indice B : La transcription de ce que la personne a dit en faisant ces choix.

L'IA a ensuite tenté d'écrire un programme informatique capable d'expliquer à la fois les choix et les pensées parlées.

Ce Qu'ils Ont Découvert

Les chercheurs ont testé cela sur des personnes prenant des décisions risquées (comme choisir entre une petite récompense certaine ou une chance de gagner une grosse récompense). Voici ce qui s'est passé lorsqu'ils ont ajouté les « pensées parlées » au mélange :

1. Les Modèles sont devenus Plus Intelligents (Meilleures Prédictions)
Lorsque l'IA utilisait uniquement les choix, elle faisait des suppositions décentes. Mais lorsqu'elle utilisait les choix plus les pensées parlées, les modèles sont devenus beaucoup plus performants pour prédire ce que la personne ferait la prochaine fois. C'est comme un détective résolvant un crime : si vous ne voyez que les empreintes de pas, vous pourriez soupçonner le mauvais suspect. Mais si vous entendez aussi l'alibi du suspect, vous pouvez identifier la vérité beaucoup plus précisément.

2. Les Modèles Ont Changé de « ADN » (Changement Structurel)
C'est la partie la plus surprenante. L'IA n'a pas simplement ajusté les chiffres ; elle a complètement changé le type de logique qu'elle utilisait pour expliquer l'esprit humain.

• Sans les pensées parlées : L'IA pensait principalement que les humains utilisaient une méthode de « Tug-of-War » (Tir à la corde). Elle supposait que les gens calculaient la valeur de l'Option A, calculaient la valeur de l'Option B, puis comparaient simplement les deux nombres pour voir lequel était plus grand.
• Avec les pensées parlées : L'IA a réalisé que pour la plupart des gens (environ 70 %), le cerveau fonctionne davantage comme un « Mixeur à Smoothie ». Au lieu de simplement comparer deux nombres séparés, les gens mélangeaient en réalité les ingrédients (risque, récompense, probabilité) à l'intérieur de chaque option d'abord, les blendant en une seule sensation, et ensuite faisaient un choix.

L'article a révélé que pour près de 7 personnes sur 10, l'ajout des pensées parlées a forcé l'IA à abandonner le modèle « Tir à la corde » et à passer au modèle « Mixeur ».

La Grande Conclusion

Le point principal de cet article est que écouter comment les gens pensent change la carte que nous dessinons de leurs esprits.

Si vous ne regardez que la destination (le choix), vous pourriez dessiner une carte qui ressemble à une ligne droite. Mais si vous écoutez le commentaire du voyageur, vous réalisez qu'il a emprunté un chemin sinueux, s'est arrêté pour admirer une vue, et a peut-être même fait demi-tour.

En ajoutant des données de « Pensée à voix haute », les chercheurs n'ont pas seulement obtenu une carte légèrement meilleure ; ils ont découvert que le terrain lui-même était différent de ce qu'ils pensaient. Les mots parlés ont agi comme une contrainte, forçant l'ordinateur à arrêter de deviner et à commencer à trouver la véritable machinerie mentale que les gens utilisaient — une machinerie qui restait invisible si l'on observait uniquement leurs mains.

Résumé technique

Résumé Technique : La Pensée à Voix Haute Redéfinit la Découverte Automatique de Modèles Cognitifs

Énoncé du Problème
Les modèles cognitifs computationnels dérivés exclusivement de données comportementales sont souvent sous-déterminés ; des mécanismes computationnels distincts peuvent produire des schémas de choix identiques ou hautement similaires, entraînant une ambiguïté substantielle dans la sélection des modèles (Wilson & Collins, 2019). Bien que les protocoles de « pensée à voix haute » soient utilisés depuis longtemps pour capturer le raisonnement au niveau du processus en langage naturel, les travaux antérieurs se sont principalement concentrés sur la validation de la fiabilité de ces rapports verbaux ou sur le développement de méthodes pour les analyser. Une question fondamentale reste inexplorée : les traces de raisonnement issues de la pensée à voix haute peuvent-elles faciliter la découverte automatique de structures computationnelles irréversibles à partir des seules données comportementales ?

Méthodologie
Les auteurs emploient un cadre de découverte de modèles automatisé appelé GeCCo (Rmus et al., 2025), qui utilise un Grand Modèle de Langage (LLaMA-3.1-70B) pour générer itérativement des modèles computationnels candidats. Ces modèles sont définis comme des fonctions exécutables faisant correspondre les entrées de la tâche aux choix. Le LLM est invité à proposer des structures de modèles alternatives qui améliorent le modèle actuel le plus performant, en se basant sur leur ajustement aux données de validation.

L'étude applique ce cadre à un ensemble de données de prise de décision risquée impliquant 72 participants. Dans cette tâche, les participants effectuent des choix binaires sur 19 essais, selon le paradigme établi par Kahneman et Tversky (1979). L'expérience compare deux conditions :

1. Comportement-Seul : Les modèles sont découverts en utilisant uniquement les données de choix comportementales.
2. Comportement + Pensée à Voix Haute : Les modèles sont découverts en utilisant à la fois les données comportementales et les traces de raisonnement verbalisées des participants comme entrée pour le LLM.

Pour chaque participant, le processus de découverte est répété 10 fois avec des divisions de données identiques. Le modèle le mieux ajusté pour chaque condition est sélectionné sur la base du Critère d'Information Bayésien (BIC) (Watanabe, 2013) évalué sur 10 essais de validation. Pour analyser la structure du modèle, les programmes découverts sont convertis en graphes de calcul normalisés, à partir desquels des caractéristiques structurelles sont extraites et regroupées à l'aide de HDBSCAN (McInnes et al., 2017).

Résultats Clés

1. Amélioration de la Performance Prédictive : Les modèles découverts avec l'inclusion de données de pensée à voix haute ont démontré une performance prédictive hors-échantillon significativement meilleure. Un test t apparié a révélé que les scores BIC de validation étaient significativement plus faibles pour la condition pensée à voix haute par rapport à la condition comportement-seul ($t(71) = -3,41, p = 0,001$). Plus précisément, 59,7 % des participants ont montré un BIC plus faible sous la condition pensée à voix haute.
2. Remodelage Systématique de la Structure du Modèle : L'inclusion de données linguistiques au niveau du processus n'a pas simplement affiné les modèles existants, mais a systématiquement altéré la classe structurelle des mécanismes découverts. Le regroupement a identifié trois familles principales de mécanismes : Utilité Intégrée, Comparateur Explicite et Opérateur Basé sur des Règles.
   • Déplacements Structurels : 69,4 % des participants ont été assignés à des groupes de mécanismes différents lors du passage de la condition comportement-seul à la condition pensée à voix haute.
   • Transitions Spécifiques : Le déplacement le plus marquant s'est produit du groupe Comparateur Explicite (qui calcule les utilités et les compare directement, par exemple $\Delta U = U_A - U_B$) vers le groupe Utilité Intégrée (qui transforme et intègre les options avant la comparaison).
   • Différences Qualitatives : Ces transitions représentent des changements fondamentaux dans l'organisation computationnelle (par exemple, passer d'une comparaison directe de valeurs à un processus de transformation et d'intégration des gains/pertes au sein de chaque option) plutôt que de simples variations de code superficielles.

Signification et Affirmations
L'article affirme que les données linguistiques au niveau du processus jouent un rôle fonctionnel dans la contrainte de l'espace des modèles computationnels admissibles. En fournissant des contraintes supplémentaires sur les mécanismes cognitifs sous-jacents, les traces de pensée à voix haute résolvent l'indétermination inhérente aux seules données comportementales.

Les auteurs concluent que l'intégration de données de pensée à voix haute :

• Améliore la qualité prédictive de la découverte automatisée de modèles.
• Remodèle systématiquement la structure des modèles cognitifs découverts, conduisant à l'identification de familles de mécanismes qui ne sont pas récupérables à partir du comportement seul.
• Suggère que les rapports verbaux ne sont pas de simples données supplémentaires, mais sont essentiels pour révéler la véritable architecture computationnelle de la prise de décision humaine.

Ce travail démontre que les cadres de découverte automatisée de modèles peuvent exploiter les traces de langage naturel pour dépasser la sous-détermination comportementale, révélant des mécanismes cognitifs distincts qui resteraient autrement cachés.