Résumé Technique : Boucler la boucle pour découvrir des théories psychologiques avec un chercheur en sciences cognitives automatisé

Énoncé du problème

La découverte scientifique en psychologie est historiquement entravée par le processus créatif et manuel de construction de théories. Si la collecte de données, la modélisation et la conception expérimentale ont connu une automatisation croissante, l'étape centrale de la génération de nouvelles théories — transformer les échecs accumulés des modèles existants en de meilleurs modèles — reste un art centré sur l'humain. Les systèmes de découverte automatisés existants dans d'autres domaines (par exemple, la chimie, la science des matériaux) automatisent souvent des étapes uniques ou recherchent dans des espaces de modèles fixes sur des ensembles de données statiques. En sciences cognitives, le défi est conceptuel : les théories de l'esprit ne peuvent pas être compilées ou résolues directement, mais doivent naviguer dans un espace conceptuel ouvert pour rendre les processus psychologiques opaques mécanistiquement significatifs. Le problème central abordé est l'absence d'un système pleinement autonome capable de boucler la boucle de la découverte pour le comportement humain, spécifiquement la capacité de proposer des théories concurrentes, de concevoir des expériences discriminantes, de collecter des données et de synthétiser des théories améliorées sans intervention humaine.

Méthodologie : Le SYSTÈME AUTOCOG

Les auteurs présentent AUTOCOG (AUTOmated COGnitive scientist), un système d'agent IA entièrement autonome conçu pour boucler la boucle de la découverte. Le système fonctionne selon un pipeline en boucle fermée itéré sur $N$ cycles, composé de quatre étapes clés pilotées par des agents de Grands Modèles de Langage (LLM) :

1. Initialisation : Un chercheur spécifie le domaine de la tâche, les instructions, l'espace de conception expérimentale, l'espace de conception de modèles, les théories de départ et une métrique optionnelle.
2. Conception Expérimentale : Un agent LLM propose une expérience où deux théories établies font des prédictions divergentes, en adhérant au principe de la conception expérimentale adversaire. Un second agent propose une métrique pour quantifier l'avantage prédit d'une théorie sur l'autre. Le système valide ces propositions via une simulation directe avant la collecte de données afin de garantir la discriminabilité.
3. Collecte de Données Comportementales : L'expérience engagée est exécutée sur une source de données. Dans cette étude, les données ont été collectées à partir de trois sources :
   • Comportements simulés à partir de modèles cognitifs connus (récupération de la vérité terrain).
   • Modèles de fondation (en tant que substituts in-silico).
   • Participants humains recrutés en ligne (via Prolific).
4. Analyse et Arbitrage : Le système compare le comportement génératif des théories établies par rapport aux données observées en utilisant des métriques pré-enregistrées. Un agent d'arbitrage basé sur un LLM interprète les résultats, diagnostique pourquoi une théorie a échoué et recommande des révisions.
5. Révision de la Théorie : Sur la base du verdict de l'arbitrage, un agent LLM distinct révise la théorie la plus faible. Cela implique soit de resynthétiser le modèle cognitif associé, soit de régénérer la théorie à partir de zéro en utilisant la synthèse de programmes (produisant du code Python exécutable). La théorie révisée réintègre la boucle.

Principes de Conception Clés :

• Recherche Ouverte : Le système recherche dans l'espace des théories et des expériences plutôt que de sélectionner dans un ensemble de candidats fixes.
• Comparaison Générative : Les théories sont comparées sur leur capacité à générer du comportement (simulation directe) plutôt que par l'ajustement de paramètres à des données observées, réduisant ainsi les risques de surapprentissage (overfitting).
• Auto-vérification : Chaque proposition (expérience, théorie, métrique) est vérifiée contre ses propres prédictions via une simulation avant l'observation des données réelles.
• Pression de Généralisation : Les théories doivent capturer le comportement à travers de multiples populations et tâches pour survivre, agissant comme une pression implicite pour la parcimonie et l'unification.

Principales Contributions

1. Premier Système de Boucle Fermée Autonome pour la Théorie Cognitive : AUTOCOG est présenté comme le premier système capable de découvrir de manière autonome des théories de la cognition humaine directement à partir du comportement humain, bouclant la boucle de la conception expérimentale à la révision de la théorie sans intervention du chercheur.
2. Représentation Exécutable de la Théorie : Le système traite les théories comme des affirmations mécanistes en langage naturel couplées à des programmes Python exécutables, permettant une simulation et une vérification rigoureuses.
3. Cadre de Découverte Adversaire : Le système utilise des agents LLM pour défendre des théories concurrentes et concevoir des expériences spécifiquement pour les discriminer, imitant la nature adversaire du débat scientifique.

Résultats

1. Récupération de Stratégies de Prise de Décision Connues

Dans des simulations où les stratégies de vérité terrain étaient connues, AUTOCOG a réussi à récupérer les théories génératrices même lorsqu'il était amorcé avec des théories distinctes et concurrentes.

• Stratégies Canoniques : Le système a récupéré le Take-the-Best (TTB), le Tallying et le Weighted-Additive (WADD) avec une grande fidélité (Erreur Quadratique Moyenne indiscernable de la vérité terrain dans des conditions sans bruit).
• Stratégies Non-Canoniques : Le système a récupéré avec succès des stratégies non conventionnelles (ex: « Take-the-worst », « Alternating », « Perseveration ») en 5 à 20 cycles, démontant qu'il n'est pas strictement lié par les priors des LLM sous-jacents.
• Robustesse au Bruit : La performance s'est dégradée progressivement avec l'augmentation du bruit d'action ($\epsilon$), et le système a convergé vers des modèles de choix aléatoires lorsqu'il était confronté à un bruit pur, indiquant qu'il n'impose pas de structure là où il n'en existe pas.

2. Découverte dans la Prise de Décision Multi-Attributs (Indices Binaires)

Lorsqu'il a été exécuté avec des participants humains sur une tâche d'indices à valeurs binaires (amorcé avec TTB et WADD), AUTOCOG a fait émerger un Modèle de Pondération Subjective Non-linéaire.

• Performance : Cette théorie a nettement surpassé les théories de départ (TTB, Tallying, WADD) sur des ensembles de données issus de la littérature (Hilbig et al., 2014).
• Mécanisme : Le modèle unifie les trois heuristiques canoniques comme des cas limites d'un mécanisme unique régi par une transformation en loi de puissance des validités des indices (un paramètre d'exposant). Il y est parvenu sans optimisation explicite de paramètres ni contraintes de parcimonie, uniquement par la nécessité de généraliser à travers les données accumulées.

3. Découverte dans la Prise de Décision Multi-Attributs (Indices Cardinaux)

En étendant l'espace de conception pour inclure des indices à valeurs cardinales (entiers 0–$r_{max}$), AUTOCOG a découvert un modèle de WADD à Rendements Décroissants.

• Nouveauté : Cette théorie postule que les individus appliquent une fonction d'utilité concave aux valeurs des indices avant de les pondérer par leur validité. Cela implique une sensibilité décroissante aux valeurs des caractéristiques : une différence unitaire dans les zones de faible valeur a un impact plus important sur le choix qu'une différence identique dans les zones de haute valeur.
• Validation : La découverte du système a été testée de manière prospective dans une étude pré-enregistrée avec de nouveaux participants humains. L'étude a confirmé trois hypothèses dérivées de la théorie :
  • H1 (Discrimination de Modèle) : Les participants ont choisi les options prédites par le WADD à rendements décroissants significativement plus souvent que celles prédites par le WADD linéaire, le Tallying ou le TTB.
  • H2 (Steep-vs-Flat / Raide-vs-Plat) : Les participants ont montré une plus grande sensibilité aux avantages dans la région « raide » (basse valeur) par rapport à la région « plate » (haute valeur).
  • H3 (Level-Shift / Décalage de Niveau) : La même structure de valeur d'indice objectif a exercé une influence plus forte lorsqu'elle était présentée dans une plage de basse valeur par rapport à une plage de haute valeur décalée vers le haut.

Signification et Revendications

L'article affirme que AUTOCOG démontre comment les systèmes de découverte automatisés peuvent transformer la construction de théories cognitives en une science explicite, exécutable et cumulative.

• Automatisation de l'Étape Créative : Le système automatise l'étape « créative » de la génération de théories, une tâche auparavant considérée comme exclusivement humaine.
• Découverte Pilotée par les Données : Les découvertes (y compris la découverte de la sensibilité décroissante) ont été dictées par la collecte des données comportementales plutôt que par les priors des LLM, comme en témoigne la capacité du système à récupérer des stratégies non canoniques et son échec à trouver une structure dans le bruit pur.
• Auditabilité : Toute la trajectoire de découverte est enregistrée sous forme de trace lisible par machine, rendant le chemin du raisonnement scientifique ouvert à l'inspection, permettant à d'autres agents ou chercheurs de reprendre la recherche à partir de la frontière actuelle.
• Portée : Les auteurs notent que le système est limité par l'espace de conception des expériences et des modèles spécifié par les humains et que la traduction de la théorie verbale en code exécutable reste un défi. Cependant, ils affirment que la découverte de théories psychologiques du comportement humain est désormais à la portée de l'automatisation.

Le travail ne prétend pas remplacer les scientifiques humains, mais plutôt modifier leur rôle de l'exécution vers la spécification — décider de ce qui constitue une bonne théorie et définir l'espace de recherche — tandis que le système gère la génération et le test itératifs des candidats.