Résumé technique : auto-psych

Énoncé du problème

Le processus scientifique en sciences cognitives est traditionnellement une boucle itérative impliquant la conjecture de théories, la conception expérimentale, la collecte de données et le raffinement des modèles. Bien que les outils d'IA aient récemment assisté des étapes individuelles de cette boucle (par exemple, la génération d'hypothèses ou l'analyse de jeux de données existants), un goulot d'étranglement critique subsiste : l'automatisation de la collecte de nouvelles données sous des régimes expérimentaux ciblés. L'IA scientifique actuelle repose souvent sur la « boucle de Box » (test itératif de modèles sur des jeux de données statiques) mais manque d'une capacité de « laboratoire dans la boucle » (lab-in-the-loop) où des agents conçoivent et exécutent des expériences avec des participants humains.

Cet article traite du défi de l'automatisation du cycle complet de découverte en sciences cognitives computationnelles. Plus précisément, il cible le domaine de la randomité subjective — le phénomène psychologique par lequel les humains jugent quelles séquences de lancers de pièces semblent plus aléatoires. Ce domaine est choisi car il offre un espace de stimuli discret et traitable ainsi qu'une riche histoire de théories probabilistes formalisées, ce qui en fait un banc d'essai idéal pour la découverte automatisée de théories.

Méthodologie : Le cadre auto-psych

Les auteurs introduisent auto-psych, un système basé sur des agents qui automatise la découverte de théories et l'expérimentation à travers deux boucles imbriquées. Le système utilise des modèles de langage étendus (LLM), spécifiquement gemini-3.1-pro-preview au sein d'un environnement OpenCode, pour instancier des rôaux d'agents distincts (les agents Théoricien, Critique, Conception et Implémentation).

1. La boucle externe : « Lab-in-the-loop »

La boucle externe gère le cycle expérimental pour différencier les théories concurrentes :

• Génération de théories : Un agent théoricien propose de nouveaux modèles cognitifs. Dans la première itération, il utilise des « modèles de départ » issus de la littérature. Dans les itérations suivantes, il génère de nouvelles hypothèses en langage naturel et les traduit en code PyMC (programmation probabiliste) exécutable.
• Conception expérimentale : Un agent de conception génère 100 à 300 stimuli candidats (paires de séquences de lancers de pièces). Ces derniers sont évalués par le gain d'information attendu (EIG - Expected Information Gain) afin de sélectionner les paires qui distinguent le plus efficacement l'ensemble des modèles actuels du registre.
• Collecte de données : Un agent d'implémentation construit une expérience jsPsych, la déploie sur Firebase et recrute des participants humains via l'API Prolific. Le système surveille l'étude, récupère les données et les transmet à la boucle interne.

2. La boucle interne : « Boucle de Box »

La boucle interne affine le meilleur modèle de la boucle externe avant qu'il ne soit ajouté au registre :

• Ajustement du modèle (Model Fitting) : Les modèles existants sont ajustés aux données humaines collectées à l'aide de l'échantillonnage de Monte Carlo par chaînes de Markov (MCMC).
• Critique : Un agent critique (adapté du cadre CriticAL) effectue des vérifications prédictives a posteriori (posterior-predictive checks). Il simule des données à partir du meilleur modèle et calcule des statistiques de test pour identifier les divergences significatives entre les prédictions du modèle et les données humaines observées.
• Raffinement : Un agent théoricien utilise ces critiques spécifiques pour proposer de nouveaux modèles ou affiner les mécanismes existants afin de répondre aux échecs identifiés. Cette boucle s'exécute deux fois par itération de la boucle externe.

Principales contributions

1. Automatisation complète du cycle de découverte : L'article présente le premier cas d'une boucle de psychologie entièrement automatisée et itérative où des agents d'IA conçoivent des expériences, recrutent des participants humains, collectent des données comportementales réelles et affinent des théories computationnelles sans intervention humaine dans le cycle expérimental.
2. Architecture d'agents imbriqués : Le système démontre qu'une structure imbriquée (une boucle interne pour la critique/le raffinement du modèle et une boucle externe pour la conception expérimentale) est cruciale pour la performance. Les études d'ablation montrent que la suppression de la boucle interne dégrade considérablement la capacité du système à récupérer les modèles de vérité terrain.
3. Intégration de la programmation probabiliste : Le cadre parvient à faire le pont entre les LLM et les langages de programmation probabiliste (PyMC), permettant aux agents de générer, d'ajuster et de critiquer des modèles cognitifs complexes qui représentent la cognition humaine comme des processus probabilistes.

Résultats

Le système a été évalué de deux manières principales :

1. Récupération de la vérité terrain (Ground-Truth Recovery)

Les auteurs ont testé la capacité d'auto-psych à récupérer des modèles connus (à la fois des modèles de départ issus de la littérature et des modèles « aliens » aux règles psychologiquement implausibles) à partir de données synthétiques générées par ces modèles.

• Performance : Le système a systématiquement récupéré les modèles de vérité terrain avec une précision supérieure (erreur quadratique moyenne plus faible) que les meilleurs modèles de départ.
• Nécessité des boucles imbriquées : Les expériences d'ablation ont confirmé que la boucle interne est essentielle ; sans elle, la performance de récupération du système chute de manière significative.

2. Expériences avec données humaines

Le système a exécuté trois réplicats indépendants du cycle de découverte avec des participants humains (40 participants par tour, 3 tours par réplicat).

• Supériorité sur les modèles de la littérature : Dans les trois réplicats, les agents ont découvert des modèles qui s'ajustent aux données humaines de manière nettement plus performante que les modèles de départ initiaux issus de la littérature scientifique (ex: diagnostic bayésien, similitude de prototype, compressibilité du codage).
• Découvertes inédites : Le meilleur modèle découvert est le modèle de « typicalité de Minkowski ». Ce modèle postule que les humains jugent l'aléatoire en comparant le taux d'alternance d'une séquence et la proportion de faces à un prototype mental, les écarts étant pondérés par un exposant de pénalité de puissance (moyenne a posteriori ~1,35, suggérant une métrique de distance entre Manhattan et l'Euclidien).
• Généralisation : Les modèles découverts ont maintenu leur supériorité de précision lors de tests sur des données de contrôle provenant d'autres réplicats, indiquant qu'ils n'ont pas subi de surapprentissage (overfitting) sur les jeux de données utilisés lors de leur découverte.
• Diversité des solutions : Bien que différents réplicats aient convergé vers des modèles ayant une capacité prédictive similaire (faible RMSE par paire entre les meilleurs modèles), leurs structures internes variaient (certaines basées sur la comparaison de prototypes, d'autres sur l'accumulation de preuves), soulignant la nature non unique de la découverte de modèles dans des espaces de grande dimension.

Signification et affirmations

L'article affirme démontrer la faisabilité de la collecte de données et de la découverte de théories automatisées en sciences cognitives computationnelles. Il soutient que :

• Efficacité : Les systèmes automatisés peuvent itérer rapidement à travers la génération d'hypothèses et les tests expérimentaux, accélérant potentiellement le rythme du progrès scientifique.
• Potentiel de découverte : Le système peut trouver des théories qui surpassent les modèles générés par l'humain, suggérant que les agents d'IA peuvent identifier des explications mécanistes nouvelles du comportement humain qui pourraient avoir été négligées.
• Scalabilité : Bien que l'étude actuelle soit une preuve de concept sur un domaine spécifique et restreint (la randomité subjective), le cadre est conçu pour être généralisable à d'autres paradigmes où les théories peuvent être formalisées en code et les expériences exécutées en ligne.

Les auteurs restent modestes quant à la portée de leur travail, reconnaissant que le système actuel opère dans un espace de stimuli restreint et que les modèles découverts, bien que statistiquement supérieurs, peuvent encore manquer des vertus explicatives profondes privilégiées par les psychologues humains. Ils présentent ce travail comme un point de départ pour l'intégration de systèmes de découverte automatisés dans l'infrastructure scientifique globale plutôt que comme un remplacement des scientifiques humains.