Active Inference with People: a general approach to real-time adaptive experiments

Cet article présente une approche unifiée et pratique pour les expériences adaptatives en temps réel, combinant l'inférence active et la plateforme PsyNet pour optimiser divers protocoles expérimentaux, tels que les tests adaptatifs et l'assignation de traitements, tout en réduisant significativement le nombre d'essais nécessaires et en améliorant la précision des résultats.

L'essentiel

Imaginez que vous êtes un chef cuisinier qui doit préparer un repas pour 200 convives. Votre objectif est de découvrir quel plat plaît le plus à chacun, mais vous avez deux contraintes majeures : vous ne voulez pas gaspiller de nourriture (le temps et l'attention des gens sont précieux) et vous voulez être sûr de votre choix final.

Dans le monde scientifique, c'est exactement le problème que rencontrent les chercheurs lorsqu'ils mènent des expériences avec des humains. Traditionnellement, ils donnent le même menu à tout le monde, peu importe si la personne aime ou déteste. C'est inefficace et lent.

Ce papier propose une nouvelle façon de faire, un peu comme si votre cuisine était équipée d'un robot chef ultra-intelligent capable de s'adapter en temps réel. Voici l'explication simple de cette méthode, basée sur deux concepts clés : l'Inférence Active (le cerveau du robot) et PsyNet (la cuisine elle-même).

1. Le Problème : Le Menu Fixe vs. Le Menu Intelligent

Imaginez que vous testez la connaissance des gens sur l'histoire américaine.

• L'approche classique (Menu Fixe) : Vous donnez 15 questions à tout le monde. Si quelqu'un est un expert, les 10 premières questions sont trop faciles et ennuyeuses. Si quelqu'un est novice, les 10 dernières sont impossibles et frustrantes. Vous gaspillez du temps et vous obtenez des données moyennes.
• L'approche du papier (Menu Intelligent) : Le robot chef observe la réponse à la première question. Si la personne a réussi, il lui pose une question plus difficile. Si elle a échoué, il lui pose une question plus simple. Il s'arrête dès qu'il a assez d'informations.

Le résultat ? Dans l'expérience décrite, cette méthode a permis de réduire le nombre de questions nécessaires de 30 à 40 %, tout en étant aussi précis que la méthode classique. C'est comme si vous aviez trouvé la recette parfaite en moitié moins de temps.

2. Le Cerveau : L'Inférence Active (Le "Savoir-Être" du Robot)

Comment le robot sait-il quoi faire ? Il utilise une théorie appelée l'Inférence Active.

Pour faire simple, imaginez que le robot a deux désirs contradictoires qu'il doit équilibrer :

1. La Curiosité (Le Savoir) : "Je veux en apprendre le plus possible sur ce convive." (C'est ce qu'on appelle le gain d'information).
2. Le Pragmatisme (Le Résultat) : "Je veux trouver le plat qui plaît le plus, ou éviter de servir un plat qui dégoûte tout le monde."

L'Inférence Active est une formule mathématique qui combine ces deux désirs. Elle dit au robot : "Ne pose pas juste la question la plus facile pour te rassurer, et ne pose pas juste la question la plus difficile pour tester les limites. Pose la question qui t'apprendra le plus sur la personne, tout en te rapprochant de ton objectif final."

C'est comme un détective qui, au lieu de poser 100 questions au hasard, choisit la seule question qui va éliminer 90 % des suspects d'un coup.

3. La Cuisine : PsyNet (Le Robot de Service)

Avoir une idée géniale (l'Inférence Active) ne suffit pas ; il faut pouvoir l'appliquer en temps réel sur un ordinateur, avec des milliers de personnes connectées en même temps. C'est là qu'intervient PsyNet.

PsyNet est comme une cuisine modulaire et automatisée.

• C'est un logiciel écrit en Python qui gère tout : il recrute les participants (comme sur des sites de micro-travail), affiche les questions, enregistre les réponses et, surtout, communique instantanément avec le "cerveau" du robot.
• Sa grande force est sa flexibilité. Que vous vouliez tester des questions textuelles, des images, des sons ou même des jeux vidéo, PsyNet s'adapte sans qu'il faille tout reconstruire. C'est comme changer de four ou de mixeur sans devoir reconstruire toute la cuisine.

4. Les Deux Expériences du Papier

Les auteurs ont testé leur système avec deux scénarios concrets :

• Scénario A : Le Test de Connaissance (Le Quiz Adaptatif)

  • But : Évaluer le niveau de culture générale d'une personne.
  • Résultat : Au lieu de faire passer 15 questions à tout le monde, le système s'arrête après environ 10 questions (parfois moins) car il a déjà compris le niveau de la personne. Il a économisé du temps sans perdre en précision.

• Scénario B : Le Test de "Filtrage" (L'Assignation de Traitement)

  • But : Trouver quelle question permet le mieux de distinguer les gens ayant un diplôme universitaire de ceux qui n'en ont pas.
  • Résultat : Au lieu de distribuer les questions au hasard, le système a rapidement identifié les 3 questions les plus discriminantes. Il les a posées beaucoup plus souvent aux personnes concernées. Résultat : il a trouvé la "meilleure question" 3 fois plus souvent qu'une méthode classique.

En Résumé

Ce papier nous dit que nous n'avons plus besoin de faire des expériences rigides et lentes. En combinant une théorie mathématique intelligente (qui sait équilibrer curiosité et objectifs) avec un logiciel flexible (qui gère les participants en direct), nous pouvons :

1. Économiser du temps (moins de questions, moins de fatigue pour les participants).
2. Obtenir de meilleurs résultats (trouver les réponses plus vite et plus précisément).
3. S'adapter à tout (que ce soit pour la psychologie, la médecine ou l'apprentissage des machines).

C'est un peu comme passer d'une carte postale statique à une conversation dynamique : au lieu de lire la même chose à tout le monde, on écoute et on répond à la personne qui est en face de nous, en temps réel.

Résumé technique

1. Problématique et Contexte

Les expériences adaptatives visent à optimiser leur propre conception de manière itérative en exploitant les données collectées en temps réel. Contrairement aux designs expérimentaux traditionnels qui reposent sur un ensemble fixe de stimuli défini a priori, les approches adaptatives offrent des avantages significatifs dans divers domaines :

• Tests adaptatifs informatisés (CAT) : Sélectionner les tâches les plus informatives pour évaluer les capacités d'un sujet.
• Attribution adaptative de traitements : Identifier les conditions expérimentales maximisant un résultat souhaité (ex: essais cliniques).
• Apprentissage actif : Choisir les données d'entraînement optimales pour les algorithmes d'apprentissage automatique.

Cependant, l'implémentation de ces techniques en temps réel pose deux défis majeurs :

1. Fragmentation méthodologique : Ces scénarios sont souvent traités comme des problèmes distincts avec des solutions logicielles et algorithmiques séparées, empêchant le partage d'insights entre disciplines.
2. Défis computationnels et techniques : Le calcul de designs optimaux en temps réel (nécessitant des inférences bayésiennes complexes) et l'adaptation dynamique de l'interface expérimentale sont techniquement difficiles à réaliser de manière unifiée.

L'article propose une approche unifiée pour surmonter ces obstacles en combinant un cadre théorique général (l'inférence active) avec une plateforme logicielle flexible (PsyNet).

2. Méthodologie

L'approche proposée repose sur la synergie entre deux piliers :

A. Cadre Théorique : L'Inférence Active (Active Inference)

L'inférence active, issue des neurosciences cognitives, est utilisée comme cadre mathématique unificateur pour l'optimisation adaptative. Elle se distingue des approches bayésiennes classiques par son objectif fonctionnel : la minimisation de l'Énergie Libre Attendue (Expected Free Energy - EFE), notée $G(d)$.

La fonction objectif $G(d)$ combine deux impératifs :

1. Impératif Épistémique (Recherche de connaissances) : Maximisation du Gain d'Information Attendu (Expected Information Gain - EIG). Cela permet d'explorer l'espace des paramètres inconnus (ex: la difficulté d'un test).
2. Impératif Pragmatique (Utilité) : Maximisation de l'Utilité Attendue (ou minimisation des coûts/aversion pour certains résultats). Cela permet d'exploiter les connaissances acquises pour atteindre un but spécifique (ex: trouver le meilleur traitement).

Contrairement aux stratégies "myopes" (qui optimisent une seule étape à la fois) ou aux approches purement utilitaires (qui peuvent manquer d'exploration), l'inférence active équilibre naturellement l'exploration et l'exploitation grâce à la structure de l'EFE.

Techniques d'inférence :

• Inférence Variationnelle : Pour rendre le calcul de la distribution postérieure en temps réel faisable, les auteurs utilisent l'inférence variationnelle (approximation de la vraie postérieure par une distribution paramétrée, minimisant la divergence KL).
• Estimation de l'EIG : Utilisation de bornes supérieures variationnelles (méthode de Foster et al., 2019) pour éviter les calculs de Monte Carlo imbriqués trop coûteux ($O(M \times N)$), rendant le processus viable en temps réel.

B. Plateforme Logicielle : PsyNet

Pour l'implémentation pratique, l'équipe utilise PsyNet, un package Python modulaire conçu pour les expériences comportementales en ligne à grande échelle.

• Architecture modulaire : Permet de changer facilement la modalité des stimuli (texte, audio, vidéo) ou la stratégie d'optimisation sans réécrire tout le code.
• Gestion du temps réel : Intègre des outils de déploiement (Dallinger), de recrutement (Prolific, MTurk) et de bases de données pour gérer les dépendances entre essais et participants.
• Interopérabilité : S'intègre nativement avec les bibliothèques de programmation probabiliste (comme Pyro) pour effectuer les calculs bayésiens complexes côté serveur.

3. Contributions Clés

1. Unification des paradigmes : Démonstration que le CAT (tests adaptatifs) et l'attribution de traitements peuvent être traités sous le même formalisme mathématique (minimisation de l'EFE), où le premier correspond à un cas particulier (utilité nulle, $U=0$) et le second à un cas combiné.
2. Implémentation en temps réel : Fourniture d'un code open-source complet et détaillé montrant comment déployer ces algorithmes complexes sur une plateforme web grand public.
3. Stratégies d'arrêt et d'optimisation : Introduction de règles d'arrêt basées sur le gain d'information marginal et d'algorithmes de sélection de stimuli qui s'adaptent dynamiquement à la difficulté perçue et aux préférences de l'expérimentateur.

4. Résultats Expérimentaux

Les auteurs ont validé leur approche via deux expériences concrètes impliquant 200 participants humains (et des simulations sur des données "oracle").

Expérience 1 : Test Adaptatif (Estimation de capacité)

• Objectif : Estimer le niveau de connaissance des participants sur des sujets (histoire américaine, système solaire) avec un nombre minimal de questions.
• Résultat : L'approche adaptative a réduit le nombre de questions nécessaires de 30 à 40 % par rapport à un design statique (fixe), tout en maintenant une précision d'estimation des capacités très élevée ($R^2 = 0.96$ par rapport à l'oracle).
• Efficacité : Le système a récupéré 96 % de l'information totale disponible avec seulement 37 % des essais.

Expérience 2 : Attribution Adaptative de Traitements

• Objectif : Identifier les questions ("traitements") qui discriminent le mieux les participants ayant un diplôme universitaire de ceux qui n'en ont pas.
• Résultat : L'approche par inférence active a identifié le traitement optimal avec une précision trois fois supérieure à celle d'un design fixe (répartition égale) ou d'autres stratégies adaptatives classiques (comme l'échantillonnage de Thompson) dans certaines configurations.
• Dynamique : L'algorithme a réussi à équilibrer dynamiquement l'exploration (tester des questions incertaines) et l'exploitation (concentrer les essais sur les questions discriminantes connues).

5. Signification et Impact

• Efficacité et Économie de Ressources : La méthode permet de réduire considérablement la durée des expériences et les coûts de recrutement sans sacrifier la qualité des données, un avantage crucial pour les études en ligne.
• Flexibilité Scientifique : En unifiant des champs disparates (psychométrie, essais cliniques, apprentissage automatique), l'article ouvre la voie à des transferts de méthodes entre disciplines.
• Accessibilité Technique : En fournissant une implémentation basée sur Python et PsyNet, les auteurs démocratisent l'accès aux méthodes bayésiennes avancées, autrefois réservées à des experts en calcul haute performance.
• Robustesse : L'article inclut des protocoles pour la détection en temps réel de la mauvaise spécification du modèle (diagnostics de calibration), assurant la fiabilité des résultats même avec des modèles approximatifs.

En conclusion, cet article établit un nouveau standard pour la conception d'expériences comportementales adaptatives, démontrant que l'inférence active, couplée à une infrastructure logicielle moderne, offre une solution puissante, unifiée et efficace pour l'optimisation en temps réel des interactions humain-machine.