Résumé technique : Raison de jouer : Alignement comportemental et cérébral entre les LRM de pointe et les apprenants humains de jeux

Énoncé du problème

La cognition humaine se distingue par sa capacité à apprendre rapidement des structures abstraites dans des environnements nouveaux et à déployer flexiblement ces connaissances pour guider une action intelligente. Bien que les systèmes d'IA modernes, en particulier les modèles de raisonnement à grande échelle (LRM), aient démontré des capacités impressionnantes dans des tâches de raisonnement statique, il reste incertain qu'ils puissent apprendre et planifier de manière interactive dans des environnements dynamiques avec la même efficacité et la même flexibilité que les humains. Les benchmarks existants échouent souvent à capturer les représentations internes des agents durant l'apprentissage interactif, et les agents d'apprentissage par renforcement profond (RL) traditionnels, bien que performants dans des domaines spécifiques, nécessitent souvent des ordres de grandeur de données supplémentaires par rapport aux humains et manquent de modèles internes transférables. De plus, les neurosciences computationnelles ont eu du mal à trouver des modèles prédisant l'activité cérébrale humaine durant la cognition interactive, car les modèles entraînés à partir de zéro sur des tâches spécifiques produisent souvent des signaux d'encodage fragiles.

Cette étude aborde la question suivante : Les LRM de pointe peuvent-ils apprendre et planifier d'une manière qui s'aligne à la fois sur les trajectoires comportementales humaines et l'activité cérébrale humaine lors de la découverte et de l'exécution de règles de jeux vidéo nouvelles ?

Méthodologie

Jeu de données et tâche

Les auteurs ont utilisé le jeu de données VGDL-fMRI, qui contient des enregistrements fMRI simultanés et des trajectoires de jeu de 32 participants adultes en bonne santé apprenant à jouer à 12 jeux vidéo distincts définis par le langage de description de jeux vidéo (VGDL).

• Structure de la tâche : Les participants ont joué à 6 jeux au cours de 6 sessions d'IRM. Chaque jeu comprenait 9 niveaux de complexité croissante, introduisant progressivement de nouveaux types d'objets et règles d'interaction.
• Environnement : Les jeux nécessitaient la découverte de règles, la révision d'hypothèses et la planification multi-étapes (par exemple, pousser des boîtes, éviter des dangers, guidance coopérative).
• Contraintes d'entrée : Les modèles ont reçu des observations symboliques anonymisées par la couleur (positions sur la grille, couleurs, inventaire) identiques à celles des participants humains, sans étiquettes sémantiques privilégiées.

Classes de modèles

L'étude a évalué une série d'agents selon trois paradigmes :

1. Modèles de raisonnement à grande échelle (LRM) de pointe : Huit modèles des familles Qwen 3.5 et DeepSeek (allant de 9 à 397 milliards de paramètres). Ces modèles ont été évalués dans un format de dialogue multi-tours où ils recevaient des observations et généraient des actions. Deux conditions ont été testées :
   • Raisonnement copié : La chaîne de pensée cachée du modèle était incluse dans le contexte pour les tours suivants.
   • Actions uniquement : Seules les actions étaient fournies, isolant la contribution des traces de raisonnement explicites.
2. Benchmarks d'apprentissage par renforcement profond (RL) :
   • Sans modèle : Double DQN (DDQN) avec un réglage extensif des hyperparamètres par jeu et un entraînement basé sur un curriculum.
   • Avec modèle : EfficientZeroV2 (EZV2), qui apprend un modèle de dynamique latente pour la planification via une recherche arborescente de Monte Carlo.
3. Benchmark symbolique : L'agent Explore–Model–Plan (EMPA), un agent basé sur la théorie qui effectue une inférence bayésienne sur une ontologie codée à la main des règles du jeu.

Métriques d'évaluation

1. Alignement comportemental :
   • Efficacité de découverte : Nombre cumulé d'étapes jusqu'à la première victoire par niveau (mesuré via la distance de Wasserstein, EMD, par rapport aux distributions humaines).
   • Capacité : Niveau moyen atteint sous un budget d'étapes fixe (curriculum bloquant nécessitant deux victoires consécutives pour avancer).
2. Encodage cérébral :
   • Protocole : Les LRM ont été exécutés en tant qu'observateurs passifs, leur fournissant le flux d'observations exact vu par les participants humains sans générer d'actions ni de traces de raisonnement. Les caractéristiques d'état caché ont été extraites au dernier jeton d'entrée.
   • Analyse : Une régression ridge à bandes a été utilisée pour prédire les réponses dépendantes du niveau d'oxygène dans le sang (BOLD) à partir des caractéristiques du modèle. La performance a été mesurée comme la corrélation de Pearson ($r$) entre l'activité BOLD prédite et observée à travers six régions d'intérêt (ROI) anatomiques : Frontale, Motrice, Pariétale, Visuelle, Visuelle précoce et Striatale.
   • Contrôles : Les comparaisons incluaient des contrôles d'initialisation aléatoire, des contrôles de mélange de trajectoires et des régresseurs de nuisance (pressions de boutons, identité du jeu, temps).

Contributions clés

1. Évaluation systématique des LRM dans l'apprentissage interactif : Il s'agit de la première évaluation systématique des LRM de pointe sur l'apprentissage interactif de jeux semblable à celui des humains, couvrant 12 jeux et 32 participants humains. Contrairement aux travaux antérieurs utilisant des prompts en une seule étape ou d'anciens LLM, cette étude emploie un dialogue multi-étapes avec des traces de raisonnement explicites.
2. Parité comportementale avec les humains : L'étude démontre que les LRM de pointe correspondent aux trajectoires d'apprentissage humaines tant en termes d'efficacité de découverte que de progression des capacités, tandis que les benchmarks de RL profond nécessitent des ordres de grandeur d'expérience supplémentaires et plafonnent tôt.
3. Alignement cérébral supérieur : Les LRM prédisent l'activité cérébrale humaine avec une précision un ordre de grandeur supérieure à celle des benchmarks de RL profond (DDQN, EfficientZero) et de l'agent symbolique EMPA dans toutes les régions corticales et sous-corticales. Cet alignement est robuste aux contrôles de permutation et est obtenu clé en main, sans ajustement fin ni outils spécifiques au domaine.
4. Insight mécanistique : L'étude isole que le signal d'alignement cérébral reflète la représentation du contexte du jeu du modèle plutôt que ses processus de planification ou de raisonnement en aval. Cela est démontré par le fait que la précision de l'encodage reste élevée même lorsque le modèle est exécuté en tant qu'observateur passif sans générer de traces de raisonnement.
5. Publication des ressources : Les auteurs publient un matériel complémentaire interactif contenant plus de 100 000 traces de raisonnement, toutes les données de rejouage, les caractéristiques d'état caché extraites et l'ensemble du pipeline d'analyse.

Résultats

Performance comportementale

• Efficacité de découverte : Les LRM de pointe se sont regroupés étroitement autour de la distribution humaine du nombre d'étapes jusqu'à la première victoire. Le meilleur modèle, DeepSeek V4-Pro, a atteint une EMD de découverte de 0,28, contre 3,07 pour DDQN et 3,22 pour EfficientZero. Cela représente une réduction de 5 à 11 fois de la distance au comportement humain par rapport aux benchmarks RL.
• Capacité : Les LRM ont progressé à travers le curriculum de 9 niveaux à des taux comparables à ceux des humains (atteignant des niveaux moyens 4 à 6 dans un budget de 1600 étapes), tandis que les benchmarks RL avançaient rarement au-delà du niveau 1–2.
• Écart découverte–exécution : Une divergence notable a été trouvée dans l'exécution. Alors que les humains réduisaient significativement leurs étapes après la première victoire (médiane de 32 étapes), les LRM avaient tendance à « persévérer », rejouant la trajectoire exacte de leur première victoire même lorsque des chemins plus courts étaient articulés dans leur raisonnement. Cet écart diminuait avec l'échelle du modèle et était largement absent dans les modèles DeepSeek.

Encodage cérébral

• Magnitude de l'alignement : Les LRM prédisaient l'activité BOLD avec une corrélation de Pearson $r$ d'environ 0,07–0,10 dans les régions visuelle et visuelle précoce, et des valeurs plus faibles mais significatives dans les régions frontale, motrice et striatale. Cela est environ un ordre de grandeur plus élevé que les meilleurs benchmarks RL (qui oscillaient en dessous de $r=0,015$).
• Entraînement vs Architecture : Les LRM entraînés ont nettement surpassé les versions initialisées aléatoirement de la même architecture (amélioration de 6,4 à 6,9 fois), confirmant que l'alignement provient de représentations apprises et non de priors architecturaux.
• Échelle vs Alignement : Contrairement à la performance comportementale, qui augmentait généralement avec la taille du modèle, la précision de l'encodage cérébral ne s'échellait pas de manière monotone avec le nombre de paramètres. Le modèle Qwen3.5-35B-A3B (MoE) a atteint la précision d'encodage la plus élevée, surpassant des modèles plus grands comme DeepSeek V4-Pro.
• Spécificité de la représentation : Le signal d'encodage était verrouillé sur la séquence moment par moment du jeu. La permutation de l'ordre temporel des embeddings ou la truncation de l'historique du contexte réduisaient significativement la précision de l'encodage, indiquant que le signal capture la structure représentative immédiate plutôt que l'intégration de la mémoire à long terme.

Signification et affirmations

L'article affirme établir les LRM de pointe comme des comptes rendus computationnels convaincants de l'apprentissage humain et de la prise de décision dans des environnements complexes et naturalistes.

• Nouveauté de l'alignement : À la connaissance des auteurs, il s'agit du premier alignement conjoint comportemental et neuronal entre les humains et les LRM durant le jeu interactif.
• Mécanisme de l'alignement : Les résultats suggèrent que les représentations riches et transférables acquises par les LRM grâce à l'entraînement préalable sur du texte leur permettent d'aborder de nouveaux jeux avec un « large savoir préalable » similaire à celui des humains. Cela contraste avec les agents de RL profond qui doivent apprendre à partir de zéro, résultant en des représentations fragiles qui échouent à s'aligner sur l'activité cérébrale humaine.
• Limites : Les auteurs notent modestement que leur paradigme rend l'estimation du plafond de bruit par voxel difficile en raison de l'unicité de chaque trajectoire humaine. Ils reconnaissent également que les LRM conservent des priors généraux de leurs corpus d'entraînement qui ne peuvent pas être entièrement contrôlés.
• Direction future : L'article postule que si les LRM actuels capturent la structure représentationnelle de la cognition humaine, ils manquent le signal associé à l'apprentissage actif et à la planification elle-même. Les travaux futurs nécessitent des architectures cognitives plus riches et des protocoles d'engagement actif pour aligner les modèles sur les trajectoires humaines individuelles.

L'étude conclut que les LRM offrent une voie à suivre pour les neurosciences computationnelles, fournissant des modèles qui non seulement résolvent des tâches mais reflètent également les états computationnels internes du cerveau humain durant l'apprentissage interactif.