Résumé technique : Alignement cérébral des représentations de raisonnement et d'action dans un jeu interactif naturel

Énoncé du problème

Comprendre comment les humains et les systèmes d'intelligence artificielle prédisent et planifient par l'interaction avec l'environnement constitue un défi central à l'intersection des neurosciences et de l'apprentissage automatique. Alors que les études antérieures d'encodage cérébral ont réussi à aligner des modèles artificiels sur l'activité cérébrale lors de la compréhension passive du langage ou du traitement visuel, la recherche sur l'alignement cérébral interactif est restée largement limitée aux agents d'apprentissage par renforcement (RL) et aux modèles théoriques. Ces modèles traditionnels sont optimisés pour l'apprentissage d'actions basé sur la récompense et encodent principalement des caractéristiques liées à l'action, risquant ainsi de manquer les structures perceptuelles, sémantiques et prédictives plus riches que les humains utilisent pour représenter les objets, les relations et les résultats futurs.

Ce papier comble cette lacune en investiguant si les modèles de base modernes — spécifiquement les modèles vision-langage (VLM) et les modèles d'action à grande échelle (LAM) — acquièrent des « modèles du monde » internes qui s'alignent sur l'activité cérébrale humaine lors d'un jeu interactif naturel. L'étude cherche à déterminer comment les invites axées sur l'action et axées sur le raisonnement façonnent les représentations du modèle et si ces représentations capturent mieux les calculs neuronaux sous-jacents au comportement adaptatif humain que les références RL traditionnelles.

Méthodologie

Jeu de données et configuration expérimentale

L'étude utilise un jeu de données de jeu vidéo de style Atari naturel contenant des enregistrements IRMf de 32 participants sains jouant à six jeux différents. Les données sont prétraitées et projetées sur la surface corticale (« fsaverage6 »), l'analyse se concentrant sur 11 régions d'intérêt (ROI) couvrant les zones visuelles précoces, fronto-pariétales et de planification motrice.

Modèles évalués

Les auteurs ont évalué deux familles de modèles de base aux côtés de deux références RL :

1. Modèles Vision-Langage (VLM) : Qwen2.5-VL-7B-Instruct et InternVL3-8B. Ces modèles traitent des trames visuelles de jeu et des invites textuelles pour effectuer un raisonnement.
2. Modèles d'Action à Grande Échelle (LAM) : UI-TARS-7B-DPO et OS-Atlas-Pro-7B. Ces modèles sont affinés à partir de Qwen2-VL sur des trajectoires d'interaction avec des interfaces graphiques et des jeux, spécifiquement optimisés pour la planification et l'exécution d'actions.
3. Références : EMPA (un agent RL basé sur la théorie) et D-DQN (un réseau Q profond).

Conditions d'invitation

Pour sonder différents modes cognitifs, les modèles ont été testés dans trois conditions :

• Sans invite : Les modèles ne recevaient que les trames de jeu.
• Invite d'action : Les modèles étaient invités à s'engager sur une prochaine action avec une brève justification.
• Invite de raisonnement : Les modèles étaient invités à décrire les objectifs du jeu, les relations spatiales et les buts sans nécessairement s'engager sur une action immédiate.

Encodage et analyse

• Extraction de caractéristiques : Les représentations d'états cachés ont été extraites de toutes les couches de transformateurs en utilisant une fenêtre glissante de trames récentes pour correspondre à la résolution temporelle de l'IRMf (TR = 2s).
• Encodage par voxel : Des modèles de régression ridge bootstrap ont été entraînés pour prédire les réponses IRMf à partir des représentations du modèle. La performance a été mesurée à l'aide du coefficient de corrélation de Pearson (PCC).
• Partitionnement de la variance : Une approche statistique a été utilisée pour décomposer la variance expliquée ($R^2$) en composantes partagées entre les invites d'action et de raisonnement, et en composantes uniques à chaque type d'invite. Cela a permis aux auteurs de distinguer les modèles qui encodent des informations similaires de ceux ayant des organisations représentatives qualitativement différentes.
• Analyse du mode de réflexion : Une étude préliminaire sur Qwen3.5 a comparé l'alignement cérébral de ses traces de raisonnement explicites (Chaîne de Pensée) avec ses sorties d'action finales.

Résultats clés

1. Les modèles de base surpassent les références RL

Les VLM et les LAM ont nettement surpassé les références RL classiques (EMPA et D-DQN) dans l'encodage cérébral par voxel, même lorsque les dimensions des caractéristiques étaient appariées (par exemple, réduites à 8 dimensions).

• Performance sans invite : Les VLM ont atteint $r \approx 0,264$ et les LAM $r \approx 0,271$, contre EMPA ($r=0,162$) et D-DQN ($r=0,097$).
• Effets des invites : L'invitation explicite a encore amélioré l'alignement pour les deux familles de modèles, les VLM avec invite atteignant $r \approx 0,358$ et les LAM $r \approx 0,348$.

2. Hiérarchie corticale des gains pilotés par l'invite

L'amélioration de l'alignement cérébral induite par l'invite n'était pas uniforme dans tout le cerveau.

• Régions fronto-pariétales et motrices : Les gains les plus importants ont été observés dans les régions d'ordre supérieur impliquées dans la planification et la prise de décision, spécifiquement le gyrus frontal moyen (MFG), l'aire motrice supplémentaire (SMA), le gyrus frontal inférieur (IFG) et le gyrus angulaire (AG).
• Cortex visuel : Les régions visuelles précoces ont montré des gains d'environ la moitié de l'ampleur des régions frontales.
• Signification : Cette hiérarchie suggère que les invites améliorent principalement les représentations liées aux buts, à la planification et au réseau « multi-exigences » plutôt qu'au simple traitement visuel de bas niveau.

3. Dissociation qualitative via le partitionnement de la variance

Bien que les VLM et les LAM aient atteint une précision de prédiction brute statistiquement équivalente dans l'ensemble du cerveau, le partitionnement de la variance a révélé une différence fondamentale dans leur organisation interne :

• VLM (Symétriques par rapport à l'invite) : La variance unique contribué par les invites d'action ($12,5\%$) et les invites de raisonnement ($13,6\%$) était équilibrée.
• LAM (Asymétriques par rapport à l'action) : Les invites d'action ont contribué de manière significative à une variance unique beaucoup plus importante ($27\%$) que les invites de raisonnement, qui ont contribué à une variance unique négative ($-5\%$) dans l'ensemble du cerveau et le cortex fronto-moteur.
• Interprétation : Dans les LAM, le fine-tuning spécialisé dans l'action semble réorganiser les représentations de telle sorte que le signal de « raisonnement » devient redondant ou semblable à du bruit dans les régions de planification motrice, car la supervision de l'action englobe déjà les informations nécessaires. Cette dissociation est invisible au niveau de la précision brute mais claire dans la décomposition de la variance.

4. Asymétrie du mode de réflexion

Dans l'analyse préliminaire de Qwen3.5, la sortie d'action finale du modèle a montré un alignement cérébral nettement supérieur ($r=0,355$) que sa trace de raisonnement explicite ($r=0,173$). Cet écart a persisté même après contrôle de la position de lecture, suggérant que les traces de raisonnement explicites de type chaîne de pensée dans les modèles actuels en mode réflexion ne s'alignent pas aussi étroitement sur la dynamique neuronale humaine que l'engagement final du modèle dans une action.

Signification et revendications

Le papier revendique étendre la recherche sur l'alignement cérébral de la perception passive au jeu interactif, fournissant la première évaluation systématique des VLM et LAM modernes dans ce contexte. Les contributions principales sont :

1. Riche représentation supérieure : Les modèles de base multimodaux encodent plus d'informations pertinentes pour le cerveau sur les environnements de jeu dynamiques que les agents RL traditionnels optimisés pour la tâche.
2. Réorganisation conditionnée par l'invite : L'étude démontre que l'invitation peut déplacer les représentations du modèle pour mieux s'aligner sur l'activité cérébrale humaine, en particulier dans les régions cognitives d'ordre supérieur.
3. Dissociation action vs raisonnement : Le travail révèle que le fine-tuning spécialisé dans l'action (LAM) réorganise fondamentalement les représentations multimodales vers les calculs neuronaux pertinents pour l'action, créant une structure asymétrique par rapport à l'invite distincte des VLM à usage général. Cette distinction n'est détectable que par la décomposition de la variance, et non par la précision brute.
4. Évaluation du modèle du monde : En opposant les invites axées sur le raisonnement et celles axées sur l'action, l'étude opérationnalise la séparation entre « comprendre l'environnement » et « s'engager dans des actions », montrant que cette distinction correspond à des structures représentatives qualitativement différentes dans les modèles d'IA.

Les auteurs concluent que ces résultats ouvrent de nouvelles directions pour étudier comment les modèles de base encodent les représentations structurées et prédictives sous-jacentes au comportement adaptatif, tout en notant les limites concernant les familles de modèles spécifiques testées et le caractère préliminaire de l'analyse du mode de réflexion.