A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments

Résumé technique : Un modèle d'apprentissage profond de la rotation mentale informé par des expériences de réalité virtuelle interactives

Énoncé du problème
La rotation mentale – la capacité à comparer des objets vus sous différents points de vue – est un processus cognitif humain fondamental. Bien que l'œuvre séminal de Shepard & Metzler (1971) ait établi que les temps de réponse humains sont linéairement proportionnels à la divergence angulaire, suggérant un « moteur spatial » interne, aucun modèle computationnel existant n'a réussi à résoudre la tâche de rotation mentale tout en offrant simultanément une explication mécaniste de la manière dont le cerveau pourrait exécuter ce processus. Les systèmes d'apprentissage profond actuels peinent souvent avec le raisonnement spatial et la généralisation à de nouvelles orientations 3D, échouant à reproduire la robustesse de la performance humaine tant dans les rotations planes que dans les rotations en profondeur.

Méthodologie
Les auteurs proposent un modèle mécaniste en trois étapes qui intègre l'apprentissage profond, les représentations équivariantes et le raisonnement neuro-symbolique. La conception du modèle est guidée par la littérature existante et par un nouvel ensemble d'expériences en réalité virtuelle (VR) où des sujets humains manipulaient des objets via une manette.

1. Conception expérimentale en VR : Les auteurs ont mené des expériences avec 19 participants dans un environnement VR utilisant des objets de Shepard-Metzler. Contrairement aux configurations 2D traditionnelles, la configuration « Action » permettait aux sujets de faire tourner des objets à l'aide d'un joystick. Les principaux résultats comportementaux incluent :

   • Les sujets ont effectué un nombre remarquablement faible d'actions « balistiques » (généralement une) pour aligner les objets dans un « quadrant » approximatif avant de prendre une décision.
   • Les sujets ne recherchaient pas un alignement parfait mais plaçaient plutôt les objets dans une plage de $\pm 45^\circ$ les uns par rapport aux autres.
   • Les temps de réponse montraient une grande variabilité pour les grandes divergences angulaires, remettant en cause l'hypothèse d'une vitesse de rotation continue strictement fixe.

2. Le modèle computationnel : Sur la base de ces résultats, les auteurs ont formulé l'Hypothèse de la Représentation Symbolique Dépendante du Quadrant, qui postule que les humains réduisent l'espace de rotation continu en quatre quadrants discrets. Le modèle se compose de trois modules empilés :

   • Module I (Encodeur neuronal équivariant) : Un rendu neuronal équivariant (EqNR) entraîné sur des images 2D d'objets 3D. Il produit une représentation latente spatiale 3D qui est équivariante aux rotations $SO(3)$, permettant au modèle de manipuler des représentations analogues internes sans supervision 3D explicite.
   • Module II (Encodeur d'objet neuro-symbolique) : Un Modèle Symbolique de Vision (VSM) comprenant un encodeur Vision Transformer (ViT) et un décodeur Transformer autoregressif. Il mappe les représentations latentes spatiales 3D en descriptions symboliques séquentielles (séquences de transitions directionnelles entre cubes). Crucialement, ce module impose l'équivariance au niveau symbolique, où la description change de manière prévisible lorsque l'objet franchit une limite de quadrant.
   • Module III (Agent de décision neuronal) : Un Perceptron Multicouche (MLP) qui prend des paires de descriptions symboliques en entrée. Il remplit deux fonctions : (a) juger de la similarité (correspondance/non-correspondance) si les objets sont dans le même quadrant, ou (b) prédire l'action de rotation nécessaire (par exemple, tourner de 90° dans le sens des aiguilles d'une montre) pour aligner les objets s'ils sont dans des quadrants différents. Cet agent fonctionne de manière itérative, appliquant les rotations prédites à la représentation spatiale du Module I et réévaluant jusqu'à ce qu'une décision de similarité soit atteinte.

Contributions clés

• Premier modèle mécaniste : L'article présente le premier modèle neuronal qui non seulement résout la tâche de rotation mentale, mais fournit également une explication mécaniste du processus cognitif, comblant le fossé entre la manipulation spatiale et la prise de décision symbolique.
• Intégration de représentations : Le travail démontre la nécessité de combiner des représentations spatiales structurellement isomorphes (pour la manipulation) avec des descriptions symboliques abstraites (pour la prise de décision et la sélection d'actions).
• Validation par VR : Le modèle est validé par rapport à la fois aux métriques comportementales standard (précision, tendances des temps de réponse) et aux données d'interaction nouvelles (nombre d'actions manuelles) dérivées des expériences VR des auteurs.
• Études d'ablation : Des ablations systématiques confirment que la suppression de n'importe quel composant unique (l'encodeur équivariant, l'encodeur symbolique ou l'agent d'action) conduit à un échec de la généralisation à de nouveaux objets ou de la reproduction de séquences d'actions semblables à celles des humains.

Résultats

• Performance : Le modèle complet atteint une précision de 96,13 % sur la tâche de rotation mentale, comparable à la performance humaine (91–95 % dans les configurations VR).
• Fidélité comportementale : Le modèle reproduit la tendance humaine à utiliser un nombre minimal d'actions (dominé par 0 ou 1 action) pour résoudre la tâche. Il capture avec succès la tendance linéaire des temps de réponse pour les divergences de $0^\circ$ à $120^\circ$, bien qu'il ait du mal à expliquer l'augmentation spécifique du temps de réponse entre $120^\circ$ et $180^\circ$ sans supposer des coûts d'implémentation neuronale dépendants de l'angle.
• Nécessité des composants :
  • Les réseaux siamois standards (purement feed-forward) échouent à se généraliser à de nouvelles rotations 3D, confirmant le besoin de représentations spatiales équivariantes.
  • La suppression de l'encodeur symbolique empêche le modèle de résoudre la tâche, soulignant le besoin de descriptions abstraites pour guider les actions.
  • La suppression de l'agent d'action permet au modèle de résoudre la tâche avec une haute précision mais échoue à reproduire le comportement séquentiel et basé sur l'action observé chez les humains.

Signification et revendications
Les auteurs affirment que ce travail offre de nouvelles perspectives sur le processus cognitif de la rotation mentale, soutenant spécifiquement une vision hybride où les rotations sont appliquées à des représentations spatiales, mais où les décisions sont guidées par des abstractions symboliques basées sur les quadrants. L'article soutient que l'esprit humain pourrait utiliser des « sauts discontinus » dans l'espace de rotation plutôt qu'un processus analogique strictement continu.

Du point de vue de l'apprentissage automatique, le travail suggère que l'imposition explicite de biais inductifs représentationnels (équivariance et intégration neuro-symbolique) est plus efficace pour le raisonnement spatial que de s'appuyer uniquement sur l'échelle. Les auteurs notent que, bien que des questions fondamentales demeurent (par exemple, la plausibilité biologique du mécanisme de rotation et l'efficacité des données), leur effort de modélisation sert de preuve de concept pour l'intégration de représentations profondes, équivariantes et symboliques afin de modéliser le raisonnement spatial humain. Le travail ne prétend pas résoudre tous les aspects de la cognition humaine, mais vise à fournir une implémentation neuronale viable qui s'aligne sur les données comportementales, adhérant au principe que « ce que je ne peux pas créer, je ne comprends pas ».