Adaptive integration of model-based and model-free strategies in human reinforcement learning of reachable space

Cette étude démontre que les humains adaptent l'intégration de stratégies d'apprentissage par renforcement basées sur un modèle et sans modèle pour naviguer dans l'espace atteignable, en passant progressivement d'une planification consciente à des réactions automatisées guidées par la familiarité et les contraintes sensorielles spécifiques à l'effecteur.

L'essentiel

🧠 Comment notre cerveau apprend à se déplacer : Entre la carte mentale et l'habitude

Imaginez que vous êtes dans une cuisine remplie de chaises et de tables (des obstacles). Votre mission : aller chercher une tasse de café sur le comptoir sans renverser rien. C'est ce que les chercheurs appellent l'"espace accessible" (la zone où vos mains peuvent atteindre).

Cette étude se demande : Comment notre cerveau apprend-il à naviguer dans cet espace encombré ? Est-ce qu'on réfléchit à chaque pas, ou est-ce qu'on agit par habitude ?

Les scientifiques ont découvert que nous ne faisons pas que l'un ou l'autre. Nous sommes comme des pilotes hybrides qui utilisent deux systèmes en même temps, et nous savons quand basculer de l'un à l'autre.

1. Les deux "super-pouvoirs" de notre cerveau

Pour comprendre l'étude, il faut imaginer deux types de conducteurs dans notre tête :

• Le Planificateur (Modèle basé) : C'est le GPS. Il regarde la carte, calcule le meilleur chemin, prévoit les obstacles et planifie la route avant même de bouger.
  • Avantage : Très flexible, il trouve le chemin le plus court même dans un nouveau labyrinthe.
  • Inconvénient : C'est lent et ça consomme beaucoup de batterie (énergie mentale).
• Le Routard (Modèle sans modèle) : C'est l'habitude. Il ne regarde pas la carte. Il dit : "La dernière fois que j'ai tourné à droite ici, ça a marché, alors je le refais."
  • Avantage : Ultra-rapide, automatique, ne demande pas de réflexion.
  • Inconvénient : Rigide. Si un obstacle apparaît soudainement, il panique car il n'a pas de carte.

2. L'expérience : Le labyrinthe robotique

Les chercheurs ont mis des gens devant un robot qui simule un labyrinthe virtuel. Ils devaient pousser une sphère vers une cible en évitant des blocs. Il y avait deux situations :

• Situation "Yeux ouverts" : On voyait tout le labyrinthe. Le "GPS" pouvait voir la carte.
• Situation "Yeux fermés" (Tactile) : On ne voyait rien. Il fallait explorer à l'aveugle en sentant les murs avec la main.

3. La grande découverte : On change de stratégie en cours de route

Ce que l'étude révèle de façon fascinante, c'est que nous ne restons pas bloqués sur une seule stratégie.

• Au début (L'apprentissage) : Notre cerveau utilise le GPS (Planificateur). Il regarde la carte, réfléchit et trace un chemin intelligent. C'est lent, mais efficace.
• À la fin (L'expertise) : Plus on pratique, plus le cerveau se dit : "Tiens, ce chemin marche toujours. Pourquoi continuer à calculer ?" Il bascule alors vers le Routard (Habitude). Il exécute le mouvement rapidement, presque sans y penser.

L'analogie du vélo : Quand vous apprenez à faire du vélo, vous réfléchissez à chaque mouvement (garder l'équilibre, tourner le guidon). C'est le GPS. Une fois expert, vous pédalez sans y penser. C'est le Routard.

4. La surprise : Le corps influence la pensée

C'est ici que ça devient vraiment intéressant. Les chercheurs ont comparé ce jeu de main (atteindre un objet) avec un jeu de navigation virtuelle (se déplacer dans une grande ville en VR).

• Résultat : Dans le jeu de main, les gens passent beaucoup plus vite à l'habitude (le Routard) que dans le jeu de navigation.
• Pourquoi ? Parce que bouger sa main est peu coûteux en énergie et en temps. Si on se trompe de chemin avec la main, ce n'est pas grave, on peut corriger vite. Le cerveau se dit : "Pas la peine de faire un calcul complexe, je vais juste répéter ce qui a marché."
• En revanche, pour se déplacer dans une ville (marcher, courir), le coût d'erreur est plus élevé. Le cerveau préfère donc rester sur le GPS plus longtemps pour éviter de perdre du temps ou de l'énergie.

5. En résumé : Un chef d'orchestre adaptatif

Notre cerveau est un chef d'orchestre génial. Il ne choisit pas une seule méthode pour toujours. Il ajuste le volume entre le Planificateur (lent, précis) et le Routard (rapide, automatique) en fonction de trois choses :

1. La familiarité : Plus on connaît le lieu, plus on utilise l'habitude.
2. La distance : Plus on est loin de l'objectif, plus on planifie. Plus on est proche, plus on agit par réflexe.
3. Le coût de l'action : Si bouger est facile (comme bouger la main), on passe vite à l'habitude. Si c'est difficile (comme marcher dans une ville), on reste sur la planification.

La leçon pour la vie quotidienne :
La prochaine fois que vous faites quelque chose de nouveau (comme cuisiner un plat complexe), sachez que votre cerveau commence par tout calculer. Mais à force de répétition, il vous laisse prendre le volant de l'habitude pour aller plus vite. C'est ainsi que nous devenons des experts : en apprenant à arrêter de réfléchir pour laisser faire l'expérience.

Résumé technique

1. Problématique et Contexte

La plupart des comportements habiles humains se déroulent dans l'espace atteignable (la zone immédiate entourant le corps où les mains interagissent avec les objets). Cependant, la manière dont les humains apprennent à naviguer et à éviter les obstacles dans cet espace reste largement inexplorée.

La recherche existante se divise généralement en deux domaines :

• Le contrôle moteur : Se concentre souvent sur des environnements simples avec peu de demandes de prise de décision.
• L'apprentissage spatial et la décision : Se concentre presque exclusivement sur la navigation à grande échelle.

L'article vise à combler ce vide en étudiant l'apprentissage dans l'espace atteignable à travers le prisme de l'apprentissage par renforcement (RL). Il s'interroge sur la dynamique d'arbitrage entre deux stratégies :

• Stratégie basée sur un modèle (Model-Based - MB) : Construit et exploite un modèle interne de l'environnement pour planifier des actions. Flexible mais coûteuse en calcul.
• Stratégie sans modèle (Model-Free - MF) : Cache les valeurs d'actions via l'expérience (apprentissage par habitude). Efficace mais rigide.

L'hypothèse centrale est que la dynamique d'arbitrage MB/MF dans l'espace atteignable diffère de celle de la navigation en raison des asymétries fondamentales : coûts biomécaniques (mouvements de la main vs locomotion), canaux sensoriels (visuel/proprioceptif/haptique) et échelles de temps.

2. Méthodologie

Les auteurs ont conçu une tâche de labyrinthe robotique novatrice et ont comparé les résultats à une tâche de navigation virtuelle existante.

A. Tâche de labyrinthe robotique (Espace atteignable)

• Appareillage : Les participants manipulaient un bras robotique (3BOT) contrôlant une sphère virtuelle dans un labyrinthe 10x10.
• Conditions expérimentales :
  1. Visuel-Haptique : Les blocs du labyrinthe et la position de la main étaient visibles. La carte spatiale était immédiatement disponible.
  2. Haptique : Les blocs et la position de la main étaient invisibles. Les participants devaient apprendre la disposition uniquement par le toucher (retour haptique).
• Protocole : 36 participants (18 par condition) ont effectué 10 essais dans chacun des 25 labyrinthes différents, avec un temps limite de 20 secondes.

B. Modélisation computationnelle
Les trajectoires ont été discrétisées en grilles. Les auteurs ont ajusté plusieurs modèles RL aux données comportementales :

• Algorithmes purs : Un algorithme MB (planification par itération de valeur sur une carte apprise) et un algorithme MF (Q-learning avec traces d'éligibilité).
• Modèles hybrides :
  • Hybrid-Constant (HC) : Poids fixe entre MB et MF.
  • Hybrid-Dynamic (HD) : Le poids MF évolue selon le nombre d'essais (fonction logistique).
  • Hybrid-Stepwise (HS) : Le poids MF est estimé indépendamment pour chaque étape de mouvement.
• Validation : Comparaison via le Critère d'Information Bayésien (BIC) et simulations autonomes pour évaluer la performance (taux de succès, longueur du chemin).

C. Comparaison avec la navigation
Les mêmes approches de modélisation ont été appliquées à un jeu de données public de navigation en réalité virtuelle (tâche de de Cothi et al.), où les participants se déplaçaient dans un labyrinthe virtuel avec une visibilité limitée (brouillard), permettant une comparaison directe entre l'espace atteignable et l'espace navigable.

3. Résultats Clés

A. Transition dynamique MB vers MF

• Les participants ont montré une transition adaptative : ils ont commencé par s'appuyer davantage sur la stratégie MB (planification) et ont progressivement basculé vers la stratégie MF (habitudes) au fur et à mesure de l'apprentissage.
• Ce phénomène a été observé dans les deux conditions (Visuel-Haptique et Haptique), suggérant que le passage au contrôle MF est piloté par l'accumulation d'expérience et le coût computationnel de la planification, et non uniquement par l'incertitude de la carte cognitive.

B. Facteurs influençant l'arbitrage
L'analyse des poids MF (via le modèle HS) a révélé que l'utilisation de la stratégie MF dépendait de facteurs locaux :

• Familiarité de l'état : Plus un état (case de la grille) était visité, plus la probabilité d'utiliser une stratégie MF augmentait.
• Distance à l'objectif : La reliance sur la stratégie MF augmentait avec la distance à l'objectif (suggérant que la planification MB devient trop coûteuse ou incertaine sur de longues distances).
• Disponibilité sensorielle : La reliance sur la stratégie MF était significativement plus élevée dans la condition Haptique (sans vision) que dans la condition Visuel-Haptique.

C. Performance et Efficacité

• Simulations : L'algorithme MF seul échouait souvent à atteindre la cible. Les modèles hybrides et MB seuls performaient bien. Cela indique que la stratégie MF "imite" les séquences d'actions initialement générées par la planification MB.
• Corrélation comportementale : Une reliance plus forte sur la stratégie MF était associée à des mouvements plus rapides et à moins de collisions avec les obstacles. Cela suggère que la stratégie MF réduit la charge de planification délibérée, permettant une exécution plus fluide et moins variable.

D. Comparaison Espace Atteignable vs Navigation

• Malgré des configurations de labyrinthes identiques, la reliance sur la stratégie MF était significativement plus forte dans l'espace atteignable que dans la tâche de navigation.
• Cela indique que l'arbitrage MB/MF n'est pas universel mais est calibré par les contraintes de l'effecteur : les mouvements de la main étant biomécaniquement moins coûteux et plus rapides que la locomotion, le bénéfice marginal d'une planification MB approfondie est réduit, favorisant l'adoption rapide de stratégies MF.

4. Contributions Principales

1. Preuve de l'hybridation dynamique : Démonstration que l'intégration MB/MF dans l'espace atteignable n'est pas statique mais évolue étape par étape en fonction de la familiarité, de la distance et des modalités sensorielles.
2. Spécificité de l'effecteur : Mise en évidence que l'architecture computationnelle de l'apprentissage spatial est partagée entre les échelles (navigation et atteinte) mais est calibrée différemment selon les coûts et contraintes du système effecteur (main vs corps entier).
3. Nouveau paradigme expérimental : Introduction d'une tâche robotique de labyrinthe permettant d'étudier l'apprentissage par renforcement dans un contexte d'interaction main-objet réaliste, comblant le fossé entre le contrôle moteur et la cognition spatiale.
4. Lien entre vitesse et stratégie : Établissement d'un lien comportemental direct entre la reliance sur les stratégies MF et l'efficacité motrice (vitesse accrue, réduction des erreurs), validant l'interprétation de la MF comme un processus rapide et automatique.

5. Signification et Implications

• Théorique : Ces résultats remettent en question l'idée d'un arbitrage MB/MF fixe. Ils suggèrent que le cerveau ajuste continuellement le poids des stratégies en fonction du "coût-bénéfice" local, intégrant les contraintes biomécaniques et informationnelles.
• Neuroscientifique : L'étude ouvre la voie à des investigations sur les circuits neuronaux sous-jacents. Elle soulève la question de savoir si les cartes cognitives de l'espace atteignable sont encodées dans l'hippocampe (comme pour la navigation) ou dans des circuits pariéto-prémoteurs spécialisés dans la représentation du corps et des objets proches.
• Clinique : Le cadre proposé offre un outil pour étudier les déficits d'apprentissage moteur et spatial dans des pathologies affectant les ganglions de la base (Parkinson) ou la cognition spatiale (épilepsie du lobe temporal, AVC), en particulier dans l'espace quotidien critique que représente l'espace atteignable.

En résumé, cette étude démontre que l'apprentissage humain dans l'espace atteignable repose sur une orchestration flexible entre planification rationnelle et habitudes, optimisée pour minimiser les coûts computationnels tout en maximisant l'efficacité motrice, avec une préférence marquée pour les stratégies rapides (MF) par rapport à la navigation à grande échelle.