Model-based and model-free valuation signals in the human brain vary markedly in their relationship to individual differences in human behavioral control

Une étude fMRI à grande échelle révèle que les signaux neuronaux d'apprentissage sans modèle sont omniprésents chez tous les individus, tandis que les signaux basés sur un modèle ne sont observés que chez ceux qui les utilisent comportementalement, leur absence étant liée à des difficultés dans la formation de prédictions internes.

L'essentiel

🧠 Le Grand Duel des Décisions : L'Automate vs Le Stratège

Imaginez que votre cerveau est le siège d'une petite entreprise de navigation. Pour prendre des décisions (comme choisir quel chemin emprunter pour aller au travail ou quel plat commander au restaurant), cette entreprise utilise deux types de "pilotes" très différents :

1. Le Pilote Automatique (Modèle-Free) : C'est un vieux routier qui ne réfléchit pas. Il dit : "La dernière fois que j'ai pris cette route, j'ai eu du bon temps, alors je la reprends !" Il apprend par essais et erreurs, comme un chien qui apprend à s'asseoir pour avoir une friandise. C'est rapide, mais parfois il se trompe si la situation change.
2. Le Stratège (Modèle-Based) : C'est un capitaine de navire qui a une carte mentale précise. Il dit : "Si je prends cette route, je vais probablement arriver à ce carrefour, puis à cette intersection, et là je pourrai éviter les bouchons." Il simule l'avenir dans sa tête avant d'agir. C'est flexible et intelligent, mais ça demande beaucoup d'énergie mentale.

Jusqu'à présent, les scientifiques savaient que nous utilisions un mélange des deux. Mais cette nouvelle étude, menée par une équipe du Caltech avec 179 participants, pose une question fascinante : Est-ce que tout le monde a ces deux pilotes dans leur cerveau, ou certains n'en ont que d'un seul ?

🚀 L'Expérience : Le Jeu des Astronautes

Pour le savoir, les chercheurs ont fait jouer les participants à un jeu vidéo dans un scanner IRM (une machine qui prend des photos du cerveau en action).

• Le scénario : Vous êtes un mineur spatial. Vous choisissez entre deux vaisseaux (Jaune et Bleu).
• Le piège : Le vaisseau Jaune va souvent (70 % du temps) sur la planète Rouge, mais parfois (30 % du temps) sur la planète Verte. Le vaisseau Bleu fait l'inverse.
• Le but : Trouver la planète qui donne le plus de gemmes précieuses.

Ce jeu est conçu pour piéger le "Pilote Automatique" et révéler le "Stratège". Si vous êtes un automate, vous repartez toujours sur le vaisseau qui vous a donné des gemmes la dernière fois, peu importe la planète. Si vous êtes un stratège, vous comprenez la logique des probabilités et vous changez de vaisseau si vous avez eu de la chance par hasard.

🔍 Les Découvertes Surprenantes

En analysant les cerveaux des 179 participants, les chercheurs ont découvert trois choses majeures, que l'on peut résumer ainsi :

1. Le "Pilote Automatique" est partout (même chez les Stratèges)

C'est la découverte la plus étonnante. Les chercheurs ont trouvé que le signal du Pilote Automatique (l'apprentissage par simple récompense) s'activait dans une zone clé du cerveau appelée le cortex préfrontal ventromédian (vmPFC) chez TOUS les participants.

• L'analogie : Imaginez un moteur de voiture qui tourne toujours au ralenti, même quand vous conduisez en mode "sport". Même les gens qui jouent comme des génies (Stratèges) ont ce signal automatique qui s'active dans leur cerveau. Il est là, en fond, prêt à servir, même s'ils ne l'utilisent pas pour prendre la décision finale.

2. Le "Stratège" n'apparaît que chez ceux qui l'utilisent

En revanche, le signal du Stratège (la simulation mentale) était très différent. Il ne s'activait dans le cerveau que chez les personnes qui jouaient effectivement comme des Stratèges.

• L'analogie : C'est comme si le "Stratège" était un outil spécial dans une boîte à outils. Si vous n'avez jamais appris à l'utiliser ou si vous ne l'avez pas besoin, l'outil reste caché et ne s'allume pas. Les gens qui jouent de manière automatique n'ont pas ce signal de "Stratège" dans leur cerveau.

3. Pourquoi certains ne sont pas des Stratèges ?

L'étude a aussi regardé ceux qui ne semblaient utiliser ni l'un ni l'autre, ou qui avaient du mal à apprendre. Ils avaient un problème spécifique : ils ne parvenaient pas à bien prédire les changements de l'environnement (les erreurs de prédiction d'état).

• L'analogie : Pour être un bon Stratège, il faut d'abord avoir une carte fiable. Ces personnes avaient une "carte mentale" floue ou incomplète. Sans une bonne carte, impossible de simuler l'avenir. C'est pourquoi leur cerveau n'activait pas le mode Stratège : ils ne pouvaient pas construire le modèle nécessaire.

💡 En Résumé : Ce que cela nous apprend

Cette étude nous dit que notre cerveau est plus complexe qu'on ne le pensait :

• L'apprentissage automatique (le "réflexe") est universel. Il est présent chez tout le monde, comme un fond de musique de fond, même si nous décidons de ne pas l'écouter.
• L'apprentissage stratégique (la "réflexion") est conditionnel. Il n'existe dans le cerveau que si la personne a la capacité et l'habitude de l'utiliser. Si vous ne jouez pas le jeu de la stratégie, votre cerveau ne l'active pas.

Cela explique pourquoi certaines personnes ont du mal à s'adapter aux changements : ce n'est pas qu'elles sont "bêtes", c'est peut-être qu'elles ont du mal à construire la carte mentale nécessaire pour activer leur mode "Stratège".

En une phrase : Nous avons tous un pilote automatique dans le cerveau, mais le pilote de la réflexion n'est présent que chez ceux qui savent comment le faire décoller.

Résumé technique

1. Problématique et Contexte

La sélection d'actions humaines sous l'effet du renforcement est traditionnellement décrite comme reposant sur deux systèmes distincts d'apprentissage par renforcement (RL) :

• Le contrôle sans modèle (Model-Free - MF) : Un système réflexif et habituel qui apprend la valeur des actions par essai-erreur, accumulant des valeurs basées sur les résultats passés sans construire de modèle interne de l'environnement.
• Le contrôle basé sur le modèle (Model-Based - MB) : Un système délibératif et orienté vers un but qui utilise un modèle cognitif interne des transitions d'états pour planifier de manière flexible.

Bien que le comportement humain moyen reflète souvent un mélange de ces deux stratégies, la littérature reste floue sur la manière dont les différences individuelles dans l'utilisation de ces stratégies se traduisent par des mécanismes neuronaux sous-jacents. La question centrale est de savoir si les mêmes régions cérébrales (comme le cortex préfrontal ventromédian, vmPFC) codent flexiblement les signaux de valeur selon la stratégie utilisée par l'individu, ou si des mécanismes neuronaux distincts et dissociables sont activés selon que l'individu utilise une stratégie MB ou MF.

2. Méthodologie

L'étude a employé une approche rigoureuse combinant imagerie fonctionnelle par résonance magnétique (IRMf) et modélisation computationnelle sur une grande échelle.

• Participants : Une cohorte inhabituellement large de 179 participants (sains, sans troubles psychiatriques majeurs) a été recrutée, offrant une puissance statistique supérieure à la plupart des études IRMf de tâches.
• Tâche Comportementale : Les participants ont effectué une variante de la tâche à deux étapes (two-step task). Cette tâche permet de dissocier les comportements MB et MF en analysant les schémas de choix (rester ou changer) en fonction du type de transition (commune vs rare) et du résultat (récompense vs non-récompense) de l'essai précédent.
• Analyse Comportementale et Clustering :
  • Les données comportementales ont été analysées via une régression logistique à effets mixtes.
  • Une approche de clustering (basée sur des métriques de choix et de temps de réaction) a permis de classer les participants en quatre groupes distincts :
    1. Groupe Mélange (utilisation mixte de MB et MF).
    2. Groupe MF (dominance MF).
    3. Groupe MB (dominance MB).
    4. Groupe Autre (comportement non-RL ou peu sensible aux récompenses).
• Modélisation Computationnelle : Un modèle d'arbitrage mixte (Arbitration Mixture Model) a été ajusté aux données de chaque individu. Ce modèle hybride intègre des modules MF et MB apprenant à différentes échelles de temps, avec des poids conditionnels spécifiques pour estimer les variables computationnelles (valeurs de décision, erreurs de prédiction de récompense RPE, et erreurs de prédiction d'état SPE).
• Analyse IRMf :
  • Acquisition sur un scanner Siemens Prisma 3T.
  • Prétraitement via fMRIPrep et analyse statistique via SPM12 (GLM).
  • Les régresseurs incluaient les valeurs de décision (choisie moins rejetée) pour les systèmes MF et MB, ainsi que les signaux d'erreur de prédiction (RPE et SPE).
  • Analyses au niveau du groupe entier, par sous-groupe comportemental, et corrélations avec les poids comportementaux individuels ($w_{MF}$).

3. Contributions Clés

Cette étude apporte plusieurs contributions majeures à la compréhension des bases neurales de l'apprentissage par renforcement :

1. Dissociation de la représentativité neuronale : Elle démontre que la relation entre les signaux neuronaux et le comportement diffère fondamentalement entre les systèmes MB et MF.
2. Universalité des signaux MF : Elle révèle que les signaux de valeur "sans modèle" sont omniprésents dans le cerveau, même chez les individus qui ne les utilisent pas activement pour guider leur comportement.
3. Spécificité contextuelle des signaux MB : Elle montre que les signaux de valeur "basés sur le modèle" ne sont détectables neuronalement que chez les individus qui les utilisent effectivement pour contrôler leur comportement.
4. Lien avec l'erreur de prédiction d'état (SPE) : Elle identifie un déficit dans le codage des erreurs de prédiction d'état chez les individus manquant de contrôle MB, suggérant une difficulté à construire ou mettre à jour le modèle interne de l'environnement.

4. Résultats Principaux

A. Signaux de Valeur de Décision (Decision Value)

• Cortex Préfrontal Ventromédian (vmPFC) :
  • Signaux MB : L'activité du vmPFC corrélée à la valeur de décision MB est fortement liée au degré de dépendance comportementale à la stratégie MB. Les participants du groupe MB montrent un signal fort, tandis que les groupes MF et Autre ne montrent pas de signal significatif. Il existe une corrélation positive significative entre la force du signal MB et l'usage comportemental de la stratégie MB.
  • Signaux MF : Contrairement aux signaux MB, les signaux de valeur MF sont ubiquitaires. Ils sont présents dans le vmPFC (et d'autres régions) chez tous les groupes, y compris ceux qui adoptent une stratégie MB pure ou une stratégie "Autre". L'ampleur du signal MF ne varie pas significativement en fonction de l'utilisation comportementale de la stratégie MF.
• Interprétation : Les signaux MF semblent être un calcul de base ("default") présent indépendamment du contrôle comportemental, tandis que les signaux MB sont activés sélectivement uniquement lorsqu'ils sont nécessaires pour guider l'action.

B. Signaux d'Erreur de Prédiction (Prediction Errors)

• Erreur de Prédiction d'État (SPE) : Ce signal, crucial pour apprendre la structure de transition de l'environnement (nécessaire au MB), a été observé dans le cortex préfrontal dorsolatéral (dlPFC) et le sillon intrapariétal (IPS).
  • L'intensité du codage SPE était corrélée négativement avec le poids MF ($w_{MF}$) : plus un individu utilisait une stratégie MB, plus le signal SPE était fort.
  • Le groupe "Autre" (sans stratégie RL claire) montrait des signaux SPE affaiblis, suggérant une incapacité à apprendre ou à mettre à jour le modèle de transition de l'environnement, ce qui expliquerait l'absence de comportement MB.
• Erreur de Prédiction de Récompense (RPE) : Des signaux RPE (MF et MB) ont été recherchés dans le striatum, mais les résultats n'ont pas atteint la signification statistique après correction, probablement en raison de la forte corrélation intrinsèque entre les signaux MF et MB RPE et de la complexité de la tâche.

5. Signification et Implications

Les résultats de cette étude remettent en question l'idée que les systèmes MB et MF sont simplement deux modes d'activation d'un même circuit neuronal flexible. Au contraire, ils suggèrent une asymétrie qualitative :

• Le système MF opère comme un mécanisme de fond constant, générant des signaux de valeur même en l'absence de comportement habituel observable.
• Le système MB est plus sélectif : son expression neuronale dépend de la capacité de l'individu à construire un modèle interne précis (via les SPE) et de son utilisation active de ce modèle pour le contrôle comportemental.

Ces découvertes ont des implications importantes pour la compréhension des différences individuelles dans la santé et la maladie. Elles suggèrent que les déficits dans les stratégies MB (observés dans des troubles comme l'OCD ou la dépression) pourraient ne pas provenir d'une simple "désactivation" d'un système, mais d'une difficulté fondamentale à encoder ou apprendre les transitions d'états (défaut de SPE), empêchant ainsi la formation de représentations de valeur MB dans le vmPFC. L'utilisation d'un échantillon de grande taille renforce la robustesse de ces conclusions, offrant une nouvelle perspective sur la plasticité et la spécificité des circuits d'apprentissage humain.