Beyond model-free Pavlovian responding: a two-stage Pavlovian-instrumental transfer paradigm

Cette étude introduit un nouveau paradigme à deux étapes qui démontre que la réponse pavlovienne peut être guidée par des mécanismes d'apprentissage basés sur un modèle (flexibles et cognitifs) plutôt que seulement par des mécanismes sans modèle, et que cette stratégie cognitive est spécifiquement altérée par l'égarement de l'esprit.

L'essentiel

🎰 Le Grand Jeu de la Machine à Sous : Quand nos habitudes rencontrent notre réflexion

Imaginez que votre cerveau est un grand casino avec deux types de joueurs qui prennent les décisions pour vous :

1. Le "Singe Habitué" (Apprentissage sans modèle) : C'est le joueur qui joue au même jeu depuis des années. Il ne réfléchit pas. Il sait juste : "Si je vois ce symbole, j'appuie sur le bouton, et ça a souvent rapporté de l'argent." C'est automatique, rapide, mais un peu bête. Il ne comprend pas pourquoi ça marche, il le fait juste parce que ça a marché avant.
2. Le "Stratège" (Apprentissage avec modèle) : C'est le joueur qui étudie les règles. Il se dit : "Ce symbole mène à telle machine, qui a une chance sur deux de payer. Si je change de machine, mes chances changent aussi." Il construit une carte mentale du monde. C'est plus lent et demande plus d'effort, mais c'est très flexible.

Le mystère scientifique :
Pendant longtemps, les scientifiques pensaient que quand un signal (comme l'odeur d'un gâteau ou un son de notification) nous pousse à agir, c'était toujours le travail du "Singe Habitué". Ils pensaient que nos réactions aux signaux étaient purement automatiques et irrationnelles.

Mais cette étude pose une question : Et si le "Stratège" pouvait aussi prendre le contrôle, même dans ces situations automatiques ?

🧪 L'expérience : Un test de casino en deux étapes

Les chercheurs ont créé un jeu vidéo spécial pour tester cela. Voici comment cela fonctionne, comparé à une visite dans un casino :

1. L'entraînement (Apprendre les règles) :

   • Vous voyez deux employés de casino (les signaux).
   • L'un vous emmène souvent (80% du temps) vers une machine à sous "Gagnante", et rarement vers une "Perdante".
   • L'autre fait l'inverse.
   • Les machines changent de chance au fil du temps (comme une météo qui change).
   • Le but : Apprendre à deviner quelle machine est la meilleure en fonction de l'employé qui vous accueille.

2. Le test de transfert (La vraie épreuve) :

   • Maintenant, on vous demande de jouer à un jeu simple (appuyer sur un bouton pour gagner de l'argent).
   • Pendant que vous jouez, l'image d'un employé de casino apparaît en arrière-plan, mais sans que vous puissiez jouer avec lui.
   • La question : Est-ce que la présence de cet employé vous fait appuyer sur le bouton plus vite (s'il promet du gain) ou moins vite (s'il promet une perte) ?

🔍 Ce qu'ils ont découvert

Les chercheurs ont regardé comment les participants réagissaient, non seulement en fonction de l'employé vu, mais aussi en fonction de la structure du jeu (la probabilité de changer de machine).

• Le résultat surprenant : La plupart des participants n'agissaient pas comme le "Singe Habitué". Ils agissaient comme le "Stratège".
  • Même si l'employé qu'ils voyaient n'était pas celui qui leur avait donné l'argent la dernière fois, ils comprenaient le lien : "Ah, cet employé mène souvent à la machine qui vient de gagner, donc je vais appuyer !".
  • Ils utilisaient leur carte mentale pour déduire la valeur du signal, même sans avoir vu le résultat directement.

En résumé : Le "Singe Habitué" n'est pas le seul chef ! Notre cerveau est capable de faire des déductions intelligentes et flexibles même quand nous réagissons à des signaux émotionnels ou automatiques.

🧠 Le facteur "Rêve éveillé" (Mind Wandering)

L'étude a aussi regardé ce qui se passe quand on est distrait. Imaginez que vous êtes au casino, mais votre esprit vagabonde sur vos vacances ou vos soucis.

• Ce qu'ils ont vu : Quand les participants étaient distraits (leurs esprits vagabondaient), ils perdaient leur capacité de "Stratège". Ils retournaient à des réactions plus automatiques ou moins précises.
• La leçon : Le "Stratège" a besoin de concentration et de ressources mentales (comme la mémoire de travail). Si vous êtes distrait, votre cerveau ne peut pas construire cette carte mentale complexe, et il devient plus "bête" et automatique.

💡 Pourquoi est-ce important ?

Cette découverte change notre façon de voir le comportement humain :

1. Ce n'est pas tout automatique : Même nos réactions les plus "instinctives" peuvent être guidées par une réflexion profonde, si on nous donne les bonnes informations.
2. La distraction est un frein : Quand nous sommes fatigués ou distraits, nous perdons notre capacité à adapter notre comportement de manière intelligente.
3. Pour la santé mentale : Beaucoup de troubles (comme la toxicomanie, l'obésité ou l'anxiété) impliquent des réactions excessives à des signaux (une odeur de cigarette, une publicité de fast-food). Comprendre que ces réactions peuvent être modifiées par la réflexion (le "Stratège") ouvre de nouvelles portes pour les traitements. On pourrait aider les gens à "réactiver" leur Stratège pour mieux gérer leurs impulsions.

En une phrase : Nous ne sommes pas de simples robots qui réagissent aux signaux ; nous sommes des architectes capables de construire des cartes mentales pour naviguer dans le monde, tant que nous restons concentrés !

Résumé technique

1. Problématique et Contexte

La littérature sur l'apprentissage par renforcement distingue généralement deux mécanismes :

• L'apprentissage sans modèle (Model-free) : Basé sur l'association directe stimulus-récompense par essais et erreurs. Il est rapide mais rigide.
• L'apprentissage avec modèle (Model-based) : Basé sur la construction d'un modèle interne de l'environnement (connaissance des transitions d'états), permettant un comportement flexible et orienté vers un but.

Le Transfert Pavlovien-Instrumental (PIT) est la procédure standard pour étudier comment les signaux pavloviens (indices conditionnés) influencent les actions instrumentales. Bien que le PIT soit souvent considéré comme un processus purement model-free (surtout dans les paradigmes à levier unique), des preuves suggèrent qu'il pourrait impliquer des mécanismes model-based. Cependant, les paradigmes existants ne permettent pas de dissocier computationnellement ces deux systèmes au niveau des essais individuels. De plus, l'impact des états cognitifs internes, comme la rêverie (mind wandering), sur ces mécanismes spécifiques reste mal compris, bien que la théorie suggère que la rêverie devrait altérer spécifiquement les processus model-based (plus coûteux en ressources cognitives) sans affecter les processus model-free.

2. Méthodologie

Les auteurs ont développé un paradigme PIT à deux étapes, trial-by-trial, conçu pour dissocier computationnellement les stratégies d'apprentissage.

• Participants : 71 étudiants universitaires sains.

• Structure de la tâche :

  1. Entraînement Instrumental : Les participants apprennent à collecter ou éviter des cartes (réponses "go" ou "no-go") pour gagner ou perdre de l'argent, avec un renforcement probabiliste.
  2. Phase Pavlovienne à deux étapes :
     • Étape 1 : Présentation d'un indice conditionné (CS, un employé de casino) qui prédit une transition probabiliste vers l'une des deux machines à sous (Étape 2).
     • Étape 2 : La machine à sous (état 2) mène à un résultat (gain ou perte de 1€). Les probabilités de gain changent lentement (marche aléatoire gaussienne).
     • Transition : Chaque CS a une transition "commune" (80 %) vers une machine spécifique et une transition "rare" (20 %) vers l'autre.
  3. Phase de Transfert (PIT) et Requêtes : Immédiatement après chaque essai d'apprentissage pavlovien, les participants effectuent :
     • Un essai PIT : Ils doivent jouer à l'essai instrumental (collecter ou non une carte) sous l'influence d'un CS en arrière-plan, sans feedback de résultat (extinction nominale).
     • Une requête de valeur (Value Query) : Une question à choix forcé demandant si le CS est actuellement associé à un gain ou une perte.
  • Mesure de la rêverie : Des sondes d'attention (thought probes) toutes les 60 essais et un questionnaire trait pour évaluer la rêverie spontanée et délibérée.

• Analyse Computationnelle :

  • Modélisation par apprentissage par renforcement (RL) : Trois modèles ont été ajustés aux données de chaque participant : un modèle model-free (TD learning), un modèle model-based (équation de Bellman intégrant les transitions), et un modèle hybride.
  • Critères comportementaux :
    • Model-free : Effet principal de la correspondance CS (CS-match).
    • Model-based : Interaction entre la correspondance CS et le type de transition (common vs rare).
  • Échantillonnage Bayésien Séquentiel : La taille de l'échantillon n'était pas fixe ; l'arrêt de la collecte de données était déterminé par l'accumulation de preuves bayésiennes (BF > 6) pour les effets clés.

3. Résultats Clés

• Preuve Comportementale de l'Apprentissage avec Modèle :

  • Les réponses aux requêtes de valeur et les comportements lors des essais PIT montrent une interaction significative entre la correspondance CS et le type de transition.
  • Cela indique que les participants mettent à jour leurs attentes en fonction de la structure de transition du tâche (inférence model-based), et non seulement sur l'histoire de renforcement directe du CS présenté.
  • Les preuves pour un effet model-free (effet principal de CS-match) étaient faibles ou non concluantes.

• Modélisation Computationnelle :

  • Le modèle model-based a fourni le meilleur ajustement aux données (scores BIC inférieurs) pour la majorité des participants (52 sur 71).
  • Le paramètre de poids model-based ($\beta_{MB}$) était significativement supérieur à zéro, confirmant une utilisation systématique de l'inférence structurelle.
  • Le modèle hybride et le modèle model-free pur étaient moins performants.

• Impact de la Rêverie (Mind Wandering) :

  • Un niveau plus élevé de rêverie (mesuré par sondes et traits) était négativement corrélé avec les estimations comportementales et computationnelles de l'apprentissage model-based.
  • Aucune corrélation n'a été trouvée entre la rêverie et les signatures model-free.
  • Cela valide l'hypothèse que l'apprentissage model-based dépend de ressources attentionnelles et cognitives qui sont compromises lors de la rêverie.

4. Contributions Majeures

1. Nouveau Paradigme : Introduction d'un paradigme PIT à un seul levier mais à deux étapes, capable de dissocier computationnellement les systèmes model-free et model-based au niveau des essais individuels, comblant un vide méthodologique majeur.
2. Révision de la Théorie PIT : Démontre que le PIT à un seul levier, souvent considéré comme purement model-free, peut être piloté par des mécanismes model-based flexibles, surtout lorsque les instructions sont détaillées et que la structure de la tâche est claire.
3. Modulation par l'État Cognitif : Fournit la première preuve directe que l'état attentionnel interne (rêverie) module sélectivement le contrôle model-based dans le domaine pavlovien, étendant les résultats précédents de l'apprentissage instrumental.
4. Implications Cliniques : Le paradigme offre un outil potentiel pour étudier les dysfonctionnements de l'apprentissage dans des troubles psychiatriques (addiction, TOC, dépression) où la régulation des comportements pavloviens est altérée.

5. Signification et Conclusion

Cette étude remet en question l'hypothèse dominante selon laquelle les réponses pavloviennes sont automatiques et purement model-free. Elle démontre que les humains peuvent utiliser des inférences complexes basées sur un modèle interne pour guider leurs réponses pavloviennes, même dans des tâches apparemment simples.

La découverte que la rêverie altère spécifiquement ce contrôle model-based souligne l'importance des ressources attentionnelles dans la flexibilité comportementale. Ces résultats suggèrent que les interventions thérapeutiques visant à améliorer la régulation des comportements addictifs ou compulsifs pourraient cibler non seulement les associations automatiques, mais aussi la capacité à maintenir un modèle interne de l'environnement, potentiellement en réduisant la distractibilité interne.

Enfin, l'étude ouvre la voie à des recherches futures sur les substrats neuronaux de ces mécanismes dissociés et sur la manière dont les stratégies d'apprentissage peuvent être modulées pour traiter des pathologies mentales.