🧬 biology

Beyond model-based and model-free learning: irrational learning of successor features in addictive behaviour

Cette étude remet en question la dichotomie traditionnelle entre approches par modèles et sans modèles dans la recherche sur l'addiction en démontrant que les individus souffrant de troubles liés à l'usage de substances présentent un apprentissage irrationnel caractérisé par un basculement rationnel en termes de ressources vers des caractéristiques de successeur simplifiées et réutilisables afin de minimiser les coûts cognitifs, même au détriment de la maximisation des récompenses.

Auteurs originaux : Ru-Yuan Zhang, Zeming Fang, Yu-Yan Gao, Yu-Feng Xia, Zi-Jian Cheng, Lingxiao Yang, Wei Li, Tomoko Kishimoto, Lei Guo, Trevor Robbins

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ru-Yuan Zhang, Zeming Fang, Yu-Yan Gao, Yu-Feng Xia, Zi-Jian Cheng, Lingxiao Yang, Wei Li, Tomoko Kishimoto, Lei Guo, Trevor Robbins

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez votre cerveau comme une console de jeux vidéo super intelligente qui doit jouer à des milliers de jeux différents en même temps. Certains jeux sont simples, comme une partie de « Pierre-Papier-Ciseaux » où vous mémorisez simplement que « la pierre bat les ciseaux ». D'autres sont des aventures stratégiques complexes où vous devez cartographier le monde entier, prédire chaque mouvement de l'ennemi et planifier dix coups à l'avance. Pendant longtemps, les scientifiques ont pensé que notre cerveau était coincé dans un bras de fer entre ces deux styles : le style « paresseux » qui se contente de mémoriser ce qui a fonctionné auparavant (sans modèle ou Model-Free), et le style « travailleur » qui construit une carte mentale du monde pour planifier à l'avance (avec modèle ou Model-Based). Ils pensaient qu'en cas d'addiction, le cerveau devenait paresseux et cessait de planifier, s'appuyant uniquement sur de vieilles habitudes. Mais et si le cerveau n'était pas simplement paresseux ou travailleur ? Et s'il essayait en fait d'être un comptable de génie, calculant constamment combien de « puissance cérébrale » (ou effort cognitif) une décision coûte par rapport à la « satisfaction » (récompense) qu'elle rapporte ? C'est le monde de la « rationalité de ressources », une façon sophistiquée de dire que nos cerveaux cherchent toujours à obtenir le meilleur deal pour le moins d'énergie mentale possible.

Entrons maintenant dans une nouvelle étude menée par les chercheurs Ru-Yuan Zhang et son équipe, qui ont décidé de tester cette idée sur un groupe de personnes souffrant de troubles de l'usage de substances (TUS) et sur un groupe de volontaires sains. Ils ne se sont pas contentés de leur faire jouer un seul jeu ; ils les ont plongés dans un immense « dungeon crawler » à plusieurs niveaux. Imaginez un château avec une carte en forme d'arbre. À chaque tour, les « prix du marché » pour trois ressources — le bois, la pierre et le fer — changent. Votre objectif est de choisir un chemin à travers le château pour ramasser les ressources les plus précieuses en fonction de ces prix. Le piège ? Les prix changent à chaque fois, créant quatre « tâches » ou jeux différents au sein du même château. Pour gagner gros, vous devez apprendre la disposition du château et adapter rapidement votre parcours dès que les prix changent.

Les chercheurs ont découvert quelque chose de surprenant qui brise l'ancienne règle du « paresseux contre travailleur ». En observant comment les gens jouaient, ils ont vu que ni le style basé sur l'habitude (« paresseux ») ni le style de construction de cartes (« travailleur ») ne pouvaient pleinement expliquer ce qui se passait. Au lieu de cela, tout le monde semblait utiliser une stratégie intermédiaire ingénieuse appelée « Caractéristiques de Successeur » (Successor Features). Voyez cela comme l'apprentissage de l'« ambiance » d'une pièce plutôt que la mémorisation de chaque étape individuelle. Vous apprenez que « la Pièce A mène généralement à un tas de bois » et « la Pièce B mène généralement à de la pierre », et vous pouvez mélanger et assortir ces « ambiances » pour résoudre de nouvelles énigmes de prix sans avoir à reconstruire l'intégralité de votre carte mentale à partir de zéro.

Cependant, l'histoire prend un tournant lorsqu'on observe le groupe souffrant d'addiction. Alors que les joueurs sains utilisaient ces « ambiances » pour changer de stratégie de manière flexible et trouver le meilleur chemin pour chaque nouvelle liste de prix, les joueurs souffrant d'addiction ont commencé à s'enliser. Ils ont trouvé que l'effort mental requis pour changer de stratégie était trop coûteux. Ainsi, ils ont adopté une approche « taille unique ». Peu importe les prix, ils continuaient à courir vers la même pièce (la Pièce 4) parce que c'était le chemin le plus facile à mémoriser, même si cela signifiait perdre beaucoup d'argent. L'étude suggère que ce n'était pas parce qu'ils étaient incapables d'apprendre la carte, mais parce que leurs cerveaux étaient hyper-sensibles au « coût » de la pensée. Ils étaient prêts à sacrifier les récompenses juste pour économiser de l'énergie mentale.

Les chercheurs ont construit un modèle informatique qui agissait comme un « comptable du cerveau », pesant la récompense par rapport à l'effort mental. Ce modèle, qu'ils ont appelé le modèle RRSF (Resource-Rational Successor Feature), était le seul capable de prédire parfaitement le comportement des deux groupes. Il a montré que le groupe souffrant d'addiction avait une « sensibilité au coût » beaucoup plus élevée : ils ressentaient l'effort mental du changement de stratégie comme un fardeau énorme, et donc s'en tenaient à un plan simple et par défaut. L'étude a également révélé que plus les symptômes d'addiction d'une personne étaient graves, plus elle avait tendance à éviter l'effort mental et à s'en tenir à ses chemins rigides et sous-optimaux.

En résumé, cet article suggère que l'addiction n'est pas seulement une question de système de « planification » défaillant ou de système d'« habitude » défaillant. Il s'agit plutôt d'un cerveau qui est devenu trop économe avec son énergie mentale. C'est comme un joueur qui, au lieu d'apprendre les nouveaux niveaux, continue d'appuyer sur le même bouton encore et encore parce que les nouveaux niveaux lui semblent trop épuisants à comprendre. L'étude a mesuré ces comportements chez 83 personnes souffrant de troubles de l'usage de substances et 45 témoins sains, trouvant que le comportement « paresseux » était en réalité une tentative calculée, bien que maladroite, d'économiser l'effort cognitif. Cette nouvelle perspective nous aide à comprendre que les comportements rigides et répétitifs observés dans l'addiction pourraient être la façon dont le cerveau essaie de se protéger d'être submergé, même si cela signifie passer à côté des meilleures récompenses.

Résumé technique : Au-delà de l'apprentissage fondé sur des modèles et sans modèle : l'apprentissage irrationnel des caractéristiques de successeur dans les comportements addictifs

Énoncé du problème
L'addiction est fréquemment conceptualisée au sein des cadres d'apprentissage par renforcement (RL) comme un passage d'un contrôle « fondé sur un modèle » (MB) flexible et orienté vers un but à des stratégies « sans modèle » (MF) rigides et habituelles. Cependant, cette dichotomie MB–MF est largement dérivée de contextes à tâche unique et peut échouer à capturer la dynamique d'apprentissage dans des environnements complexes multi-tâches où la généralisation est requise. De plus, les modèles d'addiction existants infèrent souvent l'effort cognitif de manière indirecte à partir de la performance plutôt que de quantifier les coûts computationnels de l'apprentissage lui-même. Cette étude comble la lacune dans la compréhension de la manière dont les individus souffrant de troubles de l'usage de substances (TUS) apprennent et généralisent à travers de multiples tâches, en investiguant spécifiquement si leur comportement est mieux expliqué par un passage au contrôle MF ou par une adaptation rationnelle de ressources impliquant des « caractéristiques de successeur » (SF) et des contraintes d'effort cognitif.

Méthodologie
Les chercheurs ont recruté 83 hommes présentant un TUS et 45 témoins sains (HC) appariés démographiquement. Les participants ont effectué un paradigme d'apprentissage par renforcement multi-tâches impliquant un arbre de décision en deux étapes.

Structure de la tâche : À chaque essai, les participants observaient un « ensemble de prix » (définissant la tâche $g$ ) pour trois ressources (bois, pierre, fer). Ils effectuaient ensuite deux choix séquentiels pour naviguer dans un arbre de pièces, atteignant finalement une pièce finale contenant des quantités fixes de ressources. La récompense était calculée comme le produit scalaire des quantités de ressources et de l'ensemble de prix actuel.
Conception multi-tâches : L'expérience utilisait quatre ensembles de prix distincts (tâches), catégorisés en deux types (A et B) et deux niveaux de difficulté (facile et difficile). Les tâches étaient symétriques en termes de récompense potentielle mais différaient par la complexité de la politique requise (par exemple, les tâches de Type B favorisaient une séquence simple « gauche-gauche », tandis que le Type A nécessitait une séquence « droite-gauche »).
Modélisation computationnelle : Les auteurs ont développé et comparé huit modèles computationnels à travers deux cadres :
1. RL Classique : Modèles Sans Modèle (MF), Fondé sur un Modèle (MB) et Successor Feature (SF). Des variantes avec « persévération » (répétition d'action) ont également été testées.
2. RL Rationnel de Ressources : Ces modèles (RRMF, RRMB, RRSF) intègrent un coût informationnel de l'effort cognitif. La fonction objectif équilibre la récompense attendue et la divergence de Kullback-Leibler entre une politique spécifique à la tâche et une politique par défaut, formalisée par $I_\pi(G; A|S)$ . Un paramètre de sensibilité au coût ( $\lambda$ ) contrôle le compromis entre la maximisation de la récompense et la conservation de l'effort.
Analyse : Les modèles ont été ajustés aux données essai par essai via l'estimation MAP (Maximum A Posteriori). La comparaison des modèles a été effectuée par le critère d'information bayésien (BIC) et la probabilité d'excédence protégée (PXP). Des analyses de récupération de paramètres et de modèles ont été réalisées pour valider l'identifiabilité des modèles.

Résultats clés

Déficits comportementaux dans le TUS : Le groupe TUS a gagné significativement moins de récompenses que le groupe HC et a présenté des courbes d'apprentissage plus lentes. Crucialement, les participants TUS ont montré une réduction de la flexibilité de la politique : ils ont sélectionné de manière disproportionnée la Pièce 4 (la pièce optimale pour les tâches de Type B) à travers tous les types de tâches, y compris pour les tâches de Type A où elle était sous-optimale. En revanche, les participants HC ont adapté leurs politiques aux exigences spécifiques de la tâche.
Échec des modèles de RL classiques : Les modèles standards MB, MF et SF n'ont pas réussi à capturer les signatures comportementales clés, particulièrement la tendance du groupe TUS à réutiliser une politique fixe à travers les tâches et l'asymétrie de performance entre les tâches de Type A et de Type B.
Supériorité du SF Rationnel de Ressources (RRSF) : Le modèle RRSF a fourni le meilleur ajustement aux données. Il a réussi à reproduire les schémas comportementaux observés, incluant la dépendance du groupe TUS à une politique par défaut (Pièce 4), même lorsqu'elle était sous-optimale.
Mécanisme d'irrationalité : Le modèle RRSF a révélé que les deux groupes utilisaient l'apprentissage SF mais différaient par leur sensibilité à l'effort cognitif ( $\lambda$ ). Le groupe TUS présentait une sensibilité au coût nettement plus élevée, menant à la minimisation de l'effort cognitif par la réutilisation d'une politique par défaut simplifiée plutôt que par le calcul de stratégies spécifiques à la tâche. Cela a entraîné un biais systématique vers les tâches de Type B plus « faciles » et un échec de l'optimisation pour les tâches de Type A.
Corrélats cliniques : Un effort cognitif exercé plus faible était associé à une anxiété auto-rapportée plus élevée, à des scores d'usage de substances plus élevés et à une impulsivité cognitive plus élevée. Des taux d'apprentissage de caractéristiques de successeur plus faibles étaient associés à une dépression auto-évaluée plus élevée.

Signification et affirmations
L'article affirme offrir un compte rendu normatif de l'apprentissage atypique dans l'addiction qui dépasse la traditionnelle dichotomie MB–MF. Les auteurs soutiennent que l'addiction ne représente pas simplement un échec de la planification fondée sur un modèle ou une dominance d'habitudes sans modèle, mais plutôt un changement systématique dans l'allocation des ressources cognitives.

Plus précisément, l'étude pose que :

Les caractéristiques de successeur comme mécanisme unificateur : Dans les environnements multi-tâches, l'apprentissage humain (tant sain que pathologique) repose sur les caractéristiques de successeur pour généraliser à travers les tâches, agissant comme une stratégie intermédiaire entre MB et MF.
Irrationalité rationnelle de ressources : Le comportement « irrationnel » observé dans le TUS (réutilisation de politiques sous-optimales) est une adaptation rationnelle à une sensibilité accrue au coût cognitif. Les individus souffrant de TUS semblent prioriser la conservation de l'effort cognitif sur la maximisation de la récompense, menant à la réutilisation rigide de politiques par défaut.
Implications pour la psychiatrie computationnelle : En quantifiant l'effort cognitif via la théorie de l'information, l'étude fournit un nouveau cadre pour comprendre les déficits de contrôle cognitif dans l'addiction. Elle suggère que ces déficits ne proviennent pas d'un manque de capacité cognitive, mais d'une volonté ou d'une capacité réduite à dépenser de l'effort (aversion à l'effort) pour mettre à jour les politiques loin d'un état par défaut.

Les auteurs concluent que cette perspective de rationalité de ressources sur l'apprentissage des caractéristiques de successeur offre une explication plus complète de l'inflexibilité observée dans l'addiction, liant directement les mécanismes computationnels à la sévérité des symptômes cliniques.

Articles similaires