Transition from model-free to structure-informed decision making in dynamic environments

Dans le vaste paysage de la manière dont les êtres vivants font des choix, les scientifiques distinguent depuis longtemps deux manières fondamentales de naviguer dans le monde. Une approche est immédiate et réactive : un animal apprend qu'une action spécifique mène à une récompense et répète cette action sans nécessairement comprendre pourquoi elle fonctionne. C'est une stratégie d'habitude, fondée sur des associations simples entre le fait de faire quelque chose et l'obtention de quelque chose de bon. L'autre approche est plus réfléchie et délibérée : un animal construit une carte interne de la structure du monde, comprenant comment un événement en entraîne un autre et comment différents choix modifient les probabilités d'une récompense. C'est une stratégie de planification, où le décideur utilise la connaissance des règles pour guider son comportement. Pendant des années, les chercheurs ont cru que, à mesure que les animaux pratiquaient une tâche sur une longue période, ils passeraient lentement de cette planification réfléchie à l'habitude plus simple et automatique. Cette idée suggérait qu'avec suffisamment de répétition, le cerveau cesserait de calculer pour commencer à s'appuyer sur la mémoire musculaire.

Une équipe de chercheurs a décidé de tester cette supposition en observant comment des souris apprennent une tâche de prise de décision complexe, mais avec un tournant crucial : ils ont examiné le tout début du processus d'apprentissage plutôt que d'attendre que les animaux deviennent des experts. Les souris ont été placées dans une situation où elles devaient faire une série de choix pour trouver une récompense. L'environnement était complexe ; le chemin vers la récompense n'était pas toujours direct. Parfois, un choix menait directement à l'étape suivante comme prévu, mais d'autres fois, le chemin prenait un tournant inattendu. De plus, la probabilité de trouver une récompense au bout du chemin n'était pas fixe ; elle changeait au fil du temps, forçant les souris à mettre constamment à jour leurs attentes. Les chercheurs ont observé de près le comportement des souris au fur et à mesure de leurs sessions d'entraînement, suivant si les animaux se contentaient de réagir aux récompenses passées ou s'ils commençaient à comprendre la structure cachée de la tâche.

Les résultats ont révélé un schéma surprenant qui remet en question la vieille vision de la manière dont l'apprentissage se déroule. À mesure que les souris pratiquaient, leur comportement changeait d'une manière spécifique indiquant qu'elles ne se contentaient pas de former des habitudes. Lorsque les souris rencontraient une situation où le chemin prenait un tournant inattendu, elles ajustaient leurs choix futurs différemment que lorsqu'elles rencontraient un chemin attendu. Cette divergence de comportement est un signe clair que les animaux avaient commencé à utiliser leur connaissance de la structure de la tâche pour guider leurs décisions. En adaptant des modèles mathématiques de différents styles d'apprentissage aux actions des souris, les chercheurs ont découvert que les souris s'appuyaient de plus en plus sur une stratégie utilisant cette connaissance structurelle. Ce changement s'est produit tôt dans le processus d'entraînement, bien avant que les souris n'aient passé un temps considérable sur la tâche.

Cette découverte suggère que la transition d'un apprentissage simple et réactif vers une prise de décision complexe et informée par la structure se produit beaucoup plus tôt qu'on ne le pensait auparavant. Alors que les études antérieures se concentraient sur ce qui se passe après qu'un animal a pratiqué pendant longtemps, concluant souvent que le cerveau finit par cesser de réfléchir pour agir en mode automatique, ce nouveau travail montre que le cerveau commence à construire un modèle mental des règles presque immédiatement. Les souris n'ont pas attendu de devenir habituées avant de commencer à comprendre le jeu ; au contraire, elles se sont rapidement éloignées de la dépendance aux seules récompenses passées pour commencer à utiliser leur compréhension de la façon dont la tâche était constituée afin de faire de meilleurs choix. Cela démontre que dans des environnements dynamiques où les règles et les récompenses peuvent changer, la capacité à comprendre la structure sous-jacente est un outil de survie primaire, un outil que le cerveau sollicite tôt et fréquemment.