Cortex and subcortex play distinct roles over learning when cortical memory is limited

Résumé Technique : Rôles Corticaux et Subcorticaux dans l'Apprentissage sous Contraintes de Mémoire

Énoncé du Problème
L'article traite du compromis computationnel entre le traitement cortical à haute puissance et gourmand en ressources (associé au raisonnement flexible, de type modèle-basé) et les processus sous-corticaux automatiques à moindre coût (associés à l'apprentissage sans modèle). Bien qu'il soit hypothétisé que le cerveau intègre ces systèmes pour une efficacité des ressources, les cadres théoriques existants échouent souvent à contraindre explicitement les ressources de mémoire du module basé sur un modèle (MB). Dans de nombreux environnements complexes, le nombre de probabilités de transition d'état dépasse la capacité de mémoire des fonctions de pensée d'ordre supérieur. Les auteurs étudient comment un apprenant MB, explicitement contraint par une capacité de mémoire limitée, devrait allouer ses ressources lorsqu'il apprend aux côtés d'un apprenant sans modèle (MF). Plus précisément, ils cherchent à savoir si le système MB doit prioriser le suivi des transitions directement associées aux récompenses actuelles ou des structures environnementales plus larges.

Méthodologie
Les auteurs proposent un cadre théorique utilisant un environnement structuré en arbre avec des transitions non déterministes.

• Environnement : Un arbre régulier de profondeur $d$, où un agent part d'un état racine $s_0$ et se déplace vers des états feuilles. Les récompenses ne sont attribuées qu'aux états feuilles. L'environnement est divisé en deux phases : la Phase 1 (schéma de récompense fixe) et la Phase 2 (schéma de récompense déplacé).
• Apprenants :
  • Sans Modèle (MF) : Utilise une règle de type SARSA(0) avec une mise à jour de propagation vers l'arrière, permettant une propagation immédiate de la récompense à travers l'arbre sans paramètres supplémentaires comme $\lambda$.
  • Basé sur un Modèle (MB) : Utilise la programmation dynamique pour calculer les valeurs Q basées sur les probabilités de transition estimées $\hat{P}$. Crucialement, l'apprenant MB est contraint par une capacité de mémoire $m$, limitant le nombre d'arêtes (transitions) qu'il peut suivre et estimer.
• Stratégies d'Allocation de Mémoire : L'étude évalue deux stratégies distinctes pour sélectionner les arêtes à suivre dans la limite de mémoire $m$ :
  1. MAXREWARD : Priorise les arêtes associées à la récompense (celles sur les trajectoires menant à une valeur positive), en utilisant la proximité avec la racine comme critère de départage.
  2. MAXREACH : Priorise les arêtes les plus proches de l'état racine ($s_0$), indépendamment de l'association immédiate avec la récompense, afin de maximiser la capacité de navigation vers des états cibles arbitraires.
• Évaluation : La performance est mesurée par la récompense moyenne reçue par épisode. L'étude introduit également une métrique de « cohérence » pour comparer les stratégies hypothétiques aux données générées, permettant une analyse fine des choix d'actions à des niveaux spécifiques de l'arbre.

Résultats Clés

• Compromis dans les Environnements Statiques vs Dynamiques :
  • En Phase 1 (récompense stable), MAXREWARD surpasse généralement ou égale MAXREACH car il concentre les ressources sur l'exploitation de la structure de récompense actuelle.
  • En Phase 2 (après le déplacement de la localisation de la récompense), MAXREACH démontre un avantage significatif. Parce qu'il suit la structure générale près de la racine, il conserve la connaissance des probabilités de transition qui deviennent pertinentes lorsque la récompense se déplace. MAXREWARD, ayant écarté les arêtes non récompensées en Phase 1, doit réapprendre ces transitions, ce qui entraîne une baisse temporaire de performance.
• Effets de la Capacité de Mémoire : Lorsque la capacité de mémoire $m$ est suffisamment élevée, les deux stratégies convergent en termes de performance. Cependant, sous des contraintes strictes, le choix de la stratégie dicte l'adaptabilité de l'agent aux environnements non stationnaires.
• Signatures de Cohérence : L'analyse de la cohérence des stratégies révèle une signature temporelle distincte. Lors de la comparaison des données d'un agent MAXREACH contre une hypothèse MAXREWARD (et inversement), la cohérence de l'action du premier stade (niveau racine) chute drastiquement immédiatement après le changement de récompense en Phase 2, avant de se rétablir progressivement. Cela fournit une signature spécifique et testable pour distinguer les deux modes d'apprentissage.

Signification et Revendications
L'article prétend fournir une base théorique pour une dissociation fonctionnelle entre les systèmes corticaux et sous-corticaux lors de l'apprentissage :

1. Spécialisation Fonctionnelle : Les auteurs proposent que le cortex (MB) soutient l'apprentissage de la structure environnementale générale (MAXREACH), tandis que les circuits sous-corticaux (MF) se spécialisent dans l'apprentissage basé sur la récompense.
2. Plausibilité Neurobiologique : Ce cadre offre une explication à la raison pour laquelle les zones corticales reçoivent des projections dopaminergiques plus éparses que le striatum. Si le cortex se concentre sur l'apprentissage structurel indépendant de la récompense immédiate, il nécessite moins de signalisation directe de la récompense que le système MF, qui repose sur des expériences de récompense répétées pour mettre à jour les valeurs.
3. Testabilité Expérimentale : Les auteurs détaillent une méthode pour tester ces hypothèses à l'aide de données expérimentales. En mesurant la cohérence des actions d'un animal avec les stratégies MAXREWARD ou MAXREACH, les chercheurs peuvent identifier si le sujet priorise l'exploitation de la récompense ou l'apprentissage structurel, en observant particulièrement le "creux" spécifique de cohérence au niveau de la racine suite aux changements environnementaux.
4. Implications pour l'IA : Ce travail suggère que les systèmes d'IA efficaces pourraient bénéficier de structures similaires à ressources contraintes, où un module de planification coûteux se concentre sur la structure générale tandis qu'un module à faible coût gère l'optimisation de la récompense immédiate.

Les auteurs restent modestes, reconnaissant que leur modèle actuel utilise un environnement de type "jouet" et des méthodes tabulaires. Ils notent que les travaux futurs devraient explorer les modèles paramétriques, l'intégration de signaux plus complexes et les mécanismes de transfert de contrôle du MB vers le MF à mesure que les tâches sont maîtrisées.