Emergence of Spatial Representation in an Actor-Critic Agent with Hippocampus-Inspired Sequence Generator

Les auteurs proposent un modèle d'agent actor-critic couplé à un générateur de séquences inspiré de l'hippocampe qui, en exploitant la synergie entre les entrées visuelles égo-centriques clairsemées et une mémoire récurrente, résout efficacement des tâches de navigation et reproduit des phénomènes neurobiologiques clés comme la formation de champs de place.

L'essentiel

🧠 Le Secret du Navigateur : Comment le "Hippocampe" Artificiel Apprend à Se Repérer

Imaginez que vous êtes perdu dans une immense forêt de brouillard. Vous ne voyez rien à part quelques arbres isolés de temps en temps. Comment trouvez-vous votre chemin vers la sortie ?

C'est exactement le défi que les chercheurs ont donné à un robot virtuel dans cette étude. Ils ont voulu comprendre comment le cerveau des animaux (et particulièrement l'hippocampe, la zone de la mémoire spatiale) fonctionne, et comment on peut copier ce mécanisme pour créer de meilleurs robots intelligents.

Leur découverte principale ? Parfois, avoir moins d'informations (mais mieux triées) est bien mieux que d'avoir tout voir.

1. Le Problème : Le Brouillard et le Bruit

Dans la vraie vie, nos sens sont souvent submergés de bruit. Dans l'expérience, le robot regarde un labyrinthe.

• Le cas "Dense" (LSTM) : C'est comme si le robot avait des yeux de super-héros qui voient tout, tout le temps, avec une précision parfaite. Il voit chaque brique, chaque ombre.
• Le cas "Sparse" (Le modèle de l'étude) : C'est comme si le robot avait des yeux bandés, sauf pour quelques points de repère très clairs qui apparaissent brièvement. C'est comme naviguer en ne voyant que quelques phares dans la nuit.

2. La Solution : Le "Tapis Roulant" de la Mémoire

Les chercheurs ont construit un agent avec une partie spéciale inspirée de l'hippocampe (qu'ils appellent CA3). Voici comment ça marche avec une analogie simple :

Imaginez que le robot reçoit un signal : "Il y a un arbre ici !".

• Sans hippocampe (Modèle classique) : Le robot oublie cet arbre dès la seconde suivante. Il doit constamment regarder autour de lui pour se souvenir où il est.
• Avec l'hippocampe (Leur modèle) : Le robot possède un tapis roulant magique (une boucle de mémoire). Quand il voit l'arbre, l'image de l'arbre se met sur le tapis. Le tapis avance tout seul, étape par étape, pendant plusieurs secondes.
  • Même si le robot tourne la tête et ne voit plus l'arbre, l'image de l'arbre "glisse" sur le tapis dans sa tête.
  • Cela lui permet de dire : "J'ai vu cet arbre il y a 3 secondes, donc je dois être à tel endroit par rapport à lui."

C'est ce qu'ils appellent une séquence intrinsèque. Le cerveau ne se contente pas de réagir à ce qu'il voit maintenant, il projette ce qu'il a vu récemment dans le futur immédiat pour se faire une carte mentale.

3. La Grande Surprise : Moins c'est Plus !

C'est ici que ça devient fascinant. Les chercheurs ont comparé leur robot "hippocampe" avec un robot très puissant (un LSTM) qui voit tout en détail.

• Quand l'environnement est clair et riche (beaucoup d'infos) : Le robot "super-vision" gagne. Il a trop d'informations pour avoir besoin de son tapis roulant complexe.
• Quand l'environnement est pauvre ou bruyant (peu d'infos) : Le robot "hippocampe" explose tout le monde !
  • Pourquoi ? Parce que le robot "super-vision" se perd dans le bruit. Il essaie de tout mémoriser et se noie.
  • Le robot "hippocampe", lui, ne garde que les indices cruciaux (les phares) et utilise son tapis roulant pour relier ces points entre eux. Il est plus robuste, comme un marin qui sait naviguer avec peu de repères.

4. Ce que le Robot a "Appris" (Les Phénomènes Magiques)

En apprenant à naviguer, le robot a développé des comportements qui ressemblent étrangement à ceux des rats et des humains :

• Les "Champs de Place" : Certaines cellules du robot se sont spécialisées. Une cellule ne s'active que si le robot est dans le coin sud-est, une autre dans le couloir du nord. C'est exactement comme les cellules de lieu chez les animaux !
• Le Remapping (Changement de carte) : Quand les chercheurs ont déplacé le trésor (la récompense) dans le labyrinthe, le robot n'a pas tout effacé. Il a juste "redessiné" sa carte mentale pour s'adapter, tout comme un humain qui changerait de route s'il voyait un obstacle.
• La Prévision : Le robot a appris à "regarder devant lui". Avant même d'arriver à un tournant, ses cellules s'activent pour simuler le chemin futur. C'est comme si vous marchiez dans votre cuisine les yeux fermés : votre cerveau simule déjà le chemin vers le frigo.

🌟 En Résumé : Pourquoi c'est important ?

Cette étude nous dit deux choses fondamentales :

1. Pour la Biologie : Elle explique pourquoi l'hippocampe fonctionne comme un générateur de séquences. Ce n'est pas juste un enregistreur passif. C'est un moteur actif qui prend de petits indices épars et les étire dans le temps pour créer une carte cohérente. C'est une façon très efficace de naviguer quand on a peu d'informations.
2. Pour l'Intelligence Artificielle : Pour créer des robots intelligents capables de naviguer dans le monde réel (qui est souvent flou, sombre ou imprévisible), il ne faut pas nécessairement des caméras ultra-perfectionnées. Il faut des architectures de mémoire capables de relier les points entre eux dans le temps, comme le fait notre cerveau.

L'analogie finale :
Pensez à un détective.

• Le robot classique (LSTM) essaie de prendre des photos HD de chaque pièce pour tout mémoriser.
• Le robot "hippocampe" ne voit que quelques indices (une empreinte, un objet déplacé), mais il utilise son imagination (la séquence) pour reconstituer l'histoire complète et prédire où le coupable se cache.

Dans un monde incertain, c'est souvent le détective qui sait "relier les points" qui gagne, pas celui qui a le plus de photos.

Résumé technique

1. Problématique et Contexte

Les cellules de lieu (place cells) dans l'hippocampe des mammifères présentent deux phénomènes clés : elles codent la position spatiale et elles s'activent en séquences temporelles (séquences thêta). La littérature attribue traditionnellement ces séquences soit à une entrée sensorielle séquentielle le long d'une trajectoire, soit à des fonctions cognitives comme la planification.

Cependant, l'origine mécanique de ces séquences reste débattue. De nombreux modèles computationnels reproduisent l'activité de type "place cell" mais ne expliquent pas explicitement d'où proviennent les séquences hippocampiques. L'article propose une interprétation mécaniste et parcimonieuse : les séquences hippocampiques émergent d'une connectivité récurrente intrinsèque dans la région CA3, capable de propager une entrée transitoire sur de longues horizons temporels, agissant comme un tampon de mémoire temporelle. Cette hypothèse est particulièrement pertinente lorsque les preuves sensorielles sont rares (sparses), une condition écologique courante lors de la navigation.

2. Méthodologie

Les auteurs ont conçu un agent d'apprentissage par renforcement (Actor-Critic) naviguant dans un environnement virtuel continu (DeepMind Lab) avec une perspective à la première personne. L'architecture se compose de trois modules principaux inspirés de la neurobiologie :

• Encodeur Visuel (Fixe) : Un ResNet pré-entraîné extrait des caractéristiques visuelles générales.
• Module Dentate Gyrus (DG) - Sparsification : Les caractéristiques visuelles sont projetées linéairement, normalisées par lots (BatchNorm) et soumises à un seuil d'activation élevé. Cela produit une entrée extrêmement clairsemée (environ 2,5 % d'activité), mimant la faible activité des cellules granulaires du DG.
• Générateur de Séquence (CA3) : C'est le cœur du modèle. Il est implémenté comme un registre à décalage linéaire (RNN) fixe.
  • Chaque entrée DG active une séquence prédéfinie de neurones CA3.
  • La dynamique est modélisée par une matrice de décalage $S$ qui propage l'activité sur $L$ cycles thêta avec $R$ neurones actifs par cycle.
  • Contrairement aux RNNs standard, les poids récurrents de CA3 sont fixés (non appris) pour isoler l'effet de la génération de séquences intrinsèque.
• Décodage et Apprentissage (Actor-Critic) : Les états de CA3 sont aplaties et envoyés à un MLP (réseau de neurones) qui apprend les poids pour la politique (actions) et la valeur. L'agent est entraîné avec un objectif standard de gradient de politique (PPO/APPO).

L'objectif est de comparer cette architecture "DG-CA3" avec des architectures de référence comme les LSTM et les modèles d'espace d'état (SSM) comme HiPPO-LegS, dans des régimes d'entrée clairsemés (sparse) et denses.

3. Contributions Clés

1. Hypothèse Mécaniste : Démonstration que les séquences hippocampiques peuvent émerger d'une connectivité récurrente intrinsèque sans nécessiter d'entrées séquentielles externes, agissant comme un tampon de mémoire pour les signaux sensoriels rares.
2. Synergie Sparsité-Séquence : Identification d'une synergie cruciale entre le codage clairsemé (DG) et la dynamique de génération de séquences (CA3). Le modèle surpasse les LSTM et les SSM uniquement dans des conditions d'entrée clairsemée, là où les LSTM échouent ou sont moins stables.
3. Émergence de Phénomènes Neurobiologiques : Le modèle, sans supervision spatiale explicite, développe naturellement :
   • Des champs de lieu localisés (place fields).
   • Une orthogonalisation progressive des entrées DG (séparation des motifs).
   • Des noyaux spatiaux dépendants de la distance.
   • Un "remapping" (changement de représentation) lors du déplacement de l'objectif.
4. Inductive Bias pour le RL : Proposition d'une architecture simple et parcimonieuse qui sert de biais inductif efficace pour l'apprentissage par renforcement basé sur des entrées visuelles clairsemées.

4. Résultats

• Performance de Navigation :

  • L'agent avec le module CA3 (séquence $L=64$, répétition $R=8$) atteint un taux de réussite stable de ~86 % dans un labyrinthe complexe avec des entrées clairsemées.
  • Comparaison Architecturale : En entrée clairsemée, le modèle CA3 surpasse significativement les LSTM, les SSM (HiPPO-LegS) et les RNN aléatoires. En revanche, en entrée dense (sans seuillage), les LSTM surpassent le modèle CA3, confirmant que l'avantage du modèle est spécifique au régime de faible bande passante sensorielle.
  • L'ablation de la longueur de séquence ($L$) dégrade fortement les performances, prouvant le rôle de la mémoire à long terme.

• Analyse des Représentations :

  • Champs de Lieu : Les unités CA3 développent des champs de lieu localisés, dont la taille augmente le long de la séquence (plus loin de l'entrée), imitant les observations biologiques.
  • Information Spatiale (SI) : Les unités activées plus tard dans la séquence portent plus d'information spatiale. Une permutation des poids des unités à haute SI dégrade drastiquement la performance, prouvant la causalité de ces représentations.
  • Orthogonalisation et Remapping : Les entrées DG deviennent de plus en plus orthogonales au cours de l'apprentissage. Lorsque la récompense est déplacée, le modèle effectue un "remapping" (changement de la position du centre de masse des champs de lieu), tout en conservant une structure spatiale générale.
  • Stratégie de Navigation : Contrairement aux agents LSTM qui semblent effectuer une "recherche visuelle" (trajectoires moins convergentes), l'agent CA3 développe des trajectoires stables et habituelles, suggérant une navigation basée sur la mémoire plutôt que sur la perception immédiate.

5. Signification et Conclusion

Ce travail offre une explication mécaniste unifiée de la formation des séquences thêta et des cellules de lieu dans l'hippocampe, reliant la physiologie (connectivité CA3, activité clairsemée du DG) à la fonction computationnelle (mémoire à long terme, navigation).

Sur le plan de l'intelligence artificielle, l'article démontre que l'architecture du réseau doit être adaptée au régime d'entrée :

• Pour des signaux denses, les modèles de mélange orientés (comme les LSTM) sont efficaces.
• Pour des signaux clairsemés (bruyants ou rares), les architectures à mémoire séquentielle intrinsèque (inspirées de CA3) sont supérieures car elles filtrent le bruit et maintiennent un contexte temporel long.

Enfin, le modèle valide l'idée que des contraintes structurelles biologiques (comme la sparsité et les séquences récurrentes fixes) peuvent servir de biais inductifs puissants pour l'apprentissage par renforcement, permettant l'émergence de représentations spatiales complexes sans supervision explicite, tout en restant interprétables et alignés avec les données neurobiologiques.