Contextual encoding of states and indices for episodic memories make goal-directed action selection flexible, transparent, and efficient

Lorsque nous sommes confrontés à un nouveau problème, notre cerveau ne se contente pas de calculer des chiffres pour trouver la meilleure solution. Au lieu de cela, il puise dans notre passé, extrayant des souvenirs spécifiques de situations similaires pour guider notre prochain mouvement. Cette capacité à se rappeler des expériences pertinentes et à expliquer nos choix en fonction d'elles est une caractéristique de l'intelligence humaine. Pendant des décennies, les scientifiques ont tenté de construire des systèmes artificiels qui miment cette flexibilité, mais la plupart des méthodes réussies reposent sur le stockage de vastes quantités de données sous des formes mathématiques complexes, difficiles à interpréter et nécessitant une puissance de calcul immense. Ces systèmes peinent souvent lorsque les règles du jeu changent ou qu'un nouvel objectif apparaît, les forçant à réapprendre à partir de zéro. Le défi pour les chercheurs a été de créer un système qui apprend rapidement, s'adapte instantanément aux nouvelles contraintes et peut expliquer ses décisions en termes simples, tout en fonctionnant sur des appareils de petite taille et économes en énergie.

Une équipe de chercheurs de l'Université technologique de Graz a développé une nouvelle approche appelée Carte cognitive épisodique, ou ECM (Episodic Cognitive Map), qui emprunte un chemin différent. Au lieu d'essayer de compresser toutes les connaissances en nombres abstraits, ce système fonctionne comme un esprit humain qui tient un journal détaillé de ses expériences. L'algorithme explore un environnement en effectuant des marches aléatoires, enregistrant chaque étape qu'il franchit comme un souvenir distinct. Ce qui rend ce système unique, c'est la façon dont il stocke et utilise ces souvenirs. Il ne se contente pas de se souvenir d'où il est allé ; il lie chaque lieu visité au voyage spécifique dont il faisait partie. Si le système doit aller d'un point A à un point B, il ne calcule pas la distance ou la valeur de tous les chemins possibles. Au lieu de cela, il consulte sa bibliothèque de voyages passés et demande : « Lequel de mes voyages précédents incluait à la fois l'endroit où je me trouve actuellement et l'endroit où je veux aller ? » La réponse à cette question indique directement la meilleure étape suivante.

Les chercheurs ont testé cette idée dans des environnements simulés qui imitent des tâches de prise de décision complexes, incluant des cartes avec des centaines d'emplacements et des situations où les actions ont des résultats incertains. Dans ces tests, l'algorithme ECM s'est révélé remarquablement efficace. Il a appris à naviguer de n'importe quel point de départ vers n'importe quel objectif avec une vitesse et une précision qui rivalisent avec des méthodes d'intelligence artificielle beaucoup plus compliquées. Crucialement, il y est parvenu en utilisant uniquement des connexions binaires simples entre ses cellules de mémoire et ses neurones de décision. Cela signifie que le système n'a pas besoin d'effectuer de lourds calculs mathématiques ou de stocker des nombres de haute précision. Il peut apprendre un nouvel environnement, résoudre un problème de navigation et expliquer son choix en pointant les expériences passées spécifiques qui l'ont soutenu, le tout sans avoir besoin de rien réapprendre lorsque l'objectif change.

La force de ce système réside dans sa capacité à s'adapter instantanément. Dans de nombreux modèles d'intelligence artificielle, changer un objectif ou ajouter une nouvelle règle de sécurité nécessite de réentraîner l'ensemble du système, un processus qui peut prendre des heures ou des jours. L'algorithme ECM, cependant, peut ajuster son comportement en une fraction de seconde. Si un chemin devient bloqué ou si une nouvelle contrainte de sécurité est introduite, le système filtre simplement sa bibliothèque de souvenirs pour ignorer ceux qui impliquent le chemin bloqué ou la zone dangereuse. Il sélectionne ensuite un nouvel itinéraire basé sur les souvenirs valides restants. Cette flexibilité lui permet de gérer des scénarios complexes, tels que la navigation dans une ville où certaines rues sont fermées ou l'évitement de zones à haut risque, sans jamais avoir besoin de s'arrêter pour réapprendre la carte.

Pour comprendre comment cela fonctionne, imaginez le système construisant une carte mentale non pas de distances, mais de connexions. Lorsqu'il explore une nouvelle zone, il crée un enregistrement de chaque voyage qu'il effectue. Chaque emplacement de cette zone est marqué par les voyages spécifiques dans lesquels il est apparu. Lorsque le système doit se diriger vers un objectif, il active les souvenirs associés à cet objectif. Ces souvenirs illuminent alors les lieux qui apparaissaient fréquemment aux côtés de l'objectif lors des voyages passés. Le système choisit simplement l'action qui mène au lieu ayant la connexion la plus forte avec l'objectif. Ce processus est si direct qu'il contourne le besoin de calculs complexes. Le système n'a pas besoin de connaître la valeur de chaque état futur possible ; il a seulement besoin de savoir quels souvenirs passés relient le présent au futur désiré.

Les chercheurs ont également exploré comment ce système pourrait s'améliorer au fil du temps. Ils ont découvert qu'en remplaçant occasionnellement les souvenirs anciens et moins utiles par de nouveaux dérivés de tentatives de planification réussies, le système pouvait affiner sa carte interne sans augmenter la taille de sa mémoire. Ce processus, connu sous le nom d'auto-amélioration récursive, a permis à l'algorithme de devenir plus efficace pour trouver des chemins courts à mesure qu'il gagnait de l'expérience. Même lorsque l'environnement était imprévisible, avec des actions menant parfois à des résultats inattendus, le système a maintenu sa capacité à trouver des itinéraires fiables. Il y est parvenu en pondérant ses souvenirs selon la fréquence à laquelle ils menaient au succès, apprenant ainsi une stratégie qui équilibre risque et récompense.

L'une des découvertes les plus significatives de ce travail est que le système peut expliquer ses décisions avec une transparence totale. Parce que chaque choix est basé sur un ensemble spécifique d'expériences passées, le système peut montrer exactement quels souvenirs ont conduit à une action particulière. Si un humain demande pourquoi le système a choisi un certain chemin, il peut pointer les voyages spécifiques de son histoire qui ont rendu ce chemin prometteur. Cela contraste fortement avec de nombreux systèmes d'intelligence artificielle modernes, qui agissent souvent comme des « boîtes noires » où le raisonnement derrière une décision est caché à l'intérieur de couches de mathématiques complexes. L'algorithme ECM offre un moyen de construire des machines intelligentes qui sont non seulement efficaces, mais aussi compréhensibles et dignes de confiance.

Les implications de cette recherche s'étendent au-delà de la navigation. Les principes derrière l'algorithme ECM suggèrent une nouvelle façon de construire une intelligence artificielle légère, économe en énergie et capable de fonctionner sur de petits appareils comme des capteurs ou des robots. Parce que le système repose sur des connexions binaires simples plutôt que sur des calculs de nombres à virgule flottante complexes, il pourrait être implémenté sur du matériel consommant très peu d'énergie. Cela en fait un candidat idéal pour l'informatique de périphérie (edge computing), où les appareils doivent prendre des décisions rapides et intelligentes sans dépendre d'une connexion à un ordinateur central puissant. La capacité de s'adapter à de nouveaux contextes et d'expliquer son raisonnement est particulièrement précieuse pour des applications où la sécurité et la fiabilité sont primordiales.

Les chercheurs reconnaissent que leur travail actuel se concentre sur des environnements où les états sont clairement définis et étiquetés. Ils prévoient d'étendre cette approche à des situations plus complexes où le système doit interpréter des données sensorielles brutes, telles que des images ou des sons, pour comprendre son environnement. Ils visent également à explorer la manière dont le système gère les situations où la vue actuelle ne fournit pas assez d'informations pour savoir exactement où il se trouve. Malgré ces défis futurs, les résultats actuels démontrent qu'une approche simple, basée sur la mémoire, peut atteindre des niveaux de performance qui rivalisent avec des méthodes beaucoup plus sophistiquées. En s'inspirant de la façon dont le cerveau humain utilise les souvenirs épisodiques, les chercheurs ont montré que parfois, les solutions les plus puissantes sont celles qui reposent sur les connexions les plus simples et les plus directes entre le passé et le présent.