🤖 machine learning

MapFormer: Self-Supervised Learning of Cognitive Maps with Input-Dependent Positional Embeddings

L'article présente MapFormer, une architecture novatrice basée sur les Transformers qui utilise des embeddings de position dépendants de l'entrée, dérivés de générateurs d'algèbres de Lie, pour apprendre des cartes cognitives non supervisées, permettant ainsi d'atteindre une généralisation hors distribution et une évolutivité supérieures à celles des modèles d'IA existants sur une variété de tâches cognitives.

Auteurs originaux : Victor Rambaud, Salvador Mascarenhas, Yair Lakretz

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Victor Rambaud, Salvador Mascarenhas, Yair Lakretz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous marchez dans une nouvelle ville. Vous ne mémorisez pas chaque bâtiment que vous voyez ; au contraire, vous construisez une carte mentale. Vous comprenez que « tourner à gauche » modifie toujours votre position par rapport à la rue, que vous soyez à Paris ou à Tokyo. Cette capacité à séparer où vous êtes (la structure) de ce que vous voyez (le contenu) est ce que les scientifiques appellent une « carte cognitive ».

Les systèmes d'IA actuels, comme les grands modèles de langage avec lesquels vous pourriez discuter, sont incroyablement bons pour mémoriser des motifs. Cependant, ils sont souvent « fragiles ». Si vous leur demandez de résoudre un problème légèrement différent de ceux sur lesquels ils ont été entraînés, ils échouent souvent. Ils peinent à comprendre les règles sous-jacentes d'une situation et s'appuient plutôt sur des devinettes basées sur des similitudes de surface.

Ce papier présente un nouveau type d'architecture d'IA appelé MapFormers. Considérez les MapFormers comme offrant à l'IA un « GPS mental » qui apprend les règles de la route plutôt que de simplement mémoriser le paysage.

L'idée centrale : Séparer le « Où » du « Quoi »

Les auteurs soutiennent que pour être véritablement intelligent, une IA doit démêler deux choses :

Contenu : Les choses spécifiques qu'elle voit (par exemple, une pomme rouge, une voiture bleue).
Structure : Les règles régissant le déplacement ou les relations entre les choses (par exemple, « se déplacer vers la droite » vous déplace toujours d'un cran vers la droite).

Les modèles d'IA standards mélangent ces deux aspects. Les MapFormers sont conçus pour les maintenir séparés. Ils y parviennent grâce à une astuce mathématique impliquant les groupes de Lie (une manière élégante de décrire les rotations et les mouvements continus). Au lieu de coder des règles en dur, l'IA apprend à générer des « matrices de mouvement » à partir de l'entrée.

Les deux types de MapFormers

Le papier présente deux versions de ce système, que les auteurs comparent à des types de mémoire humaine :

MapEM (Mémoire Épisodique) : C'est comme un journal intime. Il maintient une liste séparée et dédiée de « où je suis » et « ce que j'ai vu ». Il est très bon pour se souvenir d'événements passés spécifiques (comme se rappeler exactement ce que vous avez mangé le mardi dernier), mais il est un peu plus lent à traiter.
MapWM (Mémoire de Travail) : C'est comme le bloc-notes actif de votre cerveau. Il mélange le « où » et le « quoi » à la volée. Il est plus rapide et plus efficace, similaire au fonctionnement de RoPE (une technique d'IA populaire actuelle), mais avec une mise à niveau cruciale : il peut réellement apprendre à se déplacer dynamiquement sur une carte.

Comment ils ont appris (Les terrains d'entraînement)

Pour prouver que ces modèles fonctionnent, les chercheurs les ont testés sur trois défis spécifiques de style « jeu vidéo » où les règles étaient cachées :

Le jeu « Ignorez le bruit » : L'IA devait copier une liste d'éléments mais ignorer les espaces vides entre eux. Les IA standards se perdent avec les espaces vides ; les MapFormers ont appris à « filtrer » (bloquer) le bruit et à se concentrer uniquement sur les éléments à copier.
Le jeu « Le navigateur aveugle » : L'IA recevait une séquence de commandes « bouger » et « voir » sans qu'on lui indique laquelle était laquelle. Elle devait comprendre que « Haut » vous déplace vers le haut et « Voir un arbre » met simplement à jour votre vue. Une fois qu'elle avait appris la carte, elle pouvait prédire exactement ce qu'elle verrait si elle revenait à un endroit qu'elle avait déjà visité, même si la séquence était beaucoup plus longue que tout ce qu'elle avait jamais vu.
Le jeu « Parenthèses imbriquées » : Cela teste la capacité à gérer des couches profondes de logique (comme ((()))). Les IA standards peinent à compter combien de parenthèses ouvertes attendent d'être fermées lorsque la séquence devient longue. Les MapFormers traitaient l'ouverture d'une parenthèse comme un « déplacement vers l'avant » et la fermeture comme un « déplacement vers l'arrière », leur permettant de suivre la pile parfaitement, même dans des séquences beaucoup plus profondes que celles sur lesquelles elles avaient été entraînées.

Les résultats : Pourquoi cela compte

Le papier affirme que les MapFormers ont atteint une généralisation quasi parfaite.

Le test « OOD » : En termes d'IA, « Hors Distribution » (Out-of-Distribution, OOD) signifie tester le modèle sur des scénarios qu'il n'a jamais vus auparavant. Alors que les modèles standards échouaient lamentablement lorsque les séquences devenaient plus longues ou que les environnements changeaient, les MapFormers ont réussi. Ils n'ont pas seulement mémorisé ; ils ont appris la géométrie du problème.
Test du monde réel : Les chercheurs ont également essayé cela sur un extrait de texte réel d'Internet (OpenWebText). Bien que l'amélioration ait été plus faible que sur les jeux de logique, les MapFormers ont tout de même obtenu de meilleurs résultats que les modèles standards, suggérant que ces principes pourraient être mis à l'échelle pour des tâches linguistiques réelles.

Le « secret » : Les mathématiques comme boussole

Le papier explique que les MapFormers utilisent une approche mathématique spécifique où les actions (comme « se déplacer vers la droite ») sont traitées comme des rotations.

Imaginez que vous faites tourner un cadran. Si vous le tournez de 90 degrés, puis encore de 90 degrés, vous vous retrouvez à 180.
Les MapFormers apprennent que « Droite » est une rotation spécifique et « Gauche » est la rotation opposée.
Parce qu'ils utilisent ce cadre mathématique, ils peuvent calculer le résultat d'un long trajet (intégration de chemin) en additionnant simplement les angles, plutôt que d'effectuer des calculs complexes et lents pour chaque étape individuelle. Cela leur permet de traiter l'information en parallèle (très rapidement) tout en comprenant la séquence.

Résumé

En bref, ce papier propose que pour rendre l'IA plus robuste et adaptable, nous devrions cesser de la traiter comme une gigantesque machine à faire correspondre des motifs et commencer à lui donner une carte cognitive. En enseignant à l'IA à séparer les règles de mouvement des choses qu'elle voit, les MapFormers peuvent naviguer dans de nouvelles situations, jamais vues, avec une flexibilité que les systèmes d'IA actuels n'ont pas. Ils ne devinent pas seulement ; ils comprennent la carte.

Résumé Technique : MapFormers

Énoncé du Problème

Les systèmes d'IA actuels basés sur les Transformers, malgré des performances impressionnantes sur des tâches en distribution, présentent une fragilité significative lorsqu'ils sont confrontés à des scénarios hors distribution (OOD). Ils échouent souvent à se généraliser à des situations nouvelles que les humains et les animaux gèrent avec aisance. Les auteurs attribuent cet écart à un manque de biais structurels permettant aux cerveaux biologiques de construire des cartes cognitives : des modèles internes qui dissocient la structure abstraite et invariante d'un environnement de son contenu spécifique et variable.

Les tentatives existantes pour modéliser les cartes cognitives, telles que la Machine Tolman-Eichenbaum (TEM) utilisant des matrices dépendantes de l'action dans les RNN, souffrent de deux limitations critiques :

Manque d'Évolutivité : Elles nécessitent une multiplication matricielle séquentielle pour mettre à jour les positions, empêchant le traitement parallèle.
Actions Pré-spécifiées : Elles exigent souvent que l'ensemble des actions (par exemple, les directions cardinales) soit codé en dur plutôt qu'appris à partir des données.

De plus, les encodages de position standards (comme RoPE) sont statiques ou reposent sur des heuristiques qui ne supportent pas la composition dynamique des actions requise pour l'intégration de chemin dans des environnements inconnus.

Méthodologie

L'article introduit MapFormers, une classe d'architectures Transformer conçues pour apprendre des cartes cognitives et effectuer une intégration de chemin via la prédiction du prochain token sans supervision. L'innovation centrale réside dans l'utilisation de matrices dépendantes de l'entrée pour mettre à jour les encodages de position, dérivées de la théorie des groupes de Lie.

Cadre Théorique

Formalisme des Groupes de Lie : Les auteurs modélisent les actions comme des éléments d'un groupe de Lie (spécifiquement des groupes compacts comme $SO(2)$ pour les rotations). Au lieu d'apprendre une matrice séparée pour chaque action possible, le modèle apprend des générateurs d'algèbre de Lie.
Intégration de chemin via les applications exponentielles : Les actions sont représentées comme des générateurs infinitésimaux dans l'algèbre de Lie. L'intégration de chemin (composition d'une séquence d'actions) est réalisée en sommant ces générateurs dans l'algèbre (accumulation linéaire) puis en appliquant une seule application exponentielle pour obtenir la transformation finie dans le groupe de Lie.
- Pour les cartes commutatives (par exemple, la navigation sur une grille 2D), cela permet de calculer l'intégration de chemin en parallèle via une somme cumulative, suivie d'une seule exponentielle matricielle.
- Cette approche réduit le biais inductif du nombre d'actions à la complexité structurelle de l'algèbre.

Variantes Architecturales

L'article propose deux variantes de MapFormers, unifiant l'encodage de position absolu et relatif avec des modèles de mémoire distincts :

MapEM (Mémoire Épisodique) :
- Utilise des encodages de position absolus pour représenter une carte cognitive.
- Dissocie le contenu (observations) et la structure (position) en populations neuronales séparées.
- Calcule l'attention sur la conjonction du contenu et de la position ( $Q_G = \text{vec}(Q^T \cdot P)$ ), agissant efficacement comme un masque d'attention où les encodages de position se mettent à jour indépendamment du contenu.
- Adapté aux tâches nécessitant un rappel robuste d'états spécifiques.
MapWM (Mémoire de Travail) :
- Utilise un encodage de position relatif (analogue à RoPE mais dynamique).
- Représente la structure implicitement en faisant tourner l'activité neuronale (clés et requêtes) vers des sous-espaces distincts via des matrices de rotation dépendantes de l'entrée ( $R_{\theta PI}$ ).
- L'angle de rotation $\theta$ est dérivé d'une projection de rang faible du token d'entrée, permettant au modèle d'apprendre quels tokens agissent comme des actions (mettant à jour la position) et lesquels sont des observations (laissant la position inchangée).

Mécanisme Dépendant de l'Entrée

Les deux architectures emploient une projection en deux étapes pour déterminer la « durée d'intégration » ( $\Delta_t$ ) pour chaque token :

Projection Interne : Mappe le token d'entrée vers une représentation d'action de faible dimension.
Projection Externe : Projette cette représentation vers une durée d'intégration par bloc.
L'angle de rotation final est $\theta_t = \omega \odot \Delta_t$ , où $\omega$ est un vecteur de vitesse angulaire apprenable. L'intégration de chemin est calculée comme la somme cumulative de ces angles ( $\theta_{0 \to t} = \text{cumsum}(\theta_t)$ ).

Contributions Clés

Architecture MapFormers : Une variante Transformer novatrice qui apprend des cartes cognitives en dissocient la structure du contenu à l'aide d'encodages de position dépendants de l'entrée basés sur des générateurs d'algèbre de Lie.
Intégration de chemin Parallèle : En exploitant les groupes de Lie commutatifs (par exemple, $SO(2)^k$ ), les modèles réalisent une intégration de chemin parallèle, surmontant le goulot d'étranglement séquentiel des modèles de cartes cognitives basés sur les RNN précédents.
Unification des Modèles de Mémoire : Le travail établit un lien théorique entre l'encodage de position absolu/relatif et la mémoire épisodique/de travail, montrant comment les deux peuvent être dérivés des mêmes principes théoriques de Lie.
Évolutivité vers des Cartes Non-Commutatives : Le cadre est étendu aux problèmes non commutatifs (par exemple, les arbres généalogiques) en utilisant plusieurs générateurs, bien que cela nécessite une intégration de chemin séquentielle.

Résultats Expérimentaux

Les auteurs ont évalué MapFormers sur trois tâches formelles ciblant des capacités cognitives distinctes :

Copie Sélective (Gating) :
- Tâche : Copier une séquence tout en ignorant les tokens distracteurs.
- Résultat : MapFormers (EM et WM) ont atteint une généralisation OOD parfaite, tandis que les bases de référence standards (RoPE, TAPE) ont échoué. Cela démontre la capacité à apprendre des mécanismes de gating dynamiques.
Navigation sur Grille (1D et 2D) :
- Tâche : Prédire les observations dans une séquence d'actions alternées et d'observations aléatoires, nécessitant que le modèle infère la topologie latente et intègre la position par chemin.
- Résultat : MapFormers ont atteint une précision quasi parfaite sur les séquences OOD (longueur et densité variables), tandis que les bases de référence (y compris CoPE et PathAtt) ont échoué à se généraliser.
- Analyse Neuronale : Les modèles ont appris à projeter les tokens d'observation vers une rotation nulle (identité) et les tokens d'action vers des directions de rotation spécifiques, dissociant efficacement le contenu de la structure.
Dyck-2 (Hiérarchies Emboîtées) :
- Tâche : Prédire les continuations valides de séquences de parenthèses, nécessitant le suivi d'une pile.
- Résultat : MapFormers se sont généralisés parfaitement à des séquences plus longues et plus profondes que celles vues lors de l'entraînement en utilisant une seule couche. Les bases de référence nécessitaient plusieurs couches et échouaient toujours sur les données OOD.
- Mécanisme : Les modèles ont intégré la pile directement dans l'encodage de position en utilisant des dimensions orthogonales pour différents types de parenthèses et des directions opposées pour les parenthèses ouvrantes/fermantes.
Mise à l'échelle en Langage Naturel :
- Tâche : Pré-entraînement sur OpenWebText.
- Résultat : Un modèle MapWM à 12 couches a montré des améliorations cohérentes de la perplexité par rapport à une base de référence RoPE ($18,79$ contre $19,14$) et une meilleure extrapolation de longueur. Cependant, sur le benchmark syntaxique BLIMP, MapWM n'a pas montré de gains significatifs par rapport à RoPE, suggérant que l'intégration de chemin commutative seule peut ne pas suffire pour toute la modélisation syntaxique.

Signification et Revendications

L'article revendique que MapFormers fournissent un biais structurel critique permettant une généralisation OOD systématique en capturant des structures latentes via l'intégration de chemin plutôt que de dépendre d'heuristiques.

Robustesse : Les modèles démontrent que dissocier les relations abstraites du contenu permet une généralisation robuste à des longueurs de séquence, des profondeurs et des densités environnementales non vues.
Évolutivité : L'utilisation du calcul parallèle sur des cartes commutatives permet à ces principes de s'étendre à des domaines réels à grande échelle, comme en témoignent les résultats en langage naturel.
Plausibilité Biologique : L'approche comble le fossé entre les cartes cognitives biologiques (qui factorisent le « quoi » du « où ») et l'apprentissage profond moderne, offrant une voie vers des systèmes d'IA capables de raisonner à travers de nouveaux problèmes en comprenant la géométrie sous-jacente de leur environnement.

Les auteurs restent modestes concernant les limites, notant que l'intégration de chemin non commutative n'est pas parallélisable et que la contrainte commutative actuelle peut limiter la modélisation de certaines structures syntaxiques complexes en langage. Ils suggèrent que des travaux futurs pourraient explorer des architectures hybrides ou des extensions non commutatives pour un raisonnement relationnel plus complexe.