💻 computer science

Beyond Transformers: Linear Attention Policy for Open-Vocabulary Object Goal Navigation

Cet article introduit LANav, une politique de navigation qui remplace l'auto-attention standard basée sur les Transformers par un mécanisme d'attention linéaire structuré — spécifiquement amélioré par la Weighted State-Expansion Linear Attention (WSLA) — afin d'atteindre une performance de navigation vers des objets à vocabulaire ouvert, une efficacité computationnelle et un transfert sim-to-real plus robustes par rapport aux bases de référence existantes.

Auteurs originaux : Jiahong Zhang, Yifan Lin, Yandong Zhang, Sijun Shen, Kexin Wang, Yuqi Pan, Hongjuan Pei, Wei Wang, Guoqi Li

Publié 2026-07-22

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiahong Zhang, Yifan Lin, Yandong Zhang, Sijun Shen, Kexin Wang, Yuqi Pan, Hongjuan Pei, Wei Wang, Guoqi Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver un objet spécifique, comme un « grille-pain vintage », dans une maison que vous n'avez jamais vue auparavant. Vous ne pouvez voir que ce qui se trouve directement devant vous à travers une fenêtre étroite, et vous devez vous souvenir d'où vous êtes passé, de ce que vous avez vu et de ce que vous cherchez pour décider de votre prochain mouvement. C'est le quotidien d'un robot naviguant dans le monde, un domaine scientifique appelé IA incarnée (Embodied AI). Pour ce faire, les robots utilisent un « cerveau » (un réseau de politique) qui agit comme une mémoire à court terme, mettant constamment à jour son état interne en fonction des nouvelles images et des nouveaux sons. Pendant longtemps, les scientifiques ont essayé deux méthodes principales pour construire cette mémoire : une qui compresse l'historique en un résumé unique et de plus en plus réduit (comme un vieux carnet de notes), et une autre qui conserve une longue liste de tout ce qui a été vu récemment et relit toute la liste à chaque fois pour trouver des connexions (comme un bibliothécaire super organisé mais lent). La grande question était : quelle méthode aide le mieux un robot à trouver son chemin lorsqu'il cherche un objet qui pourrait avoir un nom bizarre ou se trouver dans une maison totalement nouvelle ?

Ce document présente une nouvelle approche appelée LANav (Navigation basée sur l'Attention Linéaire) et une mise à niveau spéciale appelée WSLA. Les chercheurs ont découvert que la méthode du « super-bibliothécaire » (utilisant des Transformers avec l'auto-attention), qui était considérée comme l'état de l'art, se heurte en réalité à un mur lorsque le robot doit se souvenir d'un long voyage. Étonnamment, faire en sorte que le robot regarde un historique plus long n'a pas aidé le Transformer à s'améliorer ; en fait, cela a parfois empiré les choses. Au lieu de cela, l'équipe a découvert qu'une méthode appelée Attention Linéaire (Linear Attention), qui met à jour sa mémoire comme un flux structuré et régulier plutôt que de relire une liste entière, fonctionne beaucoup mieux. Ils ont pris cette idée et l'ont dopée avec WSLA, qui divise la mémoire en plusieurs « sous-flux » et apprend à accorder du poids à chacun d'eux. Lors des tests, ce nouveau système a trouvé des objets 36,4 % du temps dans une simulation exigeante, battant de loin les meilleurs modèles Transformer par une marge claire. Plus impressionnant encore, ils ont testé le système sur un vrai chien robot dans une vraie pièce, et il a réussi 82 % du temps, prouvant que cette idée de « mémoire en flux » fonctionne non seulement dans les ordinateurs, mais aussi dans le monde réel.

Le Problème : La Crise de Mémoire du Robot

Imaginez que vous marchez dans un labyrinthe géant et inconnu à la recherche d'une « chaise bleue ». Vous ne pouvez voir que quelques pas devant vous. Chaque fois que vous tournez un coin, vous voyez quelque chose de nouveau, mais vous oubliez aussi ce que vous avez vu dix secondes auparavant. Pour trouver la chaise, votre cerveau doit conserver des indices : « Je suis passé devant une porte rouge », « J'ai entendu un ventilateur », « J'ai tourné à gauche deux fois ».

Pendant des années, les chercheurs en robotique ont tenté de résoudre cela avec deux principaux types de mémoire :

Le Compresseur (RNNs) : Ce sont des robots qui écrasent tous leurs souvenirs passés en une petite boule dense. C'est rapide, mais à mesure que le voyage s'allonge, la boule devient si petite et désordonnée que le robot oublie les détails importants.
Le Re-lecteur (Transformers) : Ce sont des robots qui conservent un parchemin parfait et long de tout ce qu'ils ont vu. Chaque fois qu'ils doivent décider où aller ensuite, ils relisent l'intégralité du parchemin du début à la fin pour trouver des connexions. C'est puissant, mais c'est lent et cela devient désordonné si le parchemin devient trop long.

Les chercheurs se sont demandé : « Si nous donnons au robot un parchemin plus long (un historique plus long), sera-t-il meilleur pour trouver les objets ? » Ils ont testé cela avec l'approche du « Re-lecteur » (Transformer) sur une tâche appelée Navigation par Objectif à Vocabulaire Ouvert (Open-Vocabulary Object Goal Navigation). C'est une façon sophistiquée de dire : « Trouve un objet que je te décris, même si j'utilise un nom bizarre que tu n'as jamais entendu, comme "un truc qui tient la soupe" au lieu de "une casserole". »

La Surprise : Plus d'Historique n'a pas Aidé

L'équipe a mené une série d'expériences contrôlées. Ils ont gardé tout le reste identique — les yeux du robot, les cartes, les règles d'entraînement — et n'ont changé que le système de mémoire. Ils s'attendaient à ce que si on donnait au robot Transformer un parchemin plus long à lire, il trouverait les objets plus souvent.

Mais voici le rebondissement : cela n'a pas fonctionné.

Lorsque l'équipe a augmenté la longueur de l'historique que le Transformer pouvait voir, les performances du robot ne se sont pas améliorées. En fait, dans certains cas, elles ont même légèrement diminué. C'était comme si le robot se noyait dans ses propres souvenirs, incapable de déterminer quelles parties du long parchemin étaient réellement importantes. La méthode du « Re-lecteur » semblait avoir atteint un plafond. Il s'avère que, pour un robot errant dans un labyrinthe, relire constamment tout l'historique n'est pas la meilleure façon de mettre à jour son état.

La Solution : La Mémoire en « Flux »

Les chercheurs ont ensuite essayé une approche différente : l'Attention Linéaire. Au lieu de relire tout le parchemin, imaginez un robot qui possède une « mémoire en flux ». À mesure qu'il marche, il met à jour son état interne étape par étape, comme un fleuve qui coule. Il ne regarde pas l'ensemble du fleuve ; il met simplement à jour le niveau de l'eau en fonction de la nouvelle pluie (nouvelle observation) et du débit actuel.

Ils ont construit un système appelé LANav utilisant cette méthode de flux. Les résultats ont été immédiats et impressionnants :

Meilleur que les anciennes méthodes : LANav a battu à la fois les modèles « Compresseurs » (RNN) et « Re-lecteurs » (Transformer).
Plus long est mieux : Contrairement au Transformer, lorsque l'équipe a donné au robot LANav un historique plus long pour apprendre, il est devenu meilleur. Plus l'historique d'entraînement était long, plus le robot devenait intelligent.

L'Amélioration : WSLA (Le Cerveau à Multi-Flux)

Les chercheurs ne se sont pas arrêtés là. Ils ont réalisé que même une mémoire en flux pouvait être améliorée. Ils se sont demandé : « Et si notre robot n'avait pas seulement un flux de mémoire, mais plusieurs, et pouvait apprendre à quel flux prêter attention ? »

Ils ont créé le WSLA (Weighted State-Expansion Linear Attention - Attention Linéaire à Expansion d'État Pondérée).

L'analogie : Imaginez que le cerveau du robot possède quatre « carnets » différents (sous-états) au lieu d'un seul. Un carnet suit les couleurs, un autre les formes, un autre les virages et un autre les sons.
La magie : Un « chef d'orchestre » spécial (pondération apprenable) décide à quel point il faut écouter chaque carnet à un moment donné. Si le robot cherche une « boîte rouge », le chef d'orchestre peut augmenter le volume du carnet des « couleurs » et baisser celui des « sons ».

Ce système WSLA s'est avéré être le champion.

Dans la simulation HM3D-OVON (un immense ensemble de données de maisons 3D réalistes), le robot WSLA a atteint un taux de réussite de 36,4 %.
Le meilleur modèle Transformer n'a obtenu que 30,1 %.
Cela représente une amélioration de 6,3 points de pourcentage, ce qui est énorme dans ce domaine.

Pourquoi cela Importe : Distance et Vie Réelle

Les chercheurs ont également observé comment le robot naviguait. Ils ont découvert que le nouveau système était particulièrement efficace pour les longs trajets.

Trajets courts : Les deux robots s'en sortent bien.
Trajets longs : Le robot Transformer se perd souvent ou abandonne prématurément. Le robot WSLA, quant à lui, garde son calme. Il a réussi à naviguer sur des distances de 15 mètres ou plus avec un taux de réussite de 14,36 %, alors que le Transformer n'a réussi qu'à 6,68 %.

Mais le véritable test a été de le sortir de l'ordinateur pour l'amener dans le monde réel. L'équipe a installé leur système LANav sur un robot chien Unitree Go2 (un vrai robot physique). Ils lui ont demandé de trouver des objets comme une poubelle, une plante ou une chaise dans une vraie pièce.

Ils ont effectué 50 essais.
Le robot a réussi 41 fois.
Cela représente un taux de réussite de 82 % dans le monde réel !

Cela prouve que l'idée de la « mémoire en flux » n'est pas seulement un tour de passe-passe informatique ; elle fonctionne réellement pour des robots se déplaçant dans des espaces réels, gérant le désordre de la vie réelle.

Ce qu'il faut Retenir

L'article suggère que pour les robots tentant de se frayer un chemin dans des environnements complexes et inconnus, l'ancienne méthode de « tout relire » (Transformers) n'est peut-être pas l'outil idéal. Au contraire, une méthode qui met à jour sa mémoire de manière structurée et en flux (Attention Linéaire), surtout lorsqu'elle est enrichie de plusieurs mémoires spécialisées (WSLA), est bien plus efficace. Elle est plus rapide, s'adapte mieux aux longs trajets et, surtout, elle fonctionne réellement lorsqu'on l'installe sur un robot chien dans une vraie pièce. L'avenir de la navigation robotique ne sera peut-être pas de se souvenir de plus d'histoire, mais de s'en souvenir mieux.

Résumé Technique : Au-delà des Transformers : Politique d'Attention Linéaire pour la Navigation par Objectifs de Type Open-Vocabulary

Formulation du Problème

L'article traite de la Navigation par Objectifs de Type Open-Vocabulary (OVON), une tâche où un agent mobile doit explorer un environnement intérieur inconnu pour localiser un objet spécifié par une description textuelle. Contrairement à la navigation en ensemble fermé, la catégorie cible peut être inconnue lors de l'entraînement ou décrite par des noms et des synonymes inédits. La tâche opère sous une observabilité partielle, où l'agent reçoit uniquement des observations RGB égocentrées et un objectif linguistique, sans données explicites de pose ou de mouvement propre.

Le défi central réside dans l'intégration de l'état : la politique doit maintenir un état interne qui résume les observations passées pour prendre des décisions sur de longs horizons. Bien que les approches récentes utilisent des architectures basées sur des Transformers avec une auto-attention sur une fenêtre de contexte pour intégrer l'information temporelle, les expériences contrôlées des auteurs révèlent une limitation critique : la performance ne passe pas à l'échelle avec la longueur du contexte sous les politiques basées sur les Transformers. Cela suggère que l'auto-attention standard peut être inadaptée aux exigences spécifiques d'intégration d'état de la navigation, particulièrement lorsqu'il s'agit de gérer des observations redondantes et des indices pertinents par rapport à l'objectif qui sont par nature épars.

Méthodologie

Les auteurs proposent la Navigation basée sur l'Attention Linéaire (LANav), un cadre qui remplace le mécanisme d'auto-attention des politiques Transformer par l'Attention Linéaire (LA). Au lieu de calculer des interactions par paires sur une fenêtre de contexte fixe (ce qui entraîne une complexité de $O(l^2)$ ), la LA maintient un état interne structuré et récurrent qui est mis à jour de manière incrémentale à mesure que les nouvelles observations arrivent, atteignant une complexité de $O(l)$ .

Composants Architecturaux Clés

Backbone de la Politique (LANav) :
- L'architecture suit la conception DAgRL, séparant l'encodage visuel (SigLIP gelé), l'encodage de l'objectif (SigLIP gelé) et l'encodage de l'action.
- Le backbone temporel traite une séquence d'embeddings par étape.
- Mécanisme d'Attention Linéaire : Chaque tête d'attention maintient une matrice d'état $S_t$ indépendante de la longueur du contexte. À chaque étape, l'état est mis à jour en utilisant la paire clé-valeur actuelle, et la sortie est calculée en lisant à partir de cet état mis à jour.
- L'article évalue plusieurs variantes de LA : Linear Transformer, DeltaNet, et Gated DeltaNet, concluant que des règles de mise à jour d'état plus structurées et régulées produisent de meilleures performances.
Expansion d'État Pondérée par Poids (WSLA - Weighted State-Expansion Linear Attention) :
Pour améliorer davantage l'expressivité de l'état, les auteurs introduisent la WSLA, qui améliore la LA standard grâce à deux mécanismes :
- Expansion d'État : Chaque tête d'attention est étendue en $E$ sous-têtes indépendantes. Les vecteurs requête (query) et clé (key) sont projetés dans ces sous-têtes, tandis que le vecteur valeur (value) est partagé. Chaque sous-tête maintient son propre état récurrent.
- Lecture Pondérée Apprenable (Learnable Weighted Readout) : Un vecteur de logit apprenable $\lambda$ est utilisé pour calculer les poids softmax afin d'agréger les sorties des sous-têtes étendues. Cela permet au modèle de réguler la contribution de différents sous-états en fonction de leur pertinence par rapport à la décision de navigation actuelle.
- La sortie finale est une combinaison pondérée, normalisée par RMS, de ces sorties de sous-têtes.

Contributions Clés

Introduction de LANav : L'article introduit la LA comme un backbone de politique pour l'OVON. À travers des comparaisons contrôlées avec des architectures et des paramètres d'entraînement équivalents, il démontre que les backbones LA surpassent systématiquement les bases RNN (ex: GRU) et Transformer.
Analyse Empirique des Mises à Jour d'État : L'étude révèle trois découvertes clés :
- Les politiques basées sur la LA bénéficient de longueurs de contexte d'entraînement plus importantes, contrairement aux politiques basées sur les Transformers.
- La performance s'améliore à mesure que les mécanismes de mise à jour d'état deviennent plus structurés et régulés (Linear Transformer < DeltaNet < Gated DeltaNet < WSLA).
- La conception du mécanisme de mise à jour de l'état est plus critique que la simple augmentation de la longueur du contexte.
Proposition de la WSLA : Les auteurs proposent la WSLA pour améliorer l'efficacité de la mise à jour de l'état. Elle atteint un taux de succès moyen (SR) de 36,4 % sur le benchmark HM3D-OVON, surpassant le plus fort baseline basé sur Transformer (30,1 %) de 6,3 points de pourcentage tout en maintenant une efficacité de calcul.

Résultats Expérimentaux

L'article évalue les méthodes sur le benchmark HM3D-OVON (Habitat-Matterport3D) et le jeu de données HSSD pour la généralisation.

Performance HM3D-OVON :
- WSLA atteint un SR moyen de 36,4 % et un SR de 39,8 % sur le split "VAL SEEN SYN" (inconnu mais sémantiquement similaire), surpassant significativement les Transformers.
- Mise à l'échelle du Contexte (Context Length Scaling) : Alors que la performance des Transformers se dégrade ou stagne à mesure que la longueur du contexte d'entraînement augmente, les modèles basés sur la LA montrent une amélioration constante avec des contextes d'entraînement plus longs ( $l_{train} = 500$ ).
- Analyse par Stratification de Distance : La WSLA montre des gains plus importants par rapport aux Transformers dans les épisodes de longue distance (15m+), avec une amélioration du SR de +7,68 % contre +6,71 % pour les courtes distances. Cela indique que la WSLA est plus apte à soutenir l'exploration sur des horizons étendus.
Généralisation (HSSD) :
- En transfert zero-shot vers HSSD, la WSLA améliore le SR de 9,62 % par rapport au baseline Transformer.
- Après un fine-tuning sur HSSD, l'écart s'élargit, la WSLA atteignant un SR de 64,50 % contre 56,17 % pour le Transformer, démontant une robustesse aux changements de jeux de données.
Efficacité :
- Coût de Calcul : Les FLOPs par action des Transformers augmentent de manière quadratique avec la longueur du contexte (passant de 3,52G à $l=100$ à 42,53G à $l=1000$ ). En revanche, la WSLA maintient un coût presque constant de ~0,048G FLOPs/action, quel que soit la longueur du contexte.
- Nombre de Paramètres : La WSLA n'entraîne qu'une augmentation modérée des paramètres par rapport aux autres variantes de LA en raison de l'expansion d'état.
Déploiement en Monde Réel :
- LANav avec WSLA a été déployé sur un robot Unitree Go2. Sur 50 essais impliquant 5 catégories d'objets, le système a atteint un taux de succès de 82 %, validant la capacité de transfert sim-to-real.

Signification et Revendications

L'article affirme que le goulot d'étranglement principal des politiques OVON actuelles n'est pas le manque de contexte, mais l'inefficacité du mécanisme de mise à jour d'état utilisé pour intégrer ce contexte.

Au-delà de l'Auto-Attention : Ce travail remet en question l'hypothèse prédominante selon laquelle l'auto-attention est le mécanisme optimal pour l'intégration temporelle dans la navigation incarnée. Il postule que la complexité quadratique et l'absence de mises à jour d'état structurées des Transformers entravent les performances sur les tâches à long horizon.
Mises à Jour d'État Structurées : Les auteurs soutiennent que le succès de la LA, et plus précisément de la WSLA, provient de sa capacité à effectuer des mises à jour d'état structurées et régulées. L'introduction de sous-états et d'une lecture pondérée permet à la politique de mieux gérer le compromis entre la rétention d'indices historiques utiles et le filtrage des observations non pertinentes ou redondantes.
Évolutivité et Efficacité : En découplant le coût de calcul de la longueur du contexte, LANav offre une solution scalable pour la navigation à long horizon qui est à la fois plus efficace et moins coûteuse en termes de calcul que les approches basées sur les Transformers.

L'article conclut que bien que les implémentations actuelles utilisent des backbones peu profonds et des fenêtres bornées, la direction proposée consistant à utiliser l'attention linéaire avec des mises à jour d'état structurées représente un paradigme de conception prometteur pour les futures politiques d'intelligence incarnée.