Hydra: A Navigation World Action Model with Discrete Latent Planning and Continuous Flow-Matching Execution

Les robots luttent depuis longtemps pour se déplacer dans le monde avec la prévoyance d'une créature vivante. Si les machines modernes peuvent réagir instantanément à ce qu'elles voient, elles manquent souvent de la capacité d'imaginer ce qui va se passer ensuite. Les systèmes de navigation traditionnels fonctionnent comme un conducteur qui ne regarde que la route directement devant la voiture, réagissant aux obstacles au fur et à mesure qu'ils apparaissent, mais incapable de planifier un itinéraire pour contourner une impasse avant qu'il ne soit trop tard. Pour donner aux robots ce genre de prévoyance, les scientifiques ont développé des « modèles de monde », qui sont essentiellement des simulateurs internes permettant à une machine d'imaginer différents futurs avant de se déplacer. Cependant, un obstacle majeur a empêché ces simulateurs d'être utilisés en temps réel sur des robots physiques : le processus de vérification de ces futurs imaginés est trop lent. Les méthodes actuelles exigent que le robot génère des milliers de trajectoires potentielles, convertisse chacune d'elles en une image détaillée pour vérifier la sécurité, puis élimine les mauvaises. Ce cycle de création et de vérification d'images est si lourd en termes de calcul que le robot se fige, rendant la navigation en temps réel impossible.

Une nouvelle approche appelée Hydra, développée par des chercheurs de plusieurs universités, résout ce problème en changeant la façon dont le robot pense le mouvement. Au lieu d'essayer d'imaginer chaque futur possible avec un détail en haute définition, Hydra apprend à penser en concepts de mouvement larges et discrets, de la même manière qu'un humain pourrait penser à un « virage à gauche » ou à un « chemin rectiligne » plutôt que de calculer l'angle exact de chaque rotation de roue. Les chercheurs ont construit un système où le planificateur du robot vit à l'intérieur même du simulateur, cherchant le meilleur chemin au sein d'une carte de possibilités compressée et abstraite, plutôt que dans un vaste espace de pixels. Cela permet au robot d'évaluer des milliers de futurs potentiels en une fraction de seconde, éliminant les trajectoires dangereuses avant même qu'elles ne soient pleinement dessinées. Une fois qu'un chemin sûr est choisi, le système traduit ce concept abstrait en mouvements fluides et continus que les moteurs du robot peuvent exécuter.

L'innovation centrale réside dans une technique que les auteurs appellent la planification latente discrète. Dans les systèmes précédents, un robot tentant de naviguer dans un couloir pouvait générer un flux continu de trajectoires possibles, dont beaucoup le mèneraient directement contre un mur. Le système devait alors rendre chacune de ces trajectoires sous forme d'image visuelle pour voir si une collision se produisait, un processus qui prend trop de temps pour un robot en mouvement. Hydra évite ce goulot d'étranglement en forçant ses prédictions à travers un filtre spécialisé qui regroupe les mouvements similaires en un petit vocabulaire fixe d'intentions. Lorsque le robot envisage un futur, il ne génère pas une image floue d'un accident ; il sélectionne un jeton (token) de son vocabulaire appris qui représente un « virage sûr » ou une « collision ». Parce que ces jetons sont tirés d'une liste finie d'actions physiquement possibles, le robot peut instantanément reconnaître qu'un chemin menant vers un mur est invalide sans jamais avoir besoin de visualiser l'accident. Ce passage de l'estimation continue à la sélection discrète permet au système d'élaguer les options dangereuses presque immédiatement, concentrant sa puissance de calcul uniquement sur les chemins qui sont déjà connus pour être plausibles.

Pour garantir que ces choix abstraits se traduisent par un mouvement physique fluide, Hydra associe cette planification discrète à une méthode d'exécution continue. Une fois que le robot a sélectionné le meilleur chemin abstrait, un système secondaire convertit ce choix en commandes précises et fluides nécessaires pour faire tourner les roues. Ce processus en deux étapes — planifier dans un espace simplifié et abstrait, puis exécuter dans le monde réel — permet au robot de conserver la sécurité d'un simulateur avec la vitesse d'un conducteur réactif. Les chercheurs ont testé ce système sur deux robots physiques différents, un véhicule à roues et un robot quadrupède semblable à un chien, dans divers environnements incluant des couloirs étroits et des zones avec des obstacles cachés. Lors de ces essais, le système a réussi à planifier des chemins sans collision vers des objectifs situés à environ huit mètres en moins d'une seconde, une vitesse qui est environ cinq cents fois plus rapide que les méthodes précédentes qui reposaient sur la génération et la vérification d'images complètes.

Les résultats de ces tests physiques soulignent un écart significatif entre l'ancienne façon de penser et la nouvelle. Lorsque les chercheurs ont comparé Hydra aux systèmes existants utilisant l'échantillonnage continu, les anciennes méthodes échouaient à naviguer autour des obstacles, percutant souvent car elles passaient trop de temps à calculer des trajectoires impossibles. Hydra, en revanche, a obtenu un taux de réussite parfait dans les environnements sans obstruction et a réussi à naviguer autour de coins cachés et d'obstacles dans la grande majorité des essais. Le système a également été capable de détecter les collisions imminentes en remarquant lorsqu'un chemin proposé ne correspondait pas à son vocabulaire appris de mouvements sûrs, un signal qui apparaissait bien avant que le robot ne frappe physiquement quoi que ce soit. Cette capacité à rejeter les trajectoires dangereuses sur la base de leur structure abstraite, plutôt que sur leur apparence visuelle, s'est avérée être un moyen robuste d'assurer la sécurité sans ralentir le processus de décision.

Malgré ces succès, les chercheurs reconnaissent que le système n'est pas exempt de limites. La méthode consistant à regrouper les mouvements en un vocabulaire fixe signifie que le robot a parfois du mal à distinguer un véritable obstacle d'une zone visuellement complexe mais sûre, telle qu'un buisson de feuillage dense. Parce que le système repose sur la difficulté de reconstruire une scène à partir de ses codes abstraits, les environnements hautement texturés peuvent parfois déclencher de fausses alarmes, provoquant l'hésitation du robot là où il pourrait passer en toute sécurité. De plus, le système actuel éprouve des difficultés à représenter des objets dynamiques comme les humains, les lissant souvent dans l'arrière-plan plutôt que de les traiter comme des entités distinctes à éviter. Ces défis suggèrent que, bien que l'approche discrète soit une étape puissante, les versions futures devront affiner la manière dont elles représentent le monde pour gérer la pleine complexité des environnements humains.

En fin de compte, ce travail démontre que les robots peuvent atteindre une planification en temps réel et orientée vers un but en pensant en concepts plutôt qu'en pixels. En déplaçant le processus de planification à l'intérieur du simulateur et en restreignant la recherche à un ensemble appris de mouvements valides, les chercheurs ont créé un système qui est à la fois rapide et sûr. Les conclusions suggèrent que la clé pour faire évoler les modèles de monde pour les robots physiques n'est pas de les rendre plus détaillés, mais de les rendre plus structurés, permettant d'imaginer le futur d'une manière qui soit informatiquement efficace et physiquement ancrée. Cette approche offre une voie prometteuse vers des robots capables de naviguer dans le monde réel avec le même genre de prévoyance intuitive que les humains utilisent chaque jour.