🤖 AI

CoFL-S: Spatially Queryable Sector Flow Fields for Local Language-Conditioned Navigation

Le papier propose CoFL-S, un cadre de vision-langage-action de bas niveau qui prédit des champs de flux conditionnés par le langage pour la génération de trajectoires continues, démontrant une performance supérieure par rapport aux bases de référence existantes à la fois dans un nouveau benchmark Habitat en temps continu et lors d'un déploiement en conditions réelles en zéro-shot.

Auteurs originaux : Haokun Liu, Zhaoqi Ma, Yicheng Chen, Wentao Zhang, Masaki Kitagawa, Zicen Xiong, Jinjie Li, Moju Zhao

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haokun Liu, Zhaoqi Ma, Yicheng Chen, Wentao Zhang, Masaki Kitagawa, Zicen Xiong, Jinjie Li, Moju Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment naviguer dans une maison en utilisant uniquement des instructions vocales comme : « Passe par la première porte sur la droite. » La plupart des robots actuels sont comme des étudiants qui mémorisent une liste stricte d'étapes : « Avance, tourne à gauche, arrête-toi. » Si le sol est légèrement différent ou si le robot est un tout petit peu en retard pour tourner, il est confus et s'encastre.

Ce document présente CoFL-S, une nouvelle façon d'apprendre aux robots comment se déplacer. Au lieu de leur donner une liste d'étapes, CoFL-S leur donne une carte vivante et respirante de « poussées » et de « tractions » basée sur ce qu'ils voient et entendent.

Voici une décomposition simple de son fonctionnement, en utilisant des analogies de la vie quotidienne :

1. L'ancienne méthode vs La nouvelle méthode

L'ancienne méthode (Tokens d'action/Blocs) : Imaginez un robot qui sait seulement dire : « Je vais tourner à gauche maintenant », ou « Je vais avancer pendant 3 secondes. » C'est comme un conducteur qui ne sait que presser l'accélérateur ou le frein à des moments précis. Si la route courbe de manière inattendue, le conducteur est bloqué car il n'a planifié que pour la seconde suivante.
La nouvelle méthode (CoFL-S) : Imaginez que le robot ne se contente pas de planifier une seule étape ; il crée une carte de vent sur le sol devant lui.
- Si l'instruction est « Va vers la chaise », la carte présente un vent léger soufflant vers la chaise.
- S'il y a un mur, la carte présente un vent fort poussant le robot loin du mur.
- Le robot ne choisit pas seulement une direction ; il ressent le vent partout autour de lui. S'il dévie légèrement de sa trajectoire, le « vent » le repousse naturellement sur la bonne voie sans avoir besoin d'une nouvelle commande.

2. Comment il voit le monde

Le robot utilise une caméra (RGB) et un capteur de profondeur (comme un œil 3D) pour voir la pièce. Il écoute également une instruction courte et locale (par exemple, « Passe devant le canapé »).

Le « Champ de flux sectoriel » (Sector Flow Field) : Considérez la vue du robot comme une part de tarte (un secteur). CoFL-S peint un champ de flux coloré sur cette part.
- Des flèches bleues pourraient pointer vers l'objectif.
- Des flèches rouges pourraient pointer à l'opposé des obstacles.
- Le robot interroge cette carte : « Si je me tiens ici, dans quelle direction souffle le vent ? » Il se déplace ensuite dans cette direction.

3. Entraîner le robot

Pour enseigner à ce robot, les chercheurs n'ont pas simplement montré une vidéo terminée d'une personne marchant. Ils ont décomposé la vidéo image par image.

L'analogie : Imaginez regarder un film de quelqu'un marchant vers une porte. Au lieu de simplement dire « Il a marché vers la porte », les chercheurs ont mis la vidéo en pause à chaque seconde. Ils ont demandé : « À cet instant précis, si la personne voulait aller vers la porte, dans quelle direction devrait-elle être poussée ? »
Ils ont créé des millions de ces « micro-moments », associant la vue du robot à une instruction minuscule et la carte de vent correcte pour cet instant précis. Cela a appris au robot non seulement où aller, mais aussi comment se déplacer avec fluidité autour des meubles.

4. Les résultats : Simulation et Vie réelle

Les chercheurs ont testé cela de deux manières :

Dans l'ordinateur (Habitat) : Ils ont placé le robot dans un monde virtuel. Ils ont comparé CoFL-S à des robots utilisant l'ancienne méthode « étape par étape ». CoFL-S a gagné de manière constante. Il était meilleur pour atteindre l'objectif, plus fluide dans ses mouvements et se perdait moins souvent. Cela fonctionnait bien, que le robot vérifie sa carte 2 fois par seconde ou 10 fois par seconde.
Dans le monde réel : Ils ont pris le robot entraîné dans l'ordinateur et l'ont placé dans un vrai bâtiment (bureaux et extérieur) sans rien lui apprendre de nouveau.
- Le résultat : Le robot a réussi à naviguer dans de vrais couloirs, a évité de vraies chaises et a suivi des instructions humaines.
- Pourquoi cela a fonctionné : L'approche de la « carte de vent » était robuste. Même si le robot avait un léger retard dans le traitement de l'image (un problème courant avec les ordinateurs réels), la carte fournissait toujours un chemin sûr. Les anciens robots « étape par étape » avaient tendance à osciller (gigoter d'avant en arrière) ou à percuter les murs parce qu'ils ne pouvaient pas s'adapter assez rapidement.

L'essentiel

CoFL-S transforme le cerveau du robot, passant d'un compteur d'étapes à un ressenti. Au lieu de mémoriser une séquence rigide de mouvements, il apprend à ressentir le « flux » de l'environnement. Cela lui permet de naviguer de manière fluide et sûre, même quand les choses ne sont pas exactement comme prévu, ce qui le rend bien meilleur pour suivre des instructions linguistiques dans le monde réel.

Résumé Technique : CoFL-S

Énoncé du Problème

La navigation visuelle-linguistique (VLN) a réalisé des progrès significatifs dans le raisonnement sémantique de haut niveau, la construction de mémoire et la décomposition d'instructions. Cependant, la représentation de l'action de bas niveau — le mécanisme qui traduit l'intention sémantique locale en un mouvement robotique exécutable — reste sous-explorée. Les évaluations standards de la VLN emmêlent souvent le raisonnement de haut niveau avec l'exécution de bas niveau, ce qui rend difficile l'isolement de l'efficacité de différentes interfaces d'action. Les interfaces existantes, telles que les jetons d'action discrets (ex: « tourner à gauche ») ou les blocs d'actions à horizon fini, spécifient des actions pour l'état actuel ou une séquence future courte, mais ne parviennent pas à modéliser explicitement comment le mouvement souhaité doit varier selon les localisations proches dans l'espace de travail, les configurations d'obstacles ou les fréquences de replanification. L'article pose comme postulat qu'une interface de bas niveau capable de représenter un guidage indexé spatialement, similaire aux champs de potentiels classiques, est nécessaire pour un contrôle continu robuste dans des environnements partiellement observables.

Méthodologie : Cadre CoFL-S

Les auteurs proposent CoFL-S (CoFL-Spatially Queryable Sector Flow Fields), un cadre qui prédit un champ de flux conditionné par le langage sur le secteur local visible du robot afin de générer des trajectoires continues.

1. Représentation du Champ de Flux de Secteur

Au lieu de régresser une trajectoire unique ou une action discrète, CoFL-S prédit un champ de vitesse 2D $v_\phi$ sur le secteur du plan au sol local du robot.

Entrée : Une observation RGB-D égocentrée $(I, D)$ et une sous-instruction locale de bas niveau $\ell$ .
Sortie : Un champ de vitesse interrogeable spatialement. Le champ est interrogé dans des coordonnées polaires de secteur normalisées $q = (\tilde{\theta}, \tilde{r})$ alignées avec le champ de vision de la caméra, mais produit des vitesses cartésiennes $(v_{fwd}, v_{lft})$ dans le référentiel du sol centré sur le robot.
Génération : La trajectoire $\tau(t)$ est générée en déroulant le champ prédit à l'aide d'un modèle de mouvement de premier ordre : $\dot{\tau}(t) = v_\phi(\Pi_{polar}(\tau(t)) | I, D, \ell)$ .

2. Architecture

Le modèle se compose de trois composants principaux (Fig. 2) :

Encodeur Vision-Langage : Utilise un encodeur SigLIP2 gelé pour mapper l'image RGB et le texte vers des plongements partagés. L'information de profondeur est injectée dans les jetons visuels via un patchificateur convolutionnel et une voie FiLM (Feature-wise Linear Modulation) pour fournir une conscience géométrique.
Décodeur de Secteur : Un décodeur Transformer basé sur des requêtes qui prend des requêtes de coordonnées (encodées via des caractéristiques de Fourier gaussiennes) et le contexte fusionné pour prédire des vecteurs de vitesse pour chaque emplacement de secteur.
Module d'Action : Une branche auxiliaire légère utilisant des requêtes d'action apprenables pour prédire une probabilité de terminaison discrète (STOP), complétant le déroulement du champ continu.

3. Supervision du Contrôle Continu

Pour entraîner cette représentation, les auteurs convertissent les épisodes VLN-CE standards (R2R et RxR) en une supervision locale par image :

Alignement Fin : Chaque image RGB-D est appariée à une sous-instruction locale dérivée d'annotations fines (Fine-Grained R2R, Landmark RxR).
Expansion d'Instruction : Pour augmenter la diversité, chaque image est étendue en $K$ emplacements d'instructions, incluant l'ancre humaine, les commandes ancrées sur des objets, les commandes ancrées sur des régions et les commandes terminales.
Génération de Cible : Pour chaque emplacement d'instruction, un champ de flux de secteur dense est généré en combinant une attraction géodésique vers un but ancré avec une répulsion par les obstacles/zones invisibles. Cela crée un champ de potentiel dont le gradient négatif sert de champ de vitesse cible.
Fonction de Perte : Le modèle est entraîé avec une combinaison de perte de direction (similitude cosinus), de perte de magnitude (mise à l'échelle de la distance restante) et de perte de terminaison d'action.

4. Banc d'Essai d'Évaluation

Les auteurs introduisent un benchmark de temps continu Habitat pour isoler les interfaces d'action de bas niveau :

Protocole : Toutes les méthodes (CoFL-S, Action Token, Action Chunk) sont évaluées sous la même simulation de temps continu où l'état de l'agent est mis à jour à 60 Hz et les observations à 30 Hz.
Contrôleur : Un contrôleur de vitesse de bas niveau partagé exécute les sorties de toutes les méthodes, garantissant que les différences de performance proviennent de la représentation de l'action plutôt que du contrôleur.
Indépendance de Décomposition : À chaque étape, la position de l'agent est projetée sur le chemin de référence pour récupérer la sous-instruction locale correspondante, éliminant la variable de la décomposition de l'instruction de haut niveau.

Principales Contributions

Cadre CoFL-S : Une nouvelle représentation de champ de flux de secteur pour la navigation locale à la première personne, conditionnée par le langage, qui mappe les observations et les instructions vers un champ de contrôle interrogeable spatialement.
Conversion de Supervision : Une méthode pour convertir les traces VLN-CE d'épisodes complets en une supervision locale par image, appariant les observations avec des sous-instructions alignées et des cibles de champ de flux denses.
Benchmark de Temps Continu : Un nouveau protocole d'évaluation qui compare les interfaces de jeton d'action, de bloc d'action et de champ de flux sous des encodeurs, des instructions et des contrôleurs identiques, permettant une comparaison indépendante de la décomposition à travers les fréquences de planification.

Résultats Expérimentaux

L'article évalue CoFL-S par rapport aux bases de comparaison Action Token et Action Chunk, tant en simulation qu'en environnement réel zero-shot.

Simulation (R2R-CE et RxR-CE) : CoFL-S surpasse systématiquement les deux bases de comparaison sur toutes les fréquences de planification testées (2 Hz, 5 Hz, 10 Hz) en termes d'erreur de navigation (NE), de succès oracle (OS), de taux de succès (SR) et de succès pondéré par la longueur du chemin (SPL). Notamment, il atteint des taux d'achèvement de tâche plus élevés que l'Action Chunk malgré le fait que ce dernier possède une tête de prédiction plus large, et maintient des métriques compétitives de taux d'étape bloquée (BSR) et de lissage de cap (HS).
Zero-Shot Réel : Déployé sur un robot mobile physique sans ajustement fin, CoFL-S a atteint un taux de succès de 0,75 contre 0,46 pour Action Token et 0,33 pour Action Chunk. Il a démontré moins de collisions, des temps d'achèvement plus courts et une navigation plus stable, particulièrement dans les passages étroits où les bases discrètes avaient tendance à osciller ou à rester bloquées.

Signification et Revendications

L'article affirme que la représentation de l'action de bas niveau est un composant critique, souvent négligé, de la VLN. En passant de la prédiction d'actions discrètes ou à horizon fini à un champ de flux interrogeable spatialement, CoFL-S fournit une « famille de cibles de mouvement correctives » plutôt qu'une décision unique basée sur l'état actuel. Cette supervision dense au niveau de l'espace de travail permet à la politique de mieux coupler la sémantique de l'instruction locale avec les contraintes géométriques, ce qui se traduit par un contrôle continu plus robuste.

Les auteurs soulignent que bien que CoFL-S suppose la disponibilité d'une sous-instruction locale (s'appuyant sur un planificateur de haut niveau pour la décomposition), il résout efficacement le problème de la couche d'exécution. Les résultats suggèrent que les politiques de champ de flux avec une supervision dense offrent une conscience géométrique et une stabilité supérieures par rapport aux interfaces d'action traditionnelles, particulièrement lors des déploiements réels zero-shot où la latence et la variabilité environnementale sont des facteurs importants.