Latent World Models with Monotone Planning Costs for Image-Goal Navigation

Imaginez que vous enseigniez à un robot comment trouver son chemin dans un labyrinthe, mais que vous ne puissiez pas lui donner de carte, de GPS, ni même de boussole. Le seul indice dont vous disposez est une simple photographie de la destination. C'est le défi de la navigation par image de but (image-goal navigation). Pour résoudre ce problème, un robot ne peut pas se contenter de regarder la photo et de deviner ; il doit être un peu un rêveur. Il lui faut un « modèle de monde » — un simulateur mental qui lui permette de se demander : « Si je fais un pas à gauche, à quoi le monde ressemblera-t-il ? Si je tourne à droite, où vais-je arriver ? » En exécutant des milliers de ces simulations mentales, le robot peut choisir le meilleur chemin avant même de faire tourner ses roues. Cependant, il y a un piège : si le simulateur mental du robot est mauvais pour prédire l'avenir, ou s'il est incapable de distinguer un « bon » chemin d'un « mauvais », il se perdra. Le robot a besoin d'un moyen de classer ses rêveries, en s'assurant que le chemin qui mène réellement à la photo reçoive le score le plus élevé.

Ce document traite précisément de ce problème : comment construire le simulateur mental d'un robot pour qu'il ne se contente pas de prédire l'avenir avec précision, mais qu'il sache aussi « noter » ses propres prédictions. Les chercheurs ont découvert que le simple fait d'entraîner un robot à prédire l'étape suivante ne suffit pas. Si le robot est entraîné à prédire l'avenir en se basant sur des données réelles parfaites (une méthode appelée « teacher forcing »), il dépend d'une vérité de terrain externe et échoue lorsqu'il doit deviner l'avenir en se basant sur ses propres prédictions imparfaites. De plus, ils ont découvert que tenter de rendre les prédictions du robot plus « discriminantes » à l'aide d'un type spécifique d'apprentissage contrastif déformait la géométrie de sa carte mentale, rendant la planification plus difficile. Au lieu de cela, ils ont proposé une nouvelle méthode d'entraînement qui force le robot à pratiquer la prédiction du futur en utilisant ses propres prédictions précédentes (déroulement autoregressif) et ajoute une règle spéciale : plus un chemin s'éloigne du but, plus la « pénalité » ou le coût qu'il reçoit doit être élevé. Cela crée un paysage lisse et monotone où le robot peut facilement glisser vers le meilleur chemin.

Le problème de la rêverie du robot

Imaginez un robot essayant de naviguer vers une image cible comme un randonneur essayant d'atteindre un sommet de montagne spécifique en utilisant uniquement une photo de la vue depuis le sommet. Le randonneur n'a pas de carte, pas de boussole et ne sait pas où il se trouve actuellement. Il n'a que ses yeux et une image mentale de la destination. Pour y arriver, le randonneur doit imaginer : « Si je marche vers le nord, est-ce que les arbres ressembleront à la photo ? Si je marche vers le sud, verrai-je une falaise ? »

Dans le monde de la robotique, cette simulation mentale est appelée un Modèle de Monde (World Model). C'est un réseau de neurones qui agit comme une boule de cristal. Vous lui dites : « Voici ce que je vois maintenant, et voici l'action que j'envisage de prendre », et il répond : « Voici ce que tu verras ensuite ». En enchaînant ces prédictions, le robot peut simuler tout un voyage dans sa tête.

Mais voici la partie délicate : la Planification. Posséder une boule de cristal ne suffit pas ; il faut savoir quel chemin est le meilleur. Le robot teste des centaines de chemins imaginaires différents. Il lui faut un moyen de les noter. Dans ce document, le score est basé sur la distance cosinus, une façon sophistiquée de mesurer la similitude entre deux images (ou leurs « empreintes numériques »). Si la simulation mentale du robot à la fin du chemin ressemble beaucoup à la photo de l'objectif, le score est bon. Si elle ne ressemble en rien à l'objectif, le score est mauvais.

Le problème que les auteurs ont identifié est que de nombreux robots existants sont très mauvais dans ce jeu de notation. Ils peuvent prédire l'avenir avec précision pour une étape, mais lorsqu'ils essaient de prédire dix étapes à l'avance, leurs prédictions partent en vrille. Pire encore, même s'ils prédisent l'avenir de manière acceptable, le « coût » qu'ils attribuent aux différents chemins peut être chaotique. Imaginez un randonneur pour lequel le chemin menant à une falaise reçoit un « excellent » score, et le chemin menant au sommet de la montagne reçoit un « terrible » score. Le randonneur marcherait droit dans le vide ! Cela arrive lorsque la relation entre « la distance par rapport à l'objectif » et « votre score » n'est pas lisse ou monotone.

La solution : Un meilleur rêveur

Les auteurs, Amirhosein Chahe, Siwei Cai et Lifeng Zhou de l'Université Drexel, ont construit un nouveau genre de cerveau de robot pour corriger cela. Ils l'appellent un Modèle de Monde Latent avec Coûts de Planification Monotones. Décomposons ce qu'ils ont fait, en utilisant des analogies ludiques.

1. La lentille gelée et le cerveau entraînable

D'abord, ils ont utilisé un « œil » pré-entraîné (un encodeur de la famille DINO) qui est très performant pour transformer des images en empreintes numériques. Cet œil ne change pas ; il voit simplement le monde clairement. Ensuite, ils ont construit un « cerveau » (un prédicteur entraînable) qui prend ces empreintes et tente de deviner à quoi elles ressembleront après que le robot aura bougé.

2. L'entraînement « La pratique rend parfait » (Déroulement autoregressif)

La plupart des robots sont entraînés comme des étudiants dans une salle de classe où l'enseignant leur donne le corrigé après chaque question. C'est ce qu'on appelle le teacher forcing. Le robot voit l'image actuelle, l'enseignant dit « Tu as bougé à gauche », et le robot prédit l'image suivante. L'enseignant le corrige immédiatement.

Le problème est que, lorsque le robot est dans le monde réel, il n'y a pas d'enseignant. Il doit deviner l'image suivante en se basant sur sa propre prédiction précédente. S'il commet une petite erreur à l'étape un, cette erreur s'accentue à l'étape deux, et à l'étape dix, le robot est en train de rêver d'un monde complètement différent. C'est ce qu'on appelle le décalage entraînement-test (train-test mismatch).

Les auteurs ont résolu cela en entraînant le robot à pratiquer la rêverie par lui-même. Ils ont fait en sorte que le robot prédise l'étape 2 en se basant sur sa propre prédiction de l'étape 1, puis l'étape 3 en se basant sur l'étape 2, et ainsi de suite. Ils appellent cela le déroulement autoregressif (autoregressive rollout). C'est comme un étudiant qui doit passer un examen sans le corrigé, le forçant à apprendre comment gérer ses propres erreurs. Ils ont également utilisé un « contre-curriculum », commençant par des rêveries courtes (2 étapes) et les prolongeant progressivement (jusqu'à 8 étapes) à mesure que le robot s'améliore, afin qu'il ne soit pas submergé.

3. La règle du « Coût Monotone »

Même avec de meilleures rêveries, le robot avait toujours besoin d'un meilleur moyen de classer ses chemins. Les auteurs ont introduit une règle appelée Classement de Coût Monotone (Monotone Cost Ranking - MCR).

Imaginez une colline dont le bas est l'objectif. Plus vous êtes loin du bas, plus vous êtes haut sur la colline. C'est un paysage monotone : si vous vous éloignez de l'objectif, votre « coût » (hauteur) augmente toujours. Il ne redescend jamais pour remonter ensuite.

Dans de nombreux modèles précédents, la « colline » était accidentée. Un chemin légèrement dévié pouvait accidentellement ressembler à une « vallée » (un coût faible), trompant le robot en lui faisant croire qu'il était sur la bonne voie. Les auteurs ont ajouté une fonction de perte d'entraînement spéciale qui force le robot à apprendre : « Si tu dévies du bon chemin, ton coût doit augmenter. » Ils ont fait cela en générant de nombreux chemins légèrement erronés et en disant au robot : « Plus tu dévies, plus ta pénalité doit être élevée. » Cela lisse la carte mentale, permettant au robot de trouver facilement le point le plus bas (l'objectif) en utilisant une méthode appelée Méthode de l'Estimation de l'Entropie Croissante (Cross-Entropy Method - CEM), qui consiste essentiellement à échantillonner de nombreux chemins et à choisir les meilleurs.

4. La zone « No-Go » surprenante

Les chercheurs ont également testé une idée qui semblait bonne en apparence : l'Apprentissage Contrastif d'Action (Action-Contrastive Learning). C'est une technique où l'on tente d'apprendre au robot à distinguer les « bonnes » actions des « mauges » en lui montrant des paires de celles-ci. Ils pensaient que cela rendrait la carte mentale du robot plus nette.

Cependant, ils ont constaté l'inverse. Lorsqu'ils ont utilisé un type spécifique d'apprentissage contrastif qui mélange l'ordre des actions (négatifs de permutation temporelle), cela a en réalité ruiné la capacité de planification du robot. C'était comme essayer d'aiguiser un couteau en le frappant avec un marteau ; la carte a été déformée et le robot ne pouvait plus trouver l'objectif. Le document écarte explicitement cette méthode pour cette tâche spécifique, montant que rendre une représentation « discriminante » (bonne pour distinguer les choses) peut briser la « géométrie » (la forme de la carte) nécessaire à la planification.

Les résultats : Un robot qui trouve réellement son chemin

L'équipe a testé son nouveau cerveau de robot sur un ensemble de données appelé GNM, qui contient des heures de séquences de six types de robots naviguant dans des environnements réels. Ils ont comparé leur modèle à plusieurs concurrents de haut niveau, notamment NWM (qui prédit des images vidéo complètes), DINO-WM (un ancien modèle latent) et OmniVLA (une politique réactive massive).

Les résultats sont impressionnants. Leur modèle, utilisant l'encodeur DINOv2, a réduit l'erreur d'orientation (la façon dont le robot fait face à la mauvaise direction) de 2,7 fois par rapport au précédent meilleur modèle latent (DINO-WM). En langage clair, le robot était bien meilleur pour faire face à la bonne direction lorsqu'il arrivait.

• Erreur d'Orientation (AOE) : Leur meilleur modèle a obtenu 7,63°, tandis que le précédent meilleur modèle latent (DINO-WM avec DINOv2) obtenait 20,27°.
• Erreur de Déplacement (ADE) : Ils ont également réduit la distance finale du robot par rapport à l'objectif.

Plus important encore, ils ont testé le robot sur un vrai robot physique (un Clearpath Husky) dans le monde réel, sans lui montrer de données d'entraînement pour cet emplacement spécifique. C'est ce qu'on appelle un déploiement zero-shot. Le robot a navigué avec succès à travers des environnements intérieurs et extérieurs inconnus, suivant des chemins bien plus logiques et orientés vers le but que ses concurrents. Alors que d'autres modèles heurtaient parfois des murs ou s'arrêtaient prématurément, ce modèle continuait de se diriger vers l'image cible.

Pourquoi cela importe

Ce document suggère que pour qu'un robot puisse naviguer efficacement en utilisant uniquement une image de but, il a besoin de plus qu'un simple bon prédicteur ; il a besoin d'un prédicteur capable de gérer ses propres erreurs et d'un système de notation fluide et fiable. En corrigeant la méthode d'entraînement (déroulement autoregressif) et en façonnant le paysage de coût (classement monotone), les auteurs ont créé un système qui surpasse à la fois les politiques réactives (qui ne font que deviner le mouvement suivant) et les modèles de monde précédents.

Cependant, les auteurs précisent avec prudence que ce n'est pas un remède miracle pour toutes les situations. Leur modèle fonctionne mieux dans des environnements statiques ou à faible trafic. Il n'a pas été testé dans des scènes chaotiques avec des piétons ou des voitures en mouvement. De plus, comme le robot s'appuie sur ses propres prédictions pour planifier, les très longs trajets (horizons très longs) restent difficiles, car les petites erreurs peuvent finir par s'accumuler. Mais pour l'instant, cette approche représente une avancée significative dans l'apprentissage des robots pour rêver leur chemin vers une destination.