Advancing DialNav through Automatic Embodied Dialog Augmentation

Pour surmonter la rareté des données qui limite le cadre de travail DialNav, cet article introduit le jeu de données RAINbow — une collection à grande échelle de 238K épisodes de dialogue générés automatiquement — ainsi qu'un entraînement à double stratégie et un modèle de localisation, atteignant collectivement une nouvelle performance de l'état de l'art avec des améliorations significatives du taux de réussite sur les divisions de navigation vues et non vues.

L'essentiel

Imaginez que vous essayez de trouver une pièce spécifique dans un manoir géant et déroutant, mais que vous ne pouvez pas voir l'ensemble de la carte. Vous avez un ami (le Guide) qui se tient sur un balcon surplombant toute la maison, mais il ne peut pas vous voir. Vous (le Navigateur) êtes en bas dans les couloirs, tenant un indice vague comme : « Trouvez la pièce avec la plante. »

C'est le monde de DialNav, une tâche où un robot agent doit naviguer dans une maison photoréaliste en discutant avec un ami à distance pour obtenir de l'aide. Le problème est d'enseigner à un robot comment avoir ces conversations utiles, car cela nécessite une quantité massive de « sessions d'entraînement » (données). Les chercheurs originaux n'avaient qu'environ 2 000 sessions d'entraînement, ce qui revient à essayer d'apprendre à jouer aux échecs en regardant seulement quelques parties.

Ce document présente une nouvelle façon d'enseigner la navigation par la parole aux robots, en utilisant trois astuces :

1. Le « Remix de Recettes » (Le jeu de données RAINbow)

Le plus grand obstacle était le manque de données d'entraînement. Collecter de nouvelles données coûte cher ; cela coûte des milliers de dollars d'engager deux personnes pour jouer ces conversations de navigation dans une maison virtuelle.

Les auteurs ont trouvé une solution ingénieuse et à faible coût : le jeu de données RAINbow.

• L'analogie : Imaginez que vous avez une bibliothèque de vieilles instructions d'une seule page comme « Allez à la cuisine, puis tournez à gauche ». Elles sont ennuyeuses et courtes. Les auteurs ont pris des milliers de ces vieilles instructions et les ont assemblées pour créer des chemins longs et sinueux.
• La magie : Ils ont ensuite utilisé une IA (un grand modèle de langage) pour réécrire ces chemins assemblés sous forme de conversation naturelle. Au lieu qu'un robot dise simplement « Tourne à gauche », l'IA fait en sorte que le Navigateur dise : « Je suis dans un couloir avec un tableau bizarre, où dois-je aller ? » et le Guide répond : « Ah, tourne à droite après le tableau. »
• Le résultat : Ils ont transformé une minuscule bibliothèque de 2 000 sessions en une immense bibliothèque de 238 000 sessions pour une fraction du prix. C'est comme prendre un seul livre de cuisine et utiliser une machine pour générer 100 000 nouvelles recettes uniques.

2. Le « Sergent Instructeur et l'Explorateur » (Entraînement à stratégie double)

Avoir une immense bibliothèque de données d'entraînement est une bonne chose, mais si vous enseignez au robot en utilisant les anciennes méthodes, il échoue. L'ancienne méthode était comme un étudiant qui n'apprend qu'en suivant parfaitement la main de son professeur. Si l'étudiant commet une petite erreur, il se perd et ne peut pas s'en remettre.

Les auteurs ont introduit l'Entraînement à stratégie double, qui est comme entraîner un athlète de deux manières différentes à la fois :

• Le Sergent Instructeur (Guidé par les données) : Le robot suit exactement le chemin du jeu de données pour apprendre les « bonnes » réponses et savoir quand demander de l'aide au bon moment.
• L'Explorateur (On-Policy) : Le robot est autorisé à s'écarter du chemin et à faire des erreurs. Lorsqu'il se perd, il doit trouver comment revenir sur la bonne voie en discutant avec le Guide.
• Pourquoi ça marche : Cela apprend au robot non seulement quoi faire, mais aussi comment se rétablir lorsque les choses tournent mal. C'est la différence entre un robot qui casse s'il heurte un mur et un robot qui dit : « Oups, je suis perdu, laissez-moi demander mon chemin », et qui continue sa route.

3. « Sherlock Holmes » (Une meilleure localisation)

Dans ce jeu, le Guide est aveugle à l'emplacement du Navigateur. Quand le Navigateur dit : « Je suis dans une pièce avec un canapé bleu », le Guide doit deviner : « Oh, cela doit être le salon au deuxième étage. » C'est ce qu'on appelle la Localisation.

Le système original était mauvais pour deviner. Les auteurs ont amélioré le cerveau du Guide en empruntant des connaissances à un autre type d'entraînement à la navigation (VLN).

• L'analogie : C'est comme prendre un détective qui est doué pour résoudre des crimes dans une ville et lui enseigner la configuration d'une nouvelle ville en lui montant les cartes de l'ancienne. Le Guide est devenu bien meilleur pour localiser précisément où se trouve le Navigateur sur la base de sa description, ce qui conduit à des instructions beaucoup plus précises.

Le Score Final

En combinant ces trois éléments — une quantité massive de données d'entraînement peu coûteuses générées par l'IA, un entraînement qui apprend au robot à se rétablir de ses erreurs, et un Guide plus intelligent capable de mieux deviner les emplacements — les performances du robot ont grimpé en flèche.

• Avant : Le robot réussissait à trouver l'objectif environ 31 % du temps dans des maisons familières et 15 % dans de nouvelles maisons non vues.
• Après : Avec le nouveau système, les taux de réussite ont bondi à 58 % dans les maisons familières et 29 % dans les nouvelles.

En termes simples, ils n'ont pas seulement rendu le robot un peu meilleur ; ils ont doublé son taux de réussite en lui donnant une immense bibliothèque de conversations d'entraînement et en lui apprenant à gérer la perte de repères sans paniquer. Cela établit un nouveau record de la capacité des robots à naviguer en parlant.

Résumé technique

Résumé technique : Faire progresser DialNav grâce à l'augmentation automatique de dialogues incarnés

Énoncé du problème

Les agents incarnés opérant dans des environnements physiques nécessitent des capacités robustes tant dans l'exécution d'actions que dans le dialogue pour garantir la sécurité et l'efficacité des tâches. Bien que le cadre DialNav (Han et al., 2025) ait introduit une tâche de navigation vision-langage (VLN) coopérative et basée sur le dialogue, où un Navigateur et un Guide distant collaborent pour atteindre un objectif, ses performances sont sévèrement limitées par la rareté des données. Le jeu de données RAIN original ne contient que 2 000 épisodes annotés par des humains, une échelle insuffisante pour entraîner des boucles de dialogue-navigation multi-tours complexes. De plus, la collecte de telles données est extrêmement coûteuse (environ 7 500 $ pour 2 000 épisodes) et nécessite une coordination en temps réel entre deux humains. Les techniques existantes d'augmentation de données VLN sont largement restreintes à la génération d'instructions à tour unique et ne peuvent pas être directement appliquées à la nature interactive et multi-tours de DialNav. De plus, le schéma d'entraînement original n'a pas réussi à exploiter efficacement les données augmentées, et la sous-tâche critique de la localisation (où le Guide déduit la position du Navigateur à partir d'une question) est restée peu explorée.

Méthodologie

Les auteurs proposent une solution complète comprenant trois composantes principales : un pipeline de génération de données automatique à grande échelle, une stratégie d'entraînement novatrice et un modèle de localisation amélioré.

1. Pipeline de génération du jeu de données RAINbow

Pour remédier à la rareté des données, les auteurs ont développé un pipeline automatique pour synthétiser le jeu de données RAINbow, étendant les données d'entraînement de plus de deux ordres de grandeur (de 2k à 238k épisodes). Le pipeline convertit les jeux de données VLN existants et fins (R2R, RxR, CVDN) en épisodes DialNav multi-tours via trois étapes :

• Concaténation de trajectoires : Plusieurs chemins issus de jeux de données existants sont concaténés pour former des trajectoires étendues. Pour simuler le bruit du monde réel, le pipeline injecte des scénarios de mauvaise localisation, de mauvaise navigation et d'exploration dans 10 % des trajectoires.
• Génération de Q&R primitives : À des points de dialogue spécifiques le long de la trajectoire concaténée, un modèle vision-langage (LLaVA-1.5) génère des légendes de scènes pour servir de contenu de question. Les instructions de navigation fines originales associées aux sous-trajectoires sont réutilisées comme contenu de réponse.
• Reformatage du dialogue : Un grand modèle de langage (GPT-4o-mini) reformate les paires légende-instruction brutes en dialogues multi-tours fluides et naturels. Cette étape inclut l'affinage des instructions (pour éviter la mention prématurée de l'objectif) et le lissage conversationnel pour assurer la cohérence contextuelle et la fluidité naturelle.

2. Entraînement à double stratégie (DST)

Les auteurs identent que l'entraînement standard par segments ne parvient pas à exploiter la nature dynamique du dialogue multi-tours. Ils introduisent l'Entraînement à double stratégie (Dual-Strategy Training - DST), qui combine deux types de déploiements lors de l'entraînement à la navigation :

• Déploiement guidé par les données (Data-Guided Rollout) : L'agent suit la trajectoire annotée du jeu de données, recevant des mises à jour de dialogue de vérité terrain à des nœuds spécifiques.
• Déploiement sur politique (On-Policy Rollout) : Bifurquant à chaque point de dialogue, l'agent suit sa propre politique sans mises à jour de dialogue supplémentaires, étant supervisé pour prédire le chemin le plus court vers l'objectif.
  Cette approche permet au module de navigation d'apprendre de la dynamique complète de l'épisode tout en restant robuste à ses propres erreurs de prédiction, exploitant ainsi efficacement les données augmentées à grande échelle.

3. Localisation par Transformer basé sur les graphes (GTL)

Reconnaissant que la localisation partage des similitudes avec la VLN (toutes deux étant des tâches de sélection de nœds ancrées sur du texte dans Matterport3D), les auteurs transfèrent les connaissances de la VLN vers la tâche de localisation. Ils remplacent l'original GCN (réseau de neurones convolutifs sur graphes) par une architecture de Transformer basé sur les graphes (adaptée de DUET). Ce modèle est initialisé avec des poids VLN pré-entraînés, lui permettant de tirer parti des connaissances environnementales à grande échelle pour inférer avec précision la position du Navigateur à partir de ses questions.

Contributions clés

1. Jeu de données RAINbow : La construction d'un jeu de données de grande taille (238k épisodes), de haute qualité et généré automatiquement, qui étend le jeu de données RAIN original de plus de deux ordres de grandeur à un coût négligeable (0,0016 $ par épisode).
2. Entraînement à double stratégie (DST) : Un nouveau schéma d'entraînement qui aligne le processus d'entraînement de la navigation avec la nature dynamique et multi-tours de la tâche DialNav, libérant le potentiel des données de dialogue à grande échelle.
3. Localisation par transfert de connaissances : L'adaptation d'un Transformer basé sur les graphes pour la sous-tâche de localisation, améliorant significativement l'inférence de position en exploitant les connaissances VLN pré-entraînées.

Résultats

Les méthodes proposées ont été évaluées sur les partitions de validation de RAIN (Val Seen et Val Unseen) en utilisant les métriques VLN standards (Taux de succès, OSR, SPL, Erreur de navigation).

• Gains de performance : L'approche intégrée (RAINbow + DST + GTL) a atteint un taux de succès (SR) de 58,24 sur Val Seen (+89 % par rapport à la ligne de base) et de 29,05 sur Val Unseen (+100 % par rapport à la ligne de base), doublant ainsi efficacement l'état de l'art précédent.
• Études d'ablation :
  • Données : Bien que RAINbow seul apporte des gains modestes, son plein potentiel n'est réalisé que lorsqu'il est couplé à l'Entraînement à double stratégie.
  • Entraînement : Le retrait de la composante de déploiement "on-policy" du DST entraîne une chute significative de la performance sur Val Unseen, particulièrement dans les scénarios avec de grands détours, confirmant la nécessité de l'entraînement à l'exploration.
  • Localisation : Le Transformer basé sur les graphes avec pré-entraînement VLN réduit considérablement l'erreur de localisation (LE) par rapport à la ligne de base GCN, démontant l'efficacité du transfert de connaissances.
• Coopération Humain-Agent : Dans une configuration de coopération humain-agent, l'agent proposé surpasse systématiquement la ligne de base en termes de taux de succès et de scores d'utilité humaine, que l'humain agisse comme le Navigateur ou le Guide.

Signification et affirmations

L'article affirme établir un nouvel état de l'art pour la tâche DialNav en traitant systématiquement le goulot d'étranglement central de la rareté des données par l'augmentation automatique. Les auteurs soulignent que leur travail démontre l'effet synergique de la combinaison de données synthétiques à grande échelle avec des schémas d'entraînement spécifiquement conçus pour les boucles de dialogue dynamiques. En fournissant un pipeline évolutif et un cadre d'entraînement robuste, ce travail pose une base plus solide pour la recherche future sur des agents incarnés plus complexes et interactifs. Les auteurs reconnaissent des limites, notant que bien que les données générées soient peu coûteuses et à grande échelle, elles sont construites sur des trajectoires VLN existantes et pourraient ne pas capturer pleinement la richesse de la communication incarnée humaine, suggérant qu'une validation supplémentaire dans des domaines incarnés plus larges est bénéfique.