Résumé Technique : $\Phi$-Nav pour l'exploration sémantique en navigation visuelle-linguistique

Énoncé du Problème

La navigation visuelle-linguistique (VLN) nécessite que des agents traversent des environnements 3D en se basant sur des instructions en langage naturel. Bien que les systèmes VLN modernes s'appuient de plus en plus sur l'exploration on-policy (ex: Échantillonnage Planifié, DAgger) pour atténuer le biais d'exposition et améliorer la robustesse, un fossé de supervision sémantique fondamental persiste.

Dans l'entraînement on-policy standard, lorsque l'agent dévie de la trajectoire prévue par l'expert, l'instruction linguistique originale ne correspond plus sémantiquement au flux visuel exécuté. Par conséquent, une partie significative des trajectoires d'exploration manque de supervision linguistiquement alignée. Les méthodes traditionnelles traitent ces déviations comme des erreurs à corriger par l'action de l'expert, échouant ainsi à exploiter les données visuelles-linguistiques riches, bien que désalignées, générées lors de l'exploration. Cela limite l'efficacité de l'échantillonnage des méthodes on-policy et restreint la capacité de l'agent à apprendre de ses propres expériences diverses.

Méthodologie : $\Phi$-Nav

Les auteurs proposent $\Phi$-Nav, un cadre on-policy unifié qui comble ce fossé en convertissant les déroulements exploratoires en signaux d'entraînement denses et sémantiquement ancrés grâce au raisonnement par rétrospection au niveau du chemin (path-level hindsight reasoning). Le cadre fonctionne via un cycle de double supervision en trois étapes :

Étape 1 : Échantillonnage de trajectoire on-policy

L'agent effectue l'exploration en utilisant des stratégies on-policy standard (ex: mélange d'actions d'experts avec les prédictions de sa propre politique). Il collecte une trajectoire $\tau = \{v_0, a_0, \dots, v_T, a_T\}$ tout en recevant un retour d'action d'expert en temps réel pour minimiser la perte d'imitation de l'expert standard ($\mathcal{L}_{\text{expert}}$).

Étape 2 : Génération d'instructions par rétrospection au niveau du chemin

Une fois qu'une trajectoire est mise en mémoire tampon, un Agent de Locuteur de Rétrospection (HSA - Hindsight Speaker Agent) synthétise une nouvelle instruction ($I_H$) qui décrit précisément le chemin réellement exécuté par l'agent, plutôt que le chemin expert original.

• Noyau LVLM : Le HSA utilise un modèle de langage-vision large (LVLM) pré-entraîné (spécifiquement Qwen2.5-VL-7B) pour ses capacités de raisonnement spatio-temporel zero-shot.
• Apprentissage en contexte par l'expert : Pour éviter les décalages de distribution dans le style linguistique et atténuer les hallucinations, le LVLM est incité par un exemple unique consistant en une trajectoire d'expert et son instruction annotée par un humain. Cela garantit que les instructions générées conservent la cohérence structurelle et tonale de la distribution d'entraînement tout en adaptant le contenu sémantique aux observations visuelles spécifiques de la trajectoire actuelle.

Étape 3 : Apprentissage par imitation par rétrospection avec pondération d'alignement

L'agent subit une seconde passe d'imitation en utilisant la paire trajectoire-instruction synthétisée comme une démonstration experte supplémentaire.

• Pondération de l'alignement Trajectoire-Instruction : Puisque l'instruction générée par le LVLM peut contenir des hallucinations ou un ancrage faible, le cadre introduit un module de notation léger pour évaluer la fidélité sémantique entre la trajectoire visuelle et l'instruction synthétisée.
  • Le score combine un alignement grossier (similitude globale vidéo-phrase) et un alignement fin (se concentrant spécifiquement sur les noms de points de repère extraits de l'instruction et leurs ancres visuelles).
  • Cela produit un poids adaptatif $\lambda$ qui module la contribution de la perte de rétrospection.
• Optimisation : La fonction de perte totale combine la perte de l'expert et la perte de rétrospection pondérée :
  $$\mathcal{L} = \mathcal{L}_{\text{expert}} + \lambda \mathcal{L}_{\text{hindsight}}$$
  où $\mathcal{L}_{\text{hindsight}}$ maximise la vraisemblance des actions entreprises sous l'instruction synthétisée $I_H$.

Contributions Clés

1. Cadre Novateur : Introduction de $\Phi$-Nav, le premier cadre VLN on-policy qui comble le fossé de supervision sémantique en convertissant les déviations exploratoires en instructions denses au niveau du chemin.
2. Paradigme de Rétrospection Étendu : Ce travail étend l'apprentissage par rétrospection de la substitution de but statique vers un re-étiquetage d'instruction par niveau de chemin, temporellement continu et granulaire. Ceci est réalisé grâce à :
   • L'apprentissage en contexte par l'expert : Assurant l'alignement de la distribution dans le style linguistique.
   • La pondération d'alignement Trajectoire-Instruction : Un mécanisme pour filtrer et pondérer l'apprentissage de manière adaptative en fonction de la fidélité sémantique, atténuant les hallucinations du LVLM.
3. Efficacité d'Échantillonnage : Démontrer que $\Phi$-Nav transforme le mouvement sémantiquement non étiqueté en signaux d'entraînement significatifs, permettant aux agents d'apprendre efficacement avec moins de démonstrations d'experts.

Résultats Expérimentaux

Le cadre a été évalué sur les benchmarks R2R-CE et RxR-CE.

• Gains de Performance : $\Phi$-Nav améliore systématiquement les performances de navigation (Taux de Succès et SPL) à travers différentes bases de référence on-policy (CMA, ETPNav).
  • Sur R2R-CE (Val Unseen), l'intégration de $\Phi$-Nav avec la base de référence ETPNav a amélioré le Taux de Succès (SR) de 5,37 % et le Succès pondéré par la Longueur du Chemin (SPL) de 3,59 %, surpassant les méthodes récentes de pointe comme g3D-LF.
  • Sur RxR-CE, il a obtenu des améliorations stables en SR et SPL, bien que les gains soient légèrement moindres en raison de la difficulté accrue de générer des instructions fines pour des trajectoires plus longues et linguistiquement denses.
• Efficacité d'Échantillonnage : $\Phi$-Nav a démontré une efficacité d'échantillonnage supérieure, atteignant une performance compétitive avec seulement 90 % des démonstrations d'experts requises par les bases de référence. Il a systématiquement surpassé les bases de référence à travers toutes les itérations d'entraînement.
• Études d'Ablation :
  • Pondération : La pondération d'alignement adaptative (TIAW) a nettement mieux performé que les schémas de pondération fixes, confirmant la nécessité de filtrer la supervision bruitée.
  • Noyau (Backbone) : Les noyaux LVLM plus larges (7B/8B) ont produit de meilleurs résultats que les plus petits (3B), soulignant l'importance de la capacité du modèle pour générer des instructions de rétrospection précises.
  • Contexte : L'apprentissage en contexte par l'expert a produit des instructions avec une similitude lexicale et structurelle plus élevée par rapport à la vérité de terrain comparé aux approches zero-shot ou basées sur des modèles.

Signification et Revendications

L'article soutient que l'exploration sémantique est une composante critique, bien qu'ignorée, de l'entraînement VLN. En exploitant le raisonnement par rétrospection, $\Phi$-Nav répond à la limitation inhérente où les trajectoires exploratoires sont jetées ou désalignées avec leur supervision linguistique.

Les auteurs affirment que $\Phi$-Nav sert de solution efficace pour entraîner des agents incarnés avec des données limitées. Il transforme le "bruit" de l'exploration en un "signal d'entraînement dense", permettant aux agents de s'auto-superviser et de passer à l'échelle leur intelligence par l'expérience directe de l'environnement plutôt qu'en comptant uniquement sur des démonstrations d'experts coûteuses et statiques. Ce travail souligne le potentiel de l'auto-supervision guidée par le langage pour faire progresser l'IA incarnée, positionnant $\Phi$-Nav comme une méthode robuste pour combler le fossé entre l'exploration et l'ancrage sémantique.