Résumé Technique : PGN (Pangu Navigator)

Énoncé du Problème

La navigation visuelle-linguistique (VLN - Vision-Language Navigation) nécessite qu'un agent incarné interprète des instructions en langage naturel et prédise une séquence d'actions basées sur des observations visuelles ordonnées temporellement. Bien que les modèles de langage multimodaux (MLLM) offrent des représentations visuelles-linguistiques étendues, l'adaptation de ces modèles à une navigation continue présente des défis spécifiques :

1. Alignement Visuel-Linguistique : Combler le fossé entre les caractéristiques visuelles et l'espace de plongement (embedding) du modèle de langage.
2. Représentation Temporelle : Encoder efficacement une séquence d'observations sans saturer la fenêtre de contexte.
3. Ancrage de l'Espace d'Action : Contraindre le texte généré à un espace d'action discret et restreint (avancer, gauche, droite, arrêt).
4. Contraintes Matérielles : Maintenir un entraînement stable sur un matériel spécifique (NPU Ascend) où les opérations en précision mixte peuvent être instables.

Les benchmarks existants reposent souvent sur des graphes discrets ou des environnements continus, mais l'adaptation d'un modèle de fondation de l'échelle 7B comme OpenPangu-7B à ces tâches nécessite une architecture et un pipeline d'entraînement spécialisés traitant simultanément ces contraintes.

Méthodologie : PGN (Pangu Navigator)

Les auteurs proposent PGN, un système de prédiction d'action VLN hors ligne basé sur OpenPangu-7B. Le système utilise un pipeline d'entraînement en deux étapes et une structure d'entrée/sortie spécifique conçue pour le raisonnement temporel et la génération d'actions.

1. Architecture du Modèle

• Encodeur Visuel : Utilise un EVA-ViT-G/14 gelé pour extraire des caractéristiques de niveau patch à partir d'images d'observation de $224 \times 224$.
• Alignement Visuel-Linguistique (PGMM) : Un Q-Former avec 32 jetons de requête (query tokens) apprenables utilise l'attention croisée pour produire une représentation visuelle de taille fixe. Ceci est suivi d'un projecteur MLP à deux couches qui projette les représentations de requête de 768 dimensions vers l'espace d'embedding de 4096 dimensions d'OpenPangu-7B.
• Backbone Linguistique : OpenPangu-7B sert de modèle de langage central.
• Adaptation : Des adaptateurs LoRA (Low-Rank Adaptation) sont injectés dans le backbone linguistique pour permettre un apprentissage spécifique à la tâche sans réglage fin complet (full fine-tuning).
• Jetons Structurels : Trois jetons appris marquent le début des images, la fin des images et les limites de trames pour organiser l'entrée multimodale.

2. Formulation d'Entrée et de Sortie

• Entrée : À l'instant $t$, le modèle reçoit une instruction de navigation $I$ et une fenêtre de cinq observations ordonnées temporellement ($O_t = \{o_{t-4s}, \dots, o_t\}$), où $s$ est le pas d'échantillonnage (stride).
• Format de Sortie : Le modèle génère un texte de raisonnement ($r_t$) suivi d'une action canonique ($a_t$). L'espace d'action est discret : $\{forward, left, right, stop\}$.
  • Factorisation : $P(r_t, a_t | I, O_t) = P(r_t | I, O_t)P(a_t | r_t, I, O_t)$.

3. Pipeline d'Entraînement

• Étape 1 : Alignement Visuel-Linguistique (PGMM) :
  • Données : Paires image-légende issues de Microsoft COCO et Visual Genome.
  • Gel : L'encodeur visuel (EVA-ViT-G/14) et le backbone linguistique (OpenPangu-7B) sont gelés.
  • Entraînement : Seuls le Q-Former et le projecteur MLP à deux couches sont optimisés pour aligner les entrées visuelles avec le modèle de langage.
• Étape 2 : Adaptation à la Navigation :
  • Données : Trajectoires de navigation expertes collectées via un pipeline compatible avec DAgger (utilisant $\beta=1$, soit une collecte de données exclusivement expertes suivie d'un apprentissage supervisé par imitation de comportement).
  • Gel : Le chemin visuel aligné (EVA, Q-Former, projecteur) et les paramètres de base du modèle de langage sont gelés.
  • Entraînement : Les mises à jour sont limitées aux trois embeddings de jetons structurels et aux adaptateurs LoRA.
  • Échantillonnage : Utilise une fenêtre de cinq observations avec un échantillonnage temporel dépendant de l'époque ($istart = e \mod s$) et un échantillonnage sensible aux actions pour équilibrer les actions d'avance, de rotation et d'arrêt.

4. Détails d'Implémentation

• Matériel : Entraîné sur huit NPU Ascend 910B.
• Précision : Utilise un calcul en précision mixte avec DeepSpeed ZeRO-2. Pour gérer le dépassement numérique dans les opérations de masque d'attention FP16, le système emploie un calcul FP32 sélectif pour les opérations spécifiques instables plutôt qu'un entraînement global en FP32.

Contributions Clés

1. Système à deux étapes : Un pipeline qui aligne d'abord les représentations visuelles et linguistiques (PGMM), puis adapte le modèle aligné aux trajectoires de navigation expertes en utilisant des observations temporelles et LoRA.
2. Format d'E/S Structuré : Une conception d'entrée/sortie novatrice combinant des fenêtres d'observation de cinq trames, des jetons de limites temporelles, la génération de texte de raisonnement et un espace d'action canonique de quatre actions.
3. Implémentation Orientée Ascend : Une pile d'entraînement robuste pour les NPU Ascend, présentant un calcul FP32 sélectif pour la stabilité et un protocole d'évaluation en boucle ouverte avec force du professeur (teacher-forced).

Résultats

Le système a été évalué sur 500 trajectoires expertes réservées en utilisant un protocole en boucle ouverte avec force du professeur (où le modèle prédit les actions basées sur l'historique des observations de l'expert sans les exécuter pour générer de nouvelles observations).

• Métriques :
  • Normalized Action Match (NAM) : Mesure l'alignement de l'action prédite avec l'action experte après normalisation des expressions textuelles.
  • Non-empty Rate (NER) : La fraction de prédictions produisant une réponse non vide.
  • Exact-string Match (EM) : Égalité stricte de chaîne (notée à 0 % pour les versions ultérieures en raison de l'inclusion du texte de raisonnement).
• Performance :
  • Version V9 : A atteint un NAM de 62,29 % et un NER de 100,00 %.
  • Version V8 : A atteint 62,13 % de NAM et 100,00 % de NER.
  • Tendance : Les versions antérieures (V5, V6) montraient un NAM plus faible (25,40 % et 23,18 %) et un NER plus faible (33,98 % et 99,17 %), indiquant que l'introduction du texte de raisonnement, du prompting d'identité et de l'amélioration de l'échantillonnage dans V8/V9 a considérablement amélioré l'alignement des actions.

Signification et Limites (Revendications des Auteurs)

L'article positionne PGN comme une preuve de concept pour l'adaptation du modèle de fondation OpenPangu-7B aux tâches de VLN hors ligne sur du matériel Ascend.

• Faisabilité : Les résultats (62,29 % de NAM) soutiennent la faisabilité de l'utilisation d'une approche avec backbone gelé et adaptation LoRA pour l'alignement hors ligne des actions expertes.
• Portée de l'Évaluation : Les auteurs déclarent explicitement que ces métriques quantifient l'alignement hors ligne de l'action experte plutôt que la réussite de la navigation en boucle fermée.
  • L'évaluation ne mesure pas l'accumulation d'erreurs, l'efficacité du chemin, l'atteinte de l'objectif ou la capacité à se remettre d'actions incorrectes.
  • Des métriques telles que le taux de succès (Success Rate), le SPL ou l'erreur de navigation ne sont pas rapportées.
• Travaux Futurs : Les auteurs notent que l'évaluation du système dans un environnement en boucle fermée (exécutant les actions prédites dans le simulateur) est nécessaire pour établir un véritable succès de navigation. Le présent travail sert de dossier de développement pour l'alignement du modèle plutôt que de comparaison avec les systèmes de VLN de pointe en boucle fermée.