Résumé Technique : CLOSER-VLN

Énoncé du Problème

La navigation visuelle-linguistique (VLN - Vision-Language Navigation) a progressé de manière significative grâce à l'intégration des grands modèles de langage (LLM) et des modèles de langage multimodaux (MLLM), permettant aux agents de suivre des instructions en langage naturel dans des environaux non vus sans entraînement spécifique à la tâche. Cependant, les méthodes existantes de VLN zero-shot reposent principalement sur une approche de décision-exécution en boucle ouverte. Dans ce paradigme, les agents génèrent une action candidate basée sur les instructions et les observations, puis l'exécutent immédiatement, sans vérification explicite avant exécution.

Cette stratégie en boucle ouverte est particulièrement fragile dans la VLN Aérienne (par exemple, la navigation de drones/UAV dans des environnements urbains). Contra�à contrairement aux scénarios au sol, la navigation aérienne implique des distances de vol plus longues, une couverture opérationnelle plus large et des exigences de fiabilité plus strictes. Des erreurs mineures dans les actions intermédiaires peuvent rapidement s'accumuler, entraînant des déviations de trajectoire significatives et la perte finale de la cible. De plus, bien que la génération augmentée par récupération (RAG - Retrieval-Augmented Generation) ait été appliquée aux agents incarnés pour compléter les connaissances, les méthodes existantes utilisent généralement la récupération comme un simple enrichisseur de contexte avant ou pendant le raisonnement. Elles ne couplent que rarement la récupération avec la vérification d'action pour déterminer quand une action est peu fiable ou comment elle devrait être corrigée. Par conséquent, les méthodes actuelles manquent d'un mécanisme pour détecter et rectifier les erreurs avant qu'elles n'impactent l'état de l'agent.

Méthodologie : CLOSER et CLOSER-VLN

Pour répondre à ces limitations, les auteurs proposent CLOSER (Closed-loop Self-verified Retrieval-augmented Reasoning), une méthode sans politique d'entraînement qui transforme la navigation en un processus itératif fermé et borné. Sur cette base, ils instaurent CLOSER-VLN, un cadre spécifiquement conçu pour les tâches de VLN aérienne.

Flux de Travail Central

Au lieu d'exécuter la première action prédite, CLOSER-VLN effectue une séquence de Raisonnement d'Action $\rightarrow$ Vérification de Fiabilité $\rightarrow$ Récupération Ciblée $\rightarrow$ Correction d'Action avant chaque étape de l'environnement. Cette boucle se poursuit jusqu'à ce qu'une action soit acceptée ou qu'une limite d'itération maximale ($K_{max}$) soit atteinte.

Le cadre se compose de trois composants spécialisés :

1. Raisonneur Hiérarchique :

   • Agit comme le module de génération d'actions.
   • Prend en entrée des sous-instructions par étapes, des descriptions d'environnement, des entrées visuelles (Cartes Cognitives Schématiques pour la navigation/recherche ; observations brutes pour la localisation), et des connaissances récupérées.
   • Génère une action candidate et un raisonnement (rationale).
   • Opère à travers trois étapes de tâche : Navigation (approche des régions cibles), Recherche (identification des nœuds cibles) et Localisation (prédiction fine des coordonnées).

2. Vérificateur d'Action Multidimensionnel :

   • Sert de garde-fou en boucle fermée pour évaluer la fiabilité de l'action.
   • Pour la Navigation et la Recherche : Utilise un modèle Qwen3-VL-8B affiné pour évaluer trois dimensions :
     • Cohérence de l'Instruction : L'action est-elle conforme à la commande linguistique ?
     • Cohérence Visuelle : L'action est-elle ancrée dans la carte cognitive sémantique ?
     • Faisabilité du Trajet : L'action évite-t-elle les retours en arrière ou le dépassement des limites ?
   • Pour la Localisation : Emploie une vérification géométrique heuristique pour s'assurer que la coordonnée cible prédite se situe dans un seuil de distance valide ($\tau_{dist} = 50m$) par rapport à la position actuelle.
   • Stratégie d'Entraînement : Le vérificateur est entraîné via un processus en deux étapes : un réglage fin supervisé (SFT) pour apprendre la logique de base, suivi d'une Optimisation de Politique Relative de Groupe (GRPO) avec une fonction de récompense asymétrique. Cette structure de récompense pénalise lourdement les Faux Positifs (acceptation d'actions erronées) afin de garantir un rejet conservateur des décisions non fiables.

3. Récupérateur Multimodal Déclenché par la Vérification :

   • Contrairement au RAG conventionnel, la récupération n'est pas effectuée de manière inconditionnelle. Elle est déclenchée uniquement lorsque le vérificateur rejette une action candidate.
   • En cas de rejet, le système analyse l'erreur (par exemple, les dimensions d'échec spécifiques) pour générer une requête ciblée.
   • Il récupère des exemples pertinents à partir d'une base de connaissances externe alignée sur les étapes (construite à partir de fragments de décisions réussies du jeu de données CityNav).
   • L'exemple récupéré, combiné à l'analyse de l'erreur, est renvoyé au raisonneur pour affiner la décision lors de l'itération suivante.

Inférence Bornée

Pour éviter les boucles infinies, le système définit un nombre maximal d'itérations ($K_{max} = 3$). Si aucune action n'est acceptée dans cette limite, la dernière candidate de la dernière itération est exécutée comme solution de repli.

Contributions Clés

1. Cadre CLOSER : Propose une méthode de correction de décision en boucle fermée pour la VLN qui introduit une vérification de fiabilité avant exécution et déclenche une récupération ciblée uniquement en cas d'échec de la vérification, répondant ainsi à la difficulté de la détection d'erreurs dans les systèmes en boucle ouverte.
2. Implémentation CLOSER-VLN : Adapte la méthode CLOSER à la VLN aérienne, introduisant un processus de boucle fermée borné pour améliorer la fiabilité dans des scénarios urbains non vus.
3. Composants Spécialisés : Conçoit un Vérificateur d'Action Multidimensionnel (entraîné avec GRPO pour une haute précision de rejet) et un Récupérateur Multimodal Déclenché par la Vérification. Ces composants collaborent pour identifier les actions non fiables et effectuer des corrections à l'aide d'exemples externes alignés sur les étapes.
4. Validation Empirique : Démontre des améliorations de performance significatives sur le benchmark CityNav, validant l'efficacité du raisonnement en boucle fermée par rapport aux bases de référence en boucle ouverte.

Résultats Expérimentaux

Les expériences ont été menées sur le benchmark CityNav (splits Test Unseen, Validation Unseen, et Validation Seen).

• Gains de Performance : Sur le split Test Unseen, CLOSER-VLN a atteint un Taux de Succès (SR) de 32,01 % et un Succès pondéré par la Longueur du Trajet (SPL) de 21,28 %.
  • Cela représente une amélioration relative de 23,6 % du SR et une amélioration relative de 32,8 % du SPL par rapport à la meilleure base de référence zero-shot, GeoNav.
  • Il a également surpassé les bases de référence supervisées (ex: FlightGPT) et d'autres méthodes zero-shot (ex: GPT-4o, Greedy).
• Niveaux de Difficulté : La méthode a montré des améliorations constantes à travers les niveaux de difficulté Facile, Moyen et Difficile, avec les gains les plus importants (amélioration relative du SR de 53,3 %) observés dans les tâches Difficiles, qui nécessitent une planification à longue distance et un ancrage précis des points de repère.
• Études d'Ablation :
  • Supprimer le vérificateur a réduit le SR à 29,24 %.
  • L'utilisation de la "Récupération Toujours Simple" (récupération à chaque étape quel que soit la vérification) a en fait dégradé les performances (SR 26,96 %) en raison du bruit d'informations non pertinentes.
  • Le système complet (Vérificateur + Récupération Adaptative) était nécessaire pour obtenir des résultats optimaux, confirmant l'effet synergique de la vérification et de la supplémentation de connaissances ciblée.
• Analyse des Itérations : La performance a culminé à $K_{max}=3$. Augmenter les itérations à 4 a provoqué une baisse de performance due à l'introduction de bruit provenant de requêtes de récupération erronées.

Signification et Revendications

L'article affirme que CLOSER-VLN traite efficacement la limitation critique de l'accumulation d'erreurs dans la navigation aérienne. En passant d'un paradigme "prédire-et-exécuter" à une boucle "raisonner-vérifier-récupérer-corriger", le système peut :

• Détecter et corriger les actions non fiables avant qu'elles ne modifient l'état de l'agent.
• Suppléter dynamiquement les connaissances manquantes uniquement lorsque nécessaire, évitant le bruit d'une récupération indiscriminée.
• Atteindre une généralisation robuste dans des environnements urbains non vus sans entraînement d'une politique de navigation spécifique à la tâche.

Les auteurs soulignent que le vérificateur multidimensionnel est crucial pour les applications critiques de sécurité, car il empêche l'agent d'exécuter aveuglément des actions hallucinées ou géométriquement invalides. Les résultats suggèrent que le raisonnement en boucle fermée améliore considérablement la fiabilité des agents incarnés dans des tâches complexes à long horizon où une erreur d'étape unique peut être catastrophique.

Note : L'article reconnaît des limitations, telles que l'échec occasionnel du vérificateur à détecter des limites géométriques complexes (entraînant des faux positifs d'acceptation), et suggère des travaux futurs visant à optimiser le vérificateur via un réglage fin incrémental et l'exploration de l'Optimisation de Séquence de Groupe (GSPO).