GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

Résumé technique de GRaD-Nav++ : Navigation visuelle de drones par modèle vision-langage avec champs de radiance gaussiens et dynamiques différentiables

Énoncé du problème
L'article aborde le défi consistant à permettre aux drones autonomes d'interpréter et d'exécuter des instructions naturelles de haut niveau dans des environnements non structurés. Bien que les récentes avancées dans les pipelines de perception-planification-commande modulaires, l'apprentissage par imitation et l'apprentissage par renforcement (RL) aient amélioré les capacités des drones, les méthodes existantes reposent souvent sur des compétences conçues à la main, un réglage extensif des paramètres ou des modèles à grande échelle inadaptés au déploiement embarqué. De plus, les approches actuelles utilisant des modèles de langage à grande échelle (LLM) ou des modèles vision-langage (VLM) emploient typiquement des architectures en couches qui créent un goulot d'étranglement entre la prise de décision de haut niveau et le contrôle de bas niveau, ou nécessitent le soutien d'une station au sol en raison de contraintes computationnelles. Il subsiste un écart significatif entre les systèmes actuels et des agents capables de comprendre des intentions humaines abstraites et de s'adapter à de nouvelles tâches et environnements sans infrastructure externe.

Méthodologie
Les auteurs proposent GRaD-Nav++, un cadre léger Vision-Langage-Action (VLA) conçu pour fonctionner entièrement à bord d'un drone. Le système intègre trois composants principaux :

1. Environnement d'entraînement (3DGS & DiffRL) : Pour atteindre une simulation visuelle haute fidélité et un entraînement efficace en échantillons, les auteurs exploitent le Splatting Gaussien 3D (3DGS) pour un rendu photoréaliste à des taux interactifs. Cela est couplé à un Apprentissage par Renforcement Différentiable (DiffRL), qui utilise des dynamiques de quadricoptère différentiables pour accélérer l'apprentissage de la politique via une optimisation basée sur le gradient. Ce pipeline hybride permet un apprentissage efficace du contrôle de bas niveau à partir d'entrées visuelles et linguistiques, sans le coût computationnel de la simulation basée sur maillage ou du rendu NeRF.
2. Architecture du modèle :
   • Modèle Vision-Langage (VLM) : Un modèle CLIP préentraîné encode les instructions en langage naturel et les images RVB à la première personne. Pour répondre aux contraintes embarquées (NVIDIA Jetson Orin Nano), le VLM fonctionne de manière asynchrone, mettant à jour le vecteur de caractéristiques sémantiques toutes les 10 étapes temporelles.
   • Réseau de politique (MoE) : La politique de contrôle principale emploie une architecture de Mélange d'Experts (MoE) avec une tête d'action multi-têtes. Un réseau de commutation achemine de manière adaptative le calcul vers un sous-ensemble de réseaux experts spécialisés (top-k=2) pour chaque entrée. Cette conception vise à améliorer la généralisation à travers les tâches et les environnements tout en atténuant l'oubli catastrophique, tout en maintenant un faible nombre de paramètres pour l'inférence en temps réel.
   • Estimateur de contexte : Un Réseau Estimateur de Contexte (CENet) basé sur un Autoencodeur Variationnel $\beta$ ($\beta$-VAE) traite les observations historiques pour générer un vecteur latent, aidant à atténuer l'écart simulation-réalité et à améliorer la robustesse.
3. Procédure d'entraînement : La politique est entraînée à l'aide d'une fonction de récompense axée sur le contrôle dynamique fluide, le suivi de points de passage et l'évitement d'obstacles. L'entraînement implique une généralisation multi-tâches (apprentissage du raisonnement spatial séquentiel et de l'ancrage d'objets) et une adaptation multi-environnements (entraînement à travers des environnements 3DGS distincts).

Contributions clés

• Cadre VLA embarqué : La proposition d'un cadre de vol VLA pour drone entièrement embarqué fonctionnant sans infrastructure externe ni soutien de station au sol.
• Généralisation et adaptation : Démonstration que la politique VLA peut accomplir des tâches de navigation basées sur des instructions en langage naturel de haut niveau, montrant une généralisation à des tâches inédites et une adaptation à plusieurs environnements.
• Nouveau module d'action MoE : L'introduction d'un module d'action MoE multi-têtes entraîné via 3DGS et DiffRL, qui atteint des performances de pointe en efficacité d'échantillonnage et en taux de réussite des tâches par rapport aux bases standard.

Résultats expérimentaux
Les auteurs ont évalué le cadre à la fois en simulation et sur du matériel réel (un drone équipé d'une caméra Intel Realsense D435 et d'un Jetson Orin Nano).

• Généralisation multi-tâches : En simulation, la méthode a atteint un taux de réussite de 83 % sur les tâches entraînées et 75 % sur les tâches inédites. Sur le matériel réel, elle a atteint 67 % sur les tâches entraînées et 50 % sur les tâches inédites. Des études d'ablation ont confirmé que le retrait du VLM ou l'utilisation d'une optimisation de politique proximale (PPO) standard sans DiffRL a entraîné des taux de réussite proches de zéro, soulignant la nécessité du VLM pour l'ancrage et du DiffRL pour l'efficacité d'échantillonnage.
• Adaptation multi-environnements : Dans des expériences à travers divers environnements simulés et réels, la politique MoE a atteint un taux de réussite moyen de 81 % en simulation et 67 % dans des environnements réels. Crucial, l'architecture MoE a nettement surpassé les bases à expert unique et à grands réseaux dans la prévention de l'oubli catastrophique lors du passage d'un environnement à l'autre.
• Changement de tâche et robustesse : Le système a démontré sa capacité à s'adapter en plein vol à des instructions changeantes (par exemple, passer de "voler à gauche" à "voler à droite"), les scores de similarité du VLM reflétant dynamiquement la nouvelle alignement sémantique.
• Évolutivité : Les expériences ont montré que, bien que l'augmentation du nombre d'experts (à 4 ou 8) améliore légèrement les performances en simulation, elle dégrade les performances réelles en raison de la latence computationnelle (baisse de la fréquence de contrôle à 10 Hz), confirmant le compromis entre la capacité du modèle et les contraintes d'inférence embarquée.

Importance et affirmations
L'article prétend établir une nouvelle référence pour le vol VLA entièrement embarqué, démontrant que des modèles compacts et efficaces peuvent permettre une navigation fiable guidée par le langage sans dépendre d'infrastructures externes. Les auteurs soulignent que leur approche comble le fossé entre la compréhension sémantique de haut niveau et le contrôle de bas niveau grâce à une architecture unifiée et de bout en bout.

Cependant, les auteurs maintiennent une portée modeste concernant leurs affirmations. Ils déclarent explicitement que la politique s'adapte à de nouvelles combinaisons de sous-tâches vues individuellement pendant l'entraînement, mais échoue sur des instructions composées entièrement de sous-tâches inédites. Par conséquent, ils ne présentent pas GRaD-Nav++ comme une solution générale pour l'IA incarnée à vocabulaire ouvert, mais plutôt comme une étape significative vers une autonomie d'exécution d'instructions efficace et embarquée.