GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

Technische Samenvatting van GRaD-Nav++: Visuele Drone-navigatie met Vision-Language Model, Gaussische Radiance Fields en Differentieerbare Dynamica

Probleemstelling
Het artikel behandelt de uitdaging om autonome drones in staat te stellen hoge-niveau instructies in natuurlijke taal te interpreteren en uit te voeren in ongestructureerde omgevingen. Hoewel recente vooruitgang in modulaire perceptie-planning-besturingspijplijnen, imitatielearning en versterkende learning (RL) de drone-capaciteiten hebben verbeterd, vertrouwen bestaande methoden vaak op handgemaakte vaardigheden, uitgebreide parameterafstelling of grote schaalmodellen die niet geschikt zijn voor aan boord implementatie. Bovendien maken huidige benaderingen die gebruikmaken van Large Language Models (LLMs) of Vision-Language Models (VLMs) doorgaans gebruik van gelaagde architecturen die een knelpunt creëren tussen hoge-niveau besluitvorming en lage-niveau besturing, of vereisen ze ondersteuning vanaf een grondstation vanwege computertekorten. Er blijft een aanzienlijke kloof bestaan tussen huidige systemen en agenten die in staat zijn abstracte menselijke intenties te begrijpen en zich aan te passen aan nieuwe taken en omgevingen zonder externe infrastructuur.

Methodologie
De auteurs stellen GRaD-Nav++ voor, een lichtgewicht Vision-Language-Action (VLA) raamwerk dat volledig aan boord van een drone kan draaien. Het systeem integreert drie kerncomponenten:

1. Trainingsomgeving (3DGS & DiffRL): Om hoogwaardige visuele simulatie en trainen met efficiënt gebruik van voorbeelden te bereiken, maken de auteurs gebruik van 3D Gaussian Splatting (3DGS) voor fotorealistische rendering op interactieve snelheden. Dit wordt gekoppeld aan Differentieerbare Versterkende Learning (DiffRL), die differentieerbare quadcopter-dynamica gebruikt om beleidslearning te versnellen via gradient-gebaseerde optimalisatie. Deze hybride pijplijn maakt efficiënt leren van lage-niveau besturing vanuit visuele en linguïstische invoer mogelijk, zonder de computerkosten van mesh-gebaseerde simulatie of NeRF-rendering.
2. Modelarchitectuur:
   • Vision-Language Model (VLM): Een vooraf getraind CLIP-model encodeert instructies in natuurlijke taal en RGB-beelden uit het eerste gezichtspunt. Om aan boord beperkingen (NVIDIA Jetson Orin Nano) te accommoderen, draait het VLM asynchroon en werkt het de semantische feature-vector elke 10 tijdstappen bij.
   • Beleidsnetwerk (MoE): Het kernbesturingsbeleid maakt gebruik van een Mixture-of-Experts (MoE) architectuur met een multi-headed actie-head. Een gating-netwerk routeert berekening adaptief naar een subset van gespecialiseerde expert-netwerken (top-k=2) voor elke invoer. Dit ontwerp beoogt generalisatie over taken en omgevingen te verbeteren en catastrofaal vergeten te mitigeren, terwijl tegelijkertijd een klein aantal parameters wordt behouden voor real-time inferentie.
   • Contextschatting: Een op $\beta$-Variational Autoencoder ($\beta$-VAE) gebaseerd Context Estimator Network (CENet) verwerkt historische waarnemingen om een latente vector te genereren, wat helpt de sim-tot-real-kloof te mitigeren en de robuustheid te verbeteren.
3. Trainingsprocedure: Het beleid wordt getraind met een beloningsfunctie die zich richt op soepele dynamische besturing, waypoint-tracking en obstakelontwijking. Training omvat multi-task generalisatie (leren van sequentiële ruimtelijke redenering en object-grounding) en multi-omgeving adaptatie (trainen over verschillende 3DGS-omgevingen).

Belangrijkste Bijdragen

• VLA-raamwerk aan boord: Het voorstellen van een volledig aan boord draaiend drone-vliegramingwerk dat werkt zonder externe infrastructuur of ondersteuning vanaf een grondstation.
• Generalisatie en Adaptatie: Aantonen dat het VLA-beleid navigatietaken kan uitvoeren op basis van hoge-niveau instructies in natuurlijke taal, waarbij generalisatie naar ongezette taken en adaptatie aan meerdere omgevingen wordt getoond.
• Nieuwe MoE Actiemodule: De introductie van een multi-headed MoE actiemodule getraind via 3DGS en DiffRL, die state-of-the-art prestaties bereikt in efficiëntie van voorbeelden en taaksuccespercentages in vergelijking met standaard baselines.

Experimentele Resultaten
De auteurs evalueerden het raamwerk zowel in simulatie als op echte hardware (een drone uitgerust met een Intel Realsense D435-camera en Jetson Orin Nano).

• Multi-task Generalisatie: In simulatie bereikte de methode een succespercentage van 83% op getrainde taken en 75% op ongezette taken. Op echte hardware werd 67% behaald op getrainde taken en 50% op ongezette taken. Ablatiestudies bevestigden dat het verwijderen van het VLM of het gebruik van standaard Proximal Policy Optimization (PPO) zonder DiffRL resulteerde in succespercentages dicht bij nul, wat de noodzaak van het VLM voor grounding en DiffRL voor efficiëntie van voorbeelden onderstreept.
• Multi-omgeving Adaptatie: In experimenten over diverse gesimuleerde en real-world settings bereikte het MoE-beleid een gemiddeld succespercentage van 81% in simulatie en 67% in real-world settings. Cruciaal presteerde de MoE-architectuur significant beter dan single-expert en large-network baselines in het voorkomen van catastrofaal vergeten bij het wisselen tussen omgevingen.
• Taakverschuiving en Robuustheid: Het systeem toonde het vermogen om midden in de vlucht aan te passen aan veranderende instructies (bijvoorbeeld overschakelen van "vlieg links" naar "vlieg rechts"), waarbij de VLM-similariteitsscores dynamisch de nieuwe semantische uitlijning weerspiegelden.
• Schaalbaarheid: Experimenten toonden aan dat hoewel het verhogen van het aantal experts (naar 4 of 8) de simulatieprestaties licht verbeterde, dit de real-world prestaties verslechterde door computervertraging (verlaging van de besturingsfrequentie naar 10 Hz), wat de afweging bevestigt tussen modelcapaciteit en beperkingen voor inferentie aan boord.

Betekenis en Claims
Het artikel claimt een nieuwe benchmark te vestigen voor volledig aan boord VLA-vluchten, aantonend dat compacte, efficiënte modellen betrouwbare, taalgeleide navigatie mogelijk maken zonder afhankelijkheid van externe infrastructuur. De auteurs benadrukken dat hun aanpak de kloof overbrugt tussen hoge-niveau semantisch begrip en lage-niveau besturing via een unificerend, end-to-end architectuur.

Echter, de auteurs handhaven een bescheiden reikwijdte met betrekking tot hun claims. Zij stellen expliciet dat het beleid zich aanpast aan nieuwe combinaties van sub-taken die individueel tijdens training zijn gezien, maar faalt bij instructies die volledig bestaan uit ongezette sub-taken. Bijgevolg claimen zij GRaD-Nav++ niet als een algemene oplossing voor open-vocabulary embodied AI, maar eerder als een belangrijke stap richting efficiënte, aan boord draaiende, instructievolgende autonomie.