OnFly: Onboard Zero-Shot Aerial Vision-Language Navigation toward Safety and Efficiency

OnFly is een volledig aan boord draaiend, real-time framework voor zero-shot luchtbeweging op basis van visueel-taalnavigatie dat de besluitvorming stabiliseert en de veiligheid en efficiëntie verbetert door een gedeelde waarnemingsarchitectuur met twee agenten, een hybride geheugenmechanisme en een semantisch-geometrische verificateur.

De kern

Stel je voor dat je een drone hebt die je kunt besturen met je stem, alsof je een onzichtbare vriend bent die je door een complex gebouw of een drukke stad leidt. Je zegt: "Vlieg naar die rode auto en stop daar," en de drone moet het begrijpen, de weg vinden en veilig landen.

Het probleem is dat bestaande drones hier vaak in vastlopen. Ze zijn ofwel te traag, vergeten waar ze naartoe moeten, of ze vliegen rechtstreeks tegen een muur op omdat ze te voorzichtig of juist te roekeloos zijn.

De auteurs van dit paper hebben OnFly bedacht. Dit is een slim systeem dat op de drone zelf draait (geen internetverbinding nodig!) en de drone helpt om veilig en snel te vliegen, zelfs in omgevingen die het nog nooit heeft gezien.

Hier is hoe OnFly werkt, vertaald in alledaagse termen:

1. De "Twee Hoofden" Strategie (Dual-Agent)

Stel je een drone voor met twee verschillende hoofden die samenwerken, in plaats van één hoofd dat alles moet doen.

• Hoofd A (De Piloot): Dit hoofd is hyper-actief. Het kijkt continu naar de camera en zegt: "Nu naar links! Nu iets omhoog!" Het zorgt voor soepele, snelle bewegingen.
• Hoofd B (De Navigator): Dit hoofd is rustiger en denkt na. Het kijkt naar het grote plaatje: "Zijn we al bij de rode auto? Of zijn we de weg kwijt?"

Waarom is dit slim?
In oude systemen moest één hoofd alles doen: snel vliegen én nadenken over de route. Dat leidde tot chaos, net als een mens die probeert te racen met de auto terwijl hij tegelijkertijd een ingewikkelde wiskundetoets maakt. Door de taken te scheiden, kan de drone snel reageren op obstakels (Piloot) zonder dat het nadenken over de bestemming (Navigator) de beweging blokkeert.

2. Het "Fotoalbum" in plaats van de "Vergrotende Spiegel" (Hybrid Memory)

Drones hebben een geheugen nodig om te weten waar ze vandaan komen. Oude systemen gebruikten een "schuifvenster": ze hielden de laatste paar beelden vast en gooiden de oude beelden weg.

• Het probleem: Als je een lange reis maakt, vergeet de drone dan hoe de route begon. Het is alsof je een verhaal leest, maar elke pagina die je leest, wordt de eerste pagina van het boek weggegooid. Je vergeet de titel en de hoofdpunten.

De OnFly-oplossing:
OnFly maakt een slim fotoalbum.

• Het bewaart de eerste foto (waar we begonnen).
• Het bewaart belangrijke foto's (keyframes) van elke belangrijke bocht of verandering.
• Het bewaart de laatste foto (waar we nu zijn).

Dit zorgt ervoor dat de drone altijd weet: "Ik ben hier begonnen, ik heb deze bochten gemaakt, en nu ben ik hier." Hierdoor kan de drone veel langer en betrouwbaarder vliegen zonder de weg kwijt te raken.

3. De "Dubbelcheck" en de "Voorzichtige Chauffeur" (Verificatie & Planning)

Soms zegt een slimme computer (een AI-model) iets wat klinkt logisch, maar fysiek onmogelijk is. Bijvoorbeeld: "Vlieg naar dat raam." Maar het raam zit in een muur, of er staat een boom voor.

OnFly heeft twee extra veiligheidsmechanismen:

• De Dubbelcheck (Semantisch-Geometrische Verificator): Voordat de drone vliegt, kijkt deze: "Ziet dit raam er echt uit als een raam (semantiek) en is er genoeg ruimte om erdoorheen te vliegen (geometrie)?" Als de AI een fout maakt, corrigeert deze de drone direct.
• De Voorzichtige Chauffeur (Planner): Zelfs als het doel goed is, moet de route veilig zijn. De drone gebruikt een digitale kaart van de omgeving om een route te berekenen die garandeert dat hij niet tegen muren of bomen botst, zelfs niet als hij snel moet draaien.

Het Resultaat: Sneller, Veiliger en Slimmer

In tests (zowel in computersimulaties als met echte drones) deed OnFly het veel beter dan de beste bestaande systemen:

• Succes: De drone bereikte zijn doel in 67,8% van de gevallen (de concurrenten haalden vaak maar 26%).
• Veiligheid: Ze botsten bijna nooit (slechts 2,7% van de keren).
• Efficiëntie: Ze vlogen sneller en stopten niet onnodig.

Kortom: OnFly is als het geven van een drone een slimme piloot (voor snelle reacties), een ervaren navigator (voor het onthouden van de route) en een strikte veiligheidscontroleur (om crashes te voorkomen). Hierdoor kunnen drones eindelijk echt onafhankelijk en veilig door onze wereld vliegen op basis van simpele stemcommando's.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "OnFly: Onboard Zero-Shot Aerial Vision-Language Navigation toward Safety and Efficiency" in het Nederlands.

Titel

OnFly: Onboard Zero-Shot Aerial Vision-Language Navigation toward Safety and Efficiency
(OnFly: Onboard Zero-Shot Aerial Vision-Language Navigatie gericht op Veiligheid en Efficiëntie)

1. Probleemstelling

Aerial Vision-Language Navigation (AVLN) stelt onbemande luchtvaartuigen (UAV's) in staat om te navigeren in complexe 3D-omgevingen op basis van natuurlijke taal-instructies. Hoewel er recente vooruitgang is geboekt met zero-shot methoden (die geen specifieke training vereisen voor nieuwe omgevingen), kampen bestaande systemen met drie kritieke beperkingen die een echte implementatie in de praktijk belemmeren:

1. Instabiele besluitvorming: Bestaande methoden gebruiken vaak een 'single-stream' Vision-Language Model (VLM) dat zowel hoogfrequente vluchtcontrole (real-time) als laagfrequente taakmonitoring (vooruitgang) in één inferentiestroom combineert. Dit leidt tot interferentie, vertragingen en onstabiele beslissingen.
2. Onbetrouwbare langetermijnmonitoring: Traditionele tijdsgebaseerde geheugenontwerpen (zoals schuifvensters) verliezen de globale context van de trajectgeschiedenis naarmate nieuwe observaties worden toegevoegd. Bovendien verstoren ze de stabiliteit van de KV-cache (Key-Value cache) van het VLM, wat leidt tot hoge inferentielatentie en onbetrouwbare signalen voor taakbeëindiging of herstel.
3. Afweging tussen veiligheid en efficiëntie: Er is een fundamenteel conflict tussen veiligheid en snelheid. Conservatieve methoden gebruiken korte, iteratieve stappen om botsingen te voorkomen, wat leidt tot een "stop-and-go"-gedrag en lage efficiëntie. Aggressieve langetermijnvoorspellingen verhogen de snelheid maar vergroten het risico op botsingen door omgevingsonzekerheid.

2. Methodologie

OnFly is een volledig onboard (lokaal op de drone draaiend), real-time framework dat deze uitdagingen aanpakt via drie kerninnovaties:

A. Gedeelde Perceptie Dual-Agent Architectuur

In plaats van één model dat alles doet, splitst OnFly het proces op in twee agenten die dezelfde visuele perceptie (ViT-backbone) delen maar onafhankelijke inferentiestromen hebben:

• Decision Agent (Beslissingsagent): Werkt op een hoge frequentie. Deze agent voorspelt real-time doelpunten (waypoints) in het beeldveld op basis van de huidige observatie en een subtaak. Het gebruikt een gestructureerde prompt en een lichtgewicht "history-point" cue (de vorige 3D-doelprojectie) om continuïteit te garanderen zonder zware computatie.
• Monitoring Agent (Monitoringsagent): Werkt op een lagere frequentie. Deze agent bewaakt de voortgang van de taak, bepaalt of de subtaak voltooid is, of de drone verdwaald is, en stuurt stop- of herstel-signalen.
• Gedeelde Perceptie: Beide agenten gebruiken dezelfde ViT-features, wat redundante beeldcodering elimineert. Ze hebben echter elk hun eigen KV-cache om hun specifieke update-frequenties te ondersteunen.

B. Hybride Keyframe-Recent-Frame Geheugen

Voor de Monitoring Agent wordt een nieuw geheugensysteem ontworpen om globale context te behouden en de KV-cache-stabiliteit te maximaliseren:

• Opbouw: Het geheugen bestaat uit het initieel frame, een geselecteerde reeks keyframes (representatieve frames gedurende de vlucht), en het laatste frame.
• Keyframe-selectie: Keyframes worden geselecteerd op basis van beweging (translatie/rotatie) en gedupliceerd verwijderd. Ze worden gegroepeerd in segmenten van de afgelegde afstand om globale dekking te garanderen.
• Prefix-stabiliteit: Door de volgorde van de keyframes stabiel te houden (zodat de begin van de input voor het VLM niet constant verandert), wordt de KV-cache efficiënt hergebruikt. Dit verlaagt de latentie en zorgt voor betrouwbare langetermijnmonitoring.

C. Semantisch-Geometrische Verificatie en Plannen

Om de voorspellingen van het VLM veilig en uitvoerbaar te maken:

• Semantisch-Geometrische Verificator: Deze module controleert het door het VLM voorspelde doelpunt.
  • Semantiek: Gebruikt feature-matching om te verifiëren of het doel consistent is met de instructie.
  • Geometrie: Gebruikt dieptekaarten om te controleren of het doel niet op een obstakel ligt. Als het doel te dicht bij de rand van het beeld ligt (groot kijkhoek), wordt de voorwaartse afstand gereduceerd om te voorkomen dat de drone te agressief naar voren vliegt terwijl de draaihoek nog niet correct is.
• Receding-Horizon Local Planner: Een lokale planner (gebaseerd op Fast Planner en ESDF-kaarten) genereert een botsingsvrije traject naar het geverifieerde doel. Deze houdt rekening met de dynamische beperkingen van de drone en regulariseert de yaw-hoek om de drone in de juiste richting te houden.

D. Implementatie en Deploy

Het systeem draait volledig onboard op een NVIDIA Jetson Orin NX. Het maakt gebruik van TensorRT voor versnelling, AWQ-quantisatie voor de LLM-componenten, en CUDA Graphs om kernel-launch overhead te minimaliseren.

3. Belangrijkste Bijdragen

1. OnFly Framework: Het eerste volledig onboard, zero-shot AVLN-systeem dat hoge en lage frequentie beslissingen decoupeert via een dual-agent architectuur.
2. Hybride Geheugen: Een innovatief geheugensysteem dat globale trajectcontext behoudt en KV-cache-stabiliteit garandeert voor betrouwbare langetermijnmonitoring.
3. Veiligheidsverificatie: Een geïntegreerde semantisch-geometrische verificator en planner die de balans vinden tussen navigatie-efficiëntie en botsingsveiligheid.
4. Real-World Validatie: Uitgebreide evaluaties in simulatie en echte vluchtexperimenten, waarbij alle modules lokaal op de drone draaien.

4. Resultaten

De prestaties van OnFly zijn getest in simulatie (10 hoge-fideliteit Unreal Engine scènes) en in echte vluchtexperimenten.

• Simulatie-resultaten:

  • Succespercentage (SR): OnFly bereikte 67,8%, een enorme stijging ten opzichte van de sterkste bestaande baseline (SPF) met 26,4%.
  • Botsingspercentage (CR): Dramatische daling naar 2,7% (vergeleken met 42,7% bij SPF en 66,5% bij TypeFly).
  • Efficiëntie: De vliegtijd (FT) werd verkort tot 27,1 seconden, wat sneller is dan alle baselines.
  • Oracle Success Rate (OSR): 78,1%, wat aangeeft dat het systeem zeer goed in staat is om het doelgebied te bereiken als het niet zou botsen.

• Ablatie-studies:

  • Het verwijderen van de Dual-Agent architectuur liet het succespercentage dalen naar 48,6% en de vliegtijd toenemen tot 44,1s.
  • Het vervangen van de Hybride Geheugen door een schuifvenster resulteerde in een lagere prestatie en minder stabiele cache-gebruik.
  • Het gebruik van een groter VLM-backbone (30B) verbeterde de resultaten verder, maar het 4B-model bleek al zeer effectief en efficiënt.

• Real-World Experimenten:

  • Het systeem slaagde erin om complexe taken uit te voeren zoals het volgen van een voetganger, navigeren door lange gangen, precieze landing op een grasrand en het bereiken van een tweede verdieping met obstakels.
  • De latentie op de Jetson Orin NX werd aanzienlijk verlaagd door de gebruikte optimalisaties (bijv. 4,73x snellere besluitvorming vergeleken met een standaard implementatie).

5. Betekenis en Conclusie

OnFly markeert een belangrijke stap in de richting van praktisch toepasbare autonome drones. Door de problemen van instabiele besluitvorming, geheugenverlies en het veiligheids-efficiëntie-dilemma op te lossen, toont het aan dat zero-shot navigatie in onbekende omgevingen veilig en efficiënt kan worden uitgevoerd zonder cloud-connectiviteit.

De paper benadrukt dat de combinatie van gedecoupleerde besluitvorming, stabiele langetermijnmonitoring en veiligheidsbewuste planning de weg vrijmaakt voor robuuste AVLN-systemen die klaar zijn voor toepassingen zoals inspectie, reddingsoperaties en slimme stadsbeheer. De code wordt openbaar gemaakt om verdere research te faciliteren.