💻 computer science

CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking

CosFly-VLA is een ruimtelijk bewuste Vision-Language-Action-model dat het volgen van doelwitten door UAV's in complexe, geoccludeerde stedelijke omgevingen verbetert door dieptebewuste pretraining, curriculum-gebaseerde fine-tuning, chain-of-thought redeneren en closed-loop reinforcement learning te integreren om verplaatsingsfouten aanzienlijk te verminderen en succespercentages te verbeteren in vergelijking met bestaande policies.

Oorspronkelijke auteurs: Ruilong Ren, Songsheng Cheng, Yunpeng Zhou, Hanxuan Chen, Xiangyue Wang, Tianle Zeng, Shuai Yuan, Binbo Li, Hanzhong Guo, Ji Pei, Da Zhang, Kangli Wang

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruilong Ren, Songsheng Cheng, Yunpeng Zhou, Hanxuan Chen, Xiangyue Wang, Tianle Zeng, Shuai Yuan, Binbo Li, Hanzhong Guo, Ji Pei, Da Zhang, Kangli Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de piloot bent van een piepkleine, superintelligente drone die door een drukke stad scheert. Je taak is om een specifiek persoon te volgen die door de straat loopt. Normaal gesproken is dit makkelijk: je ziet hen, je vliegt naar hen toe en je houdt hen in je cameralens. Plotseling blokkeert een hoog gebouw, een dichte boom of een menigte mensen je zicht. De persoon verdwijnt van je scherm. Een normale drone zou in paniek kunnen raken, het fout kunnen raden en tegen een muur kunnen craschen omdat hij zijn "mentale kaart" van waar de persoon heen ging, kwijt is. Dit is de wereld van Unmanned Aerial Vehicle (UAV) tracking, een vakgebied binnen de robotica waar machines leren om doelwitten te achtervolgen. De grote uitdaging is niet alleen het zien van het doelwit; het is weten wat je moet doen als je ze niet meer kunt zien. Om dit op te lossen, gebruiken wetenschappers Vision-Language-Action (VLA) modellen. Denk aan deze als het brein van een robot dat een afbeelding kan "zien", een opdracht kan "lezen" zoals "volg de hardloper" en kan "handelen" door zijn motoren te bewegen, allemaal tegelijkertijd.

Maak kennis met CosFly-VLA, een nieuwe, superintelligente dronepiloot die door onderzoekers is ontworpen om deze "blinde vlekken" te beheersen. In plaats van alleen maar naar het scherm te staren en te wachten tot het doelwit weer in beeld verschijnt, handelt CosFly-VLA als een detective met een sterke verbeelding. Wanneer het doelwit achter een gebouw verdwijnt, bevriest de drone niet. Het gebruikt zijn kennis van de lay-out van de stad en de laatst bekende snelheid van de persoon om te raden waar ze waarschijnlijk zijn. Het denkt: "Oké, ze liepen naar rechts, en dat gebouw staat aan de linkerkant, dus ze moeten aan de andere kant tevoorschijn komen." Vervolgens vliegt het een berekend pad om hen daar te ontmoeten. De onderzoekers hebben deze drone getraind met een speciale "receptuur" die veel oefening met lange perioden van blindheid omvatte, waardoor de drone leerde om zijn ruimtelijk inzicht meer te vertrouwen dan zijn ogen wanneer de ogen falen. Ze hebben het getest in een high-tech videogamewereld genaamd CARLA, waar de drone voetgangers door complexe stadskaarten moest achtervolgen. De resultaten suggereren dat deze nieuwe aanpak veel beter is in het houden van het doelwit in het vizier en het voorkomen van crashes vergeleken met oudere, meer basale dronebreinen, vooral wanneer het doelwit langdurig verborgen is.

De Detective-Drone: Hoe CosFly-VLA werkt

Het kernidee achter dit artikel is dat het achtervolgen van een bewegend doelwit in een stad lijkt op een spelletje verstoppertje spelen waarbij de zoeker moet blijven bewegen, zelfs als hij de verstoppertje niet kan zien. De onderzoekers, geleid door een team van Autel Robotics en verschillende universiteiten, realiseerden zich dat de meeste bestaande dronesystemen erg goed zijn in "zien en volgen", maar slecht in "raden en herstellen" wanneer het zicht wordt geblokkeerd.

Het Probleem: De Paniek bij de "Blinde Vlek"
Stel je voor dat je een videogame speelt waarbij je een personage moet volgen. Plotseling bedekt een muur het scherm. Als jouw personage dan zomaar stopt of willekeurig rondvliegt, verlies je. In de echte wereld, als een drone het zicht op een persoon verliest, kan hij de verkeerde kant op vliegen, tegen een boom botsen of gewoon opgeven. Het artikel betoogt dat de oude manier van drones trainen — hen duizenden foto's laten zien van wandelende mensen — hen niet leert hoe ze om moeten gaan met de momenten waarop de persoon niet zichtbaar is.

De Oplossing: Een Brein dat in 3D Denkt
CosFly-VLA is een "Vision-Language-Action" model. Laten we dat ontleden met een eenvoudige analogie:

Vision (Zicht): Het heeft ogen (camera's) die de wereld zien.
Language (Taal): Het kan instructies lezen zoals "Volg de persoon in het rode shirt."
Action (Actie): Het bestuurt de motoren van de drone om omhoog, omlaag, links, rechts te bewegen en te draaien.

Maar wat CosFly-VLA speciaal maakt, is de Spatial Awareness (Ruimtelijk Bewustzijn). Wanneer het doelwit verborgen is, gokt de drone niet zomaar; het bouwt een "mentale hypothese". Het vraagt zichzelf af: "Waar was de persoon voor het laatst? Waar zijn de gebouwen? Als ze rechtdoor bleven lopen, waar zouden ze nu zijn?" Het vliegt vervolgens naar die plek, klaar om het doelwit te grijpen op het moment dat ze weer verschijnen.

Het Trainingsrecept: Van Student naar Meester
De onderzoekers hebben de drone niet alleen geleerd te vliegen; ze gaven het een zeer specische, vierstaps trainingscursus om het een meester-tracker te maken:

De "Stadskaart" Bootcamp (Spatially Grounded Pretraining): Voordat de drone leerde achtervolgen, bestudeerde hij duizenden luchtfoto's en 3D-puzzels. Het leerde over afstanden, hoogtes en hoe gebouwen het zicht blokkeren. Dit is als het leren aan een student om een kaart te lezen voordat je hem op een speurtocht stuurt.
De "Van Makkelijk naar Moeilijk" School (Curriculum Learning): De drone begon met gemakkelijke trajecten waarbij de persoon altijd zichtbaar was. Daarna maakten de docenten (de onderzoekers) het langzaam moeilijker door lange perioden in te voeren waarin de persoon achter gebouwen verborgen was. Dit dwong de drone om zijn "gokvaardigheden" te oefenen.
De "Hardop Denken" Les (Chain-of-Thought): Dit is het coolste deel. De drone werd geleerd om "hardop te denken" voordat hij bewoog. Wanneer het doelwit verdween, genereerde het een tekstuele uitleg zoals: "Het doelwit is achter het gebouw. Ze liepen naar rechts, dus ik moet naar rechts vliegen en wachten." Deze redeneerstap hielp de drone te begrijpen waarom het een bepaalde zet maakte, en niet alleen wat het moest doen.
De "Live Fire" Oefening (Reinforcement Learning): Ten slotte vloog de drone in een gesimuleerde stad (de CARLA game engine) en leerde door te doen. Als de drone crashte, kreeg hij een "slecht cijfer". Als hij de persoon succesvol vond na een lange tijd van verborgen blijven, kreeg hij een "goed cijfer". In de loop van de tijd leerde de drone om vloeiender en veiliger te vliegen.

Wat de Cijfers Zeggen
De onderzoekers hebben hun nieuwe drone getest tegen oudere, standaardmodellen. Ze gebruikten twee soorten tests:

Open-Loop: De drone keek naar een videoclip en voorspelde waar de persoon zou zijn, zonder daadwerkelijk te vliegen.
Closed-Loop: De drone vloog daadwerkelijk in de simulator en maakte realtime beslissingen.

De resultaten waren veelbelovend. In de "Open-Loop" tests maakte CosFly-VLA minder fouten in het voorspellen van het pad van het doelwit vergeleken met de standaardmodellen. Specifiek verminderde het de gemiddelde fout in het voorspellen van de positie van het doelwit met ongeveer 34% op bekende kaarten en 35% op nieuwe, onbekende kaarten.

In de echte "Closed-Loop" vliegtests was de verbetering in succespercentages zelfs nog dramatischer. Op bekende kaarten slaagde de nieuwe drone er 29,8% vaker in om het doelwit te volgen dan het standaardmodel (een sprong van 57% succes naar 74%). Op volledig nieuwe kaarten verbeterde het ook, zij het met een kleinere marge. Het belangrijkste is dat de nieuwe drone minder vaak crashte en een veiligere afstand tot het doelwit bewaarde.

De Kanttekening: Het is Nog steeds een Simulatie
Hoewel de resultaten opwindend zijn, is het artikel zeer duidelijk over de beperkingen. Al deze tests vonden plaats in een computersimulatie (de CARLA game). De drone is nooit in de echte wereld gevlogen met echte wind, echte regen of echte onvoorspelbare mensen. De onderzoekers geven toe dat de fysica in de echte wereld rommeliger kan zijn dan in het spel. Ze merken ook op dat de drone getraind is op een specifieke set stadskaarten en voetgangersgedrag, dus het zou kunnen worstelen met zeer verschillende omgevingen (zoals een dicht bos of een druk winkelcentrum) die het nog niet heeft gezien.

De Belangrijkste Conclusie
CosFly-VLA suggereert dat voor drones om echt nuttig te zijn in complexe steden, ze moeten stoppen met alleen maar "reageren" op wat ze zien en moeten beginnen met "redeneren" over wat ze niet zien. Door een sterk begrip van 3D-ruimte te combineren met een stapsgewijs redeneerproces, kunnen deze drones op koers blijven, zelfs wanneer het doelwit verdwijnt. Het is een stap richting autonome drones die net zo slim zijn als een menselijke piloot die de buurt kent, in plaats van alleen een camera die een stip volgt.

Technische Samenvatting: CosFly-VLA

Probleemformulering

Dynamische doelwittracking voor Unmanned Aerial Vehicles (UAV's) in complexe stedelijke omgevingen staat voor een kritieke foutmodus: voortdurende occlusie (afdekking). Hoewel bestaande Vision-Language-Action (VLA) policies uitblinken in het volgen van zichtbare doelen, degradeert hun prestatie aanzienlijk wanneer doelen worden geblokkeerd door gebouwen, vegetatie of menigten. In deze scenario's verliezen conventionele detectie-reidentificatie-controle pipelines het stabiele identiteitsbewijs dat nodig is voor herstel. Het artikel herformuleert deze uitdaging niet louter als "zien en volgen", maar als een closed-loop herstelprobleem. De agent moet een ruimtelijke hypothese behouden over een onzichtbaar doelwit, de waarschijnlijke regio van herverschijning voorspellen met behulp van ruimtelijke priors, en corrigerende acties uitvoeren om drift te onderdrukken en het doelwit opnieuw te acquireren zonder directe visuele observatie.

Methodologie: CosFly-VLA

De auteurs stellen CosFly-VLA voor, een ruimtelijk bewuste VLA-modellen die gezamenlijk doelwitten lokaliseren (grounding), zichtbaarheid inschatten en continue vliegacties genereren.

1. Modelarchitectuur

Backbone: Het model maakt gebruik van een bevroren Qwen3.5 vision-language backbone, versterkt met Low-Rank Adaptation (LoRA) adapters.
Meta-Query Interface: Om breekbare JSON-decodering te vermijden, introduceert de architectuur begrensd-getagde meta-query spans (<boi_act>, <boi_box, <boi_vis>) die taakspecifieke verborgen toestanden naar gedecoupleerde koppen routeren.
Drie Gestructureerde Outputs:
1. Action Head: Een 12-laagse Diffusion Transformer (DiT) die gebruikmaakt van Flow Matching om een 8-staps, 4-DoF (dx, dy, dz, dyaw) waypoint-delta action chunk te voorspellen. Dit modelleert een continue trajectdistributie in plaats van discrete tokens.
2. Bounding Box Head: Een MLP die de huidige locatie van het doelwit voorspelt (0–1000 grid) voor visuele grounding.
3. Visibility Head: Een MLP die de waarschijnlijkheid van de zichtbaarheid van het doelwit inschat, wat cruciaal is voor het bepalen wanneer men moet vertrouwen op ruimtelijke redenering in plaats van uiterlijk.
Chain-of-Thought (CoT): Het model is getraind om een redeneerspoor (<thought>) uit te stoten vóór het gestructureerde antwoord, waarbij expliciet wordt geredeneerd over occlusie en herstelstrategieën.

2. Trainingsrecept

De training volgt een vierfasig progressief curriculum dat is ontworpen om luchtvaart-specifieke ruimtelijke priors en closed-loop robuustheid te injecteren:

Spatially Grounded Continued Pretraining (CPT): Een mengsel van 500k samples (70% interne UAV-trajecten, 30% externe luchtvaart-ruimtelijke VL-datasets zoals AirSpatial en Open3DVQA-v2) past de backbone aan op UAV-perspectief diepte, afstand en 3D-ruimtelijke redenering.
Curriculum-gebaseerde Supervised Fine-Tuning (SFT): Een driefasig proces:
- Multi-head warm-up: Initialiseert koppen met een bevroren backbone.
- Natuurlijk curriculum: Traint op standaard tracking-distributies.
- Hard/Long-occlusion curriculum: Bevat expliciet vensters met 4–5 onzichtbare frames (die voorheen werden weggefilterd) om herstelgedrag aan te leren.
Chain-of-Thought Training: Gebruikt door docenten gegenereerde redeneersporen voor harde/lange occlusiegevallen om herstel-georiënteerde logica aan te leren vóór de gestructureerde antwoorden.
Closed-Loop Reinforcement Learning (RL): De action head wordt gefinetuned met behulp van Expert-Guided Flow-Policy Optimization (EG-FPO) in een CARLA-simulator. De beloningsfunctie combineert stand-off afstand behoud, grounding kwaliteit (IoU), botsingsvermijding en taaksucces. De backbone blijft bevroren; alleen de action expert wordt bijgewerkt.

Belangrijkste Bijdragen

Herformulering van Tracking: Het artikel verschuift de focus van zichtbaar-frame imitatie naar occlusie-robuust closed-loop herstel, waarbij reproduceerbare Easy/Medium/Hard protocollen worden gedefinieerd op basis van geometrische zichtbaarheid.
Spatially Aware VLA Architectuur: Introduceert een meta-query interface die actie, grounding en zichtbaarheidsprognose ontkoppelt, waardoor het model een toestandsschatting kan behouden onder gedeeltelijke observeerbaarheid.
Progressieve Trainingsstrategie: Demonstreert de effectiviteit van het combineren van Spatially Grounded CPT, curriculum learning met lange-occlusie data, CoT redenering en on-policy RL om de kloof tussen offline supervisie en closed-loop implementatie te overbruggen.
Evaluatiekader: Stelt een rigoureus evaluatieprotocol vast met occlusie-gegradeerde open-loop vensters en closed-loop CARLA rollouts op zowel bekende als onbekende kaarten.

Experimentele Resultaten

De evaluatie vergelijkt CosFly-VLA-0.8B met algemene VLMs (bijv. Qwen3.5, Opus) en algemene VLA baselines (OpenVLA, $\pi_0$ , $\pi_{0.5}$ ).

Open-Loop Prestaties:
- Ten opzichte van OpenVLA vermindert CosFly-VLA-0.8B (SFT+CoT) de Average Displacement Error (ADE) met 34,1% op de bekende test en 35,3% op de onbekende test.
- De verbeteringen zijn het meest uitgesproken in "Hard" occlusie-segmenten, met ADE-reducties van 46,7% (bekend) en 39,2% (onbekend).
- Het model bereikt superieure bounding box grounding (IoU ~0,65) en visibility schatting (F1 ~0,94).
Closed-Loop Prestaties:
- De RL-getunede variant verbetert de Success Rate (SR) met 29,8% (+17 procentpunten) op de bekende test en 2,5% (+2 punten) op de onbekende test vergeleken met OpenVLA.
- Het vermindert de rollout ADE met 10,0% (bekend) en 8,7% (onbekend) en verlaagt de stand-off afstand fout aanzienlijk.
- Kwalitatieve analyse laat zien dat de RL-policy succesvol herstelt van drift en botsingen vermijdt in dichte stedelijke corridors waar baselines falen.
Ablatie Studies:
- Spatially Grounded CPT wordt geïdentificeerd als de primaire drijfveer voor cross-map generalisatie (winsten in onbekende tests).
- CoT supervisie levert de grootste marginale winst op "Hard" bekende testgevallen, wat de belangrijkheid van expliciete redenering voor occlusieherstel valideert.

Betekenis en Claims

Het artikel beweert dat CosFly-VLA een significante stap voorwaarts is in het bewegen van UAV-tracking van zichtbaar-frame imitatie naar ruimtelijk gegronde, action-closed-loop controle. De auteurs benadrukken dat robuuste tracking onder occlusie vereist:

Expliciete ruimtelijke redenering over onzichtbare doelwitten in plaats van enkel te vertrouwen op uiterlijk.
Data constructie die lange-occlusie samples behoudt in plaats van ze als ruis te filteren.
Closed-loop optimalisatie om zich aan te passen aan de observatieverdeling die wordt geïnduceerd door de eigen acties van de policy, om foutaccumulatie te voorkomen.

Het werk stelt vast dat een 0,8B parameter model, wanneer getraind met een ruimtelijk gegronde curriculum en closed-loop RL, algemene grotere VLA baselines kan overtreffen in complexe, geoccludeerde luchtvaartscenario's. De auteurs merken op dat hoewel de resultaten veelbelovend zijn in simulatie, toekomstig werk vereist is om uitdagingen bij real-world implementatie aan te pakken, zoals sensorruis, communicatielatentie en diverse doelwitgedragingen.