💻 computer science

Memory-Augmented Multimodal Large Language Models for Small Object Understanding in Streaming Aerial Videos

Dit artikel introduceert **DroneEyes**, de eerste open-vocabulary dataset op pixelniveau voor minuscule luchtdoelen, en **SkyAnchor**, een geheugenversterkt multimodaal groot taalmodel met een semantiekbewuste tokenrouter en een hiërarchische geheugenbank om real-time, efficiënt begrip van kleine objecten in stromende luchtbeelden mogelijk te maken.

Oorspronkelijke auteurs: Penglei Sun, Yehua Huang, Zhuoli Tao, Xiang Li, Runwei Guan, Yaoxian Song, Kaiyong Zhao, Henghui Ding, Bo Han, Yang Yang, Xiaowen Chu

Gepubliceerd 2026-07-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Penglei Sun, Yehua Huang, Zhuoli Tao, Xiang Li, Runwei Guan, Yaoxian Song, Kaiyong Zhao, Henghui Ding, Bo Han, Yang Yang, Xiaowen Chu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de piloot bent van een piepkleine, hypermoderne drone die boven een bruisende stad vliegt. Je taak is niet alleen om mooie foto's te maken; je moet vragen van een menselijke operator in realtime beantwoorden, zoals "Zoek die rode auto" of "Laat me die witte vrachtwagen zien." Dit is de wereld van aerial vision (luchtvisie), waar computers proberen te begrijpen wat ze vanuit de lucht zien. Maar hier komt de adder onder het gras: de dingen die de drone ziet zijn vaak ontzettend klein—zoals een enkele mier op een gigantische picknickkleed. Om het nog moeilijker te maken, vliegt de drone, dus hij kan niet wachten tot de hele film klaar is voordat hij antwoord geeft; hij moet direct reageren terwijl de videostroom binnenkomt, frame voor frame. Dit wordt streaming video understanding genoemd.

Stel je nu voor dat je probeert die kleine mier aan een vriend te beschrijven terwijl je een marathon loopt. Je kunt geen enorme fotoalbums meeslepen van elke stap die je hebt gezet (dat is te zwaar), maar als je vergeet waar je een seconde geleden was, verlies je de mier misschien in de menigte. Dit is exact het probleem waar onderzoekers geconfronteerd worden met Multimodal Large Language Models (MLLMs). Dit zijn superintelligente AI-hersenen die kunnen zien en lezen, maar ze raken meestal overweldigd door minuscule details of vergeten het verleden wanneer de video blijft doorgaan. Dit artikel pakt de uitdaging aan om deze AI-hersenen te leren hoe ze kleine, bewegende objecten in live dronebeelden kunnen opsporen zonder in de war te raken of zonder batterijvermogen te verbruiken.

Het Probleem van de Kleine Doelwit

De onderzoekers begonnen met de realisatie dat bestaande AI-tools verschrikkelijk waren in deze specifieke taak. De meeste AI-modellen zijn getraind op video's van mensen en honden in parken, waar de onderwerpen groot en gemakkelijk te zien zijn. Wanneer je een AI op een dronevideo richt, probeert de AI de hele afbeelding plat te drukken om ruimte te besparen, waarbij een kleine auto hetzelfde behandelt als een enorm gebouw. Het resultaat? De kleine auto raakt verloren in de waas.

Om dit op te lossen, bouwde het team eerst een nieuwe trainingsgrond genaamd DroneEyes. Zie dit als een enorme bibliotheek van 2.140 high-definition dronevideo's, maar met een speciale twist: elk enkel klein object in elk enkel frame is omlijnd met pixel-perfecte precisie. Ze hebben niet alleen dozen rond dingen getekend; ze hebben de exacte vorm van een kleine zilveren auto of een verre voetganger getraceerd. Deze dataset bevat meer dan 176.000 paren vragen en antwoorden, die de AI leren om deze kleine dingen niet alleen te vinden, maar ze ook in detail te beschrijven, zoals: "Dat is een rood beeldhouwwerk in een cirkelvormige binnenplaats."

Maak kennis met SkyAnchor: De Nieuwe Hersenen van de Drone

Met deze nieuwe data bouwde het team een nieuw AI-model genaamd SkyAnchor. Als de oude modellen zoals een student waren die een boek probeerde te lezen terwijl hij met ballen jongleerde, dan is SkyAnchor een student met een supergeorganiseerd notitieblok en een magische markeerstift. Het lost de twee grootste hoofdpijndossiers van dronevisie op met twee slimme trucs:

De Magische Markeerstift (Semantics-Aware Token Router):
Normaal gesproken, wanneer een AI naar een video kijkt, breekt het de afbeelding op in duizenden kleine puzzelstukjes (genaamd tokens). Het behandelt elk stukje gelijk, zelfs de saaie achtergrondlucht. SkyAnchor gebruikt een "router" die werkt als een slimme markeerstift. Het scant de afbeelding en zegt: "Hé, dat stukje lucht is saai, laten we dat negeren," maar "Die kleine auto is belangrijk, laten we al zijn details behouden!" Hierdoor kan de AI zijn hersencapaciteit richten op de kleine doelwitten zonder de hele enorme afbeelding te hoeven verwerken, wat energie bespaart en de details scherp houdt.
Het Twee-Notitieblokken Systeem (Hierarchical Memory Bank):
Omdat de drone vliegt, moet de AI onthouden wat hij een paar seconden geleden heeft gezien om te weten waar het object nu is. Maar hij kan niet alles voor altijd onthouden, anders raakt zijn geheugen direct vol. SkyAnchor gebruikt een tweelaags geheugensysteem:
- Het "Wie"-notitieblok (Semantic Memory): Dit slaat de identiteit van het object op. Het onthoudt: "Dat is een zilveren sedan." Dit deel blijft lang in het geheugen zodat de AI niet vergeet wat hij volgt.
- Het "Waar"-notitieblok (Tracking Memory): Dit is een kortetermijngeheugen, een bewegend venster dat alleen de laatste paar seconden aan beweging vasthoudt. Het onthoudt: "De auto is net naar links bewogen."
  Door "wie het is" te scheiden van "waar het is", kan SkyAnchor een doelwit vloeiend volgen, zelfs wanneer de drone in- en uitzoomt, zonder in de war te raken of het object te verliezen.

Wat Ze Vonden

Het team testte SkyAnchor op hun nieuwe DroneEyes-dataset en vergeleek het met de slimste AI-modellen die momenteel beschikbaar zijn. De resultaten waren indrukwekkend. Bij de taak om objecten te beschrijven, scoorde SkyAnchor twee keer zo hoog als de beste algemene modellen. Wanneer het ging om het vinden en omlijnen van de kleine objecten (referring segmentation), versloeg het de op één na beste model met 15,3%, ondanks dat SkyAnchor veel kleiner en lichter is.

Maar de echte test was of deze AI een volledig nieuwe omgeving kon aan, die hij nog nooit eerder had gezien. De onderzoekers wierpen het op een andere dataset genaamd SkyFind, die maritieme scènes (oceaan) bevat. Zonder extra training verbeterde SkyAnchor de vorige beste resultaten met 25,9% in het nauwkeurig vinden van objecten. Dit suggereert dat het model een algemene vaardigheid heeft geleerd om kleine dingen te spotten, en niet alleen de trainingsvideo's heeft uit het hoofd geleerd.

De Praktijk in de Lucht

Ten slotte hebben de onderzoekers SkyAnchor niet alleen in een computerlaboratorium gelaten. Ze plaatsten het op een echte drone die boven een universiteitscampus vliegt. Ze optimaliseerden de software zodat deze kon draaien op een kleine, draagbare computer (een NVIDIA Jetson AGX Orin) zonder de noodzaak om gegevens naar de cloud te sturen. Het resultaat? Het systeem draaide 3,05 keer sneller dan een standaardopstelling, waardoor de drone in realtime vragen kon beantwoorden en contouren kon tekenen terwijl hij vloog.

In video's uit de echte wereld volgde SkyAnchor succesvol een rode SUV, een zilveren auto die verborgen lag op een grindweg, en zelfs een koi-vis in een vijver, terwijl de drone bewoog en het perspectief veranderde. Het raakte niet de weg in de schaduwen of raakte in de war door objecten die op elkaar leken.

De Kernboodschap

Dit artikel suggereert dat door een nieuwe, hoogwaardige dataset te combineren met een slim geheugensysteem en een focus-behoudende router, we AI veel beter kunnen maken in het spotten van kleine dingen in live dronebeelden. Het bewijst dat je geen gigantische, zware computer nodig hebt om dit te doen; een gestroomlijnd, geheugenbewust model kan op een drone vliegen en operators helpen precies te vinden waar ze naar op zoek zijn, nú. Hoewel het artikel sterke resultaten laat zien op specifieke datasets en in praktijktesten, geeft het ook aan dat toekomstig werk zich zal richten op het nog sneller maken van het systeem en het automatisch aansturen van de vliegroute van de drone om het doelwit in beeld te houden.

Technische Samenvatting: Geheugen-geaugmenteerde Multimodale Large Language Models voor het Begrip van Kleine Objecten in Stromende Luchtbeelden

1. Probleemstelling

Het artikel behandelt de uitdaging van online referring video object segmentation (RVOS) in stromende luchtbeelden die worden vastgelegd door Unmanned Aerial Vehicles (UAV's). In tegenstelling tot offline verwerking moeten UAV's in realtime reageren terwijl frames sequentieel binnenkomen zonder toegang tot toekomstige data. Deze setting presenteert twee intrinsieke uitdagingen:

Tiny Target Perception (Waarneming van minuscule doelwitten): Luchtdoelwitten nemen vaak een minuscuul deel in van hogeresolutiebeelden (bijv. <0,24% van het beeldoppervlak). Bestaande Multimodale Large Language Models (MLLMs) passen doorgaans uniforme visuele compressie toe (bijv. fixed-ratio token merging), wat kleine doelwitten en grote achtergronden gelijk behandelt, waardoor de fijne details die essentieel zijn voor de identificatie van kleine objecten verloren gaan.
Streaming Context vs. Resourcebeperkingen: Het begrijpen van een continue videostroom vereist temporele context om target-drift of verdwijning te voorkomen. Echter, onboard hardware is beperkt qua middelen, waardoor het onhaalbaar is om de volledige visuele geschiedenis van een steeds groeiende stroom te cachen. Bestaande geheugenmechanismen (bijv. lineaire schaling in SAM 3) falen in het handhaven van langdurige identiteit of zijn te zwaar voor edge-implementatie.

Verder identificeert het artikel een gebrek aan geschikte data: bestaande luchtbeelden-datasets (bijv. SkyFind, Aerial-Mind) vertrouwen op grove bounding boxes of statische afbeeldingen, terwijl dagelijkse datasets (bijv. MeViS) zich richten op grote objecten. Geen van deze biedt pixel-niveau, open-vocabulary, per-frame segmentatiemaskers voor stromende luchtbeelden.

2. Methodologie: SkyAnchor

De auteurs stellen SkyAnchor voor, een MLLM-framework dat specifiek is ontworpen voor het begrip van kleine objecten in stromende luchtbeelden. Het systeem werkt op een visie-taal backbone (Qwen2.5-VL) en een mask decoder (SAM 2), versterkt door twee kerncomponenten:

A. Semantics-Aware Token Router

Om de "tiny target"-uitdaging aan te pakken onder een vast visueel token-budget:

Mechanisme: De router verdeelt dichte ruimtelijke tokens in niet-overlappende blokken. In plaats van uniforme merging, evalueert een lichtgewicht scoring-netwerk de semantische salientie van elk token binnen een blok.
Aggregatie: Tokens worden samengevoegd via softmax-gewogen aggregatie, waarbij hogere gewichten worden toegewezen aan doelwit-relevante regio's en lagere gewichten aan de achtergrond.
Training: Een hulp-routingverlies ( $L_{route}$ ), gesuperviseerd door ground-truth maskers, stuurt de router aan om onderscheidende kenmerken van kleine objecten te behouden terwijl achtergrondruis wordt gecomprimeerd.

B. Hiërarchische Geheugenbank

Om de "streaming context"-uitdaging aan te pakken terwijl het geheugen wordt beheerd:

Semantic Memory Layer (Langetermijn): Slaat persistente, object-niveau verschijningskenmerken (anchors) op die zijn geëxtraheerd uit "anchor frames" (bijgewerkt elke $N$ frames). Deze laag bewaart de identiteit van het doelwit (bijv. "zilveren sedan") om langdurige drift te voorkomen en hels de VLM bij redeneren.
Tracking Memory Layer (Korte termijn): Onderhoudt een Fixed-Size First-In-First-Out (FIFO) sliding window van recente ruimtelijke toestanden (tracking memory). Deze laag ondersteunt korte-termijn mask-propagatie tussen anchor frames met behulp van de SAM 2 decoder.
Integratie: De twee lagen ontkoppelen temporele informatie, waardoor het model een stabiel begrip kan behouden zonder de volledige geschiedenis op te slaan.

C. Edge Deployment Strategie

Het systeem maakt gebruik van een asynchrone inferentie-planning:

De zware VLM-backbone draait alleen op ijle anchor frames (bijv. elke 16e frame) om semantische anchors bij te werken.
De lichtgewicht SAM 2 decoder draait dicht op elk frame, waarbij gebruik wordt gemaakt van gecachte tokens en de hiërarchische geheugenbank om maskers te propageren.
Optimalisatie omvat TensorRT-compilatie, CUDA Graph capture voor memory attention, en asynchrone planning om de doorvoer op edge-apparaten (NVIDIA Jetson AGX Orin) te maximaliseren.

3. Belangrijkste Bijdragen

Data: DroneEyes Dataset

De auteurs hebben DroneEyes geconstrueerd, de eerste grootschalige dataset voor pixel-niveau, open-vocabulary referentiële segmentatie in stromende luchtbeelden.

Schaal: 2.140 high-definition drone-video's (1080p–4K) en 176.623 QA-paren.
Granulariteit: Dichte per-frame segmentatiemaskers (pixel-niveau) in plaats van bounding boxes.
Taakniveaus:
- Level 1 (L1): Objectbeschrijving (geef een regio op, beschrijf het object).
- Level 2 (L2): Referring Expression (geef een tekstuele query op, segmenteer het object).
Kenmerken: Kenmerkt zich door een extreem lage gemiddelde object-tot-afbeelding ratio (0,24%), wat het een rigoureuze benchmark maakt voor tiny object detectie.

Methode: SkyAnchor Framework

Introductie van de Semantics-Aware Token Router om fijne details van kleine doelwitten te behouden onder compressie.
Ontwerp van de Hierarchical Memory Bank om de balans te vinden tussen langdurige identiteitsbehoud en korte-termijn tracking-efficiëntie in streaming scenario's.

Empirische Resultaten

DroneEyes Prestaties: SkyAnchor (3B parameters) presteert beter dan alle bestaande algemene MLLMs en specialistische segmentatiemodellen.
- L1 (Beschrijving): Behaalt een 2× verbetering in GPT-scores ten opzichte van de sterkste baselines.
- L2 (Segmentatie): Behaalt een J&F score van 38,10%, waarmee het de vorige beste (Sa2VA-26B, 33,05%) met 15,3% overtreft, ondanks het gebruik van aanzienlijk minder parameters.
- Robuustheid voor kleine objecten: Toont een opvallend voordeel bij ultra-kleine objecten (relatieve oppervlakte < $10^{-4}\%$ ), waarbij het baselines met wel 10,8 procentpunten overtreft.
Cross-Domain Generalisatie: Geëvalueerd op de SkyFind benchmark zonder fine-tuning. Op de ongeziene maritieme test-split verbeterde SkyAnchor de IoU@0.5 met 25,9% en de IoU@mean met 95,5% ten opzichte van de vorige domeinspecifieke SOTA (AerialREC), wat een sterke robuustheid tegen domeinverschuivingen aantoont.
Real-World Implementatie: Geïmplementeerd op een UAV met een NVIDIA Jetson AGX Orin. De optimalisatiepipeline bereikte een 3,05× versnelling ten opzichte van vanilla PyTorch, met een snelheid van 5,8 FPS (172ms latentie), wat online monitoring zonder cloud mogelijk maakt.

4. Betekenis en Claims

Het artikel claimt dat SkyAnchor een praktische oplossing biedt voor online luchtbeeldperceptie, waarbij de kloof wordt overbrugd tussen de hoge computationele eisen van MLLMs en de beperkte middelen van UAV's.

Data bijdrage: Het vult een kritiek gat in de literatuur door de eerste dataset te leveren met pixel-niveau, open-vocabulary annotaties voor stromende luchtbeelden, waarmee de beperkingen van bounding-box-gebaseerde datasets worden overstegen.
Methodologische Inzicht: Het demonstreert dat het simpelweg opschalen van MLLM-parameters onvoldoende is voor luchtbeeld-taken met kleine objecten; in plaats daarvan zijn gespecialiseerde architecturale ontwerpen (semantics-aware compressie en hiërarchisch geheugen) vereist om de extreme voorgrond-achtergrond onbalans en streaming-beperkingen aan te pakken.
Praktische Leefbaarheid: De succesvolle implementatie op echte hardware valideert dat complexe multimodale redenering en segmentatie onboard uitgevoerd kunnen worden zonder cloud-offloading, wat toepassingen ondersteunt in surveillance, zoek- en reddingsacties en infrastructuurinspectie.

De auteurs concluderen dat toekomstig werk zich zal richten op verdere hardware-bewuste optimalisatie om de natuurlijke capture rates te evenaren en op het verkennen van de integratie van segmentatie-outputs voor actieve cameracontrole en autonome navigatie.