Do Open-Vocabulary Detectors Transfer to Aerial Imagery? A Comparative Evaluation

Technische Samenvatting: Transfereert Open-Vocabulary Detectie naar Luchtfotografie?

Probleemstelling
Open-Vocabulary Object Detection (OVD) heeft succes getoond bij het herkennen van nieuwe categorieën in natuurlijke beelden op ooghoogte door gebruik te maken van visuele-taalmodellen (VLM's). De overdraagbaarheid van deze modellen naar het luchtdomein is echter nog niet onderzocht. Luchtfotografie brengt specifieke uitdagingen met zich mee, waaronder extreme schaalvariatie, een strikt nadir perspectief (van bovenaf gezien) en dichte objectclustering. Bovendien zijn semantische categorieën in luchtdatasets vaak afhankelijk van fijnmazige attributen of domeinspecifieke terminologie die mogelijk niet overeenkomen met de natuurlijke taal-priors die in VLM's zijn gecodeerd tijdens training op beelden op ooghoogte. Dit artikel behandelt de kritieke vraag of algemene zero-shot OVD-modellen een levensvatbare baseline kunnen vormen voor Unmanned Aerial Vehicle (UAV) toepassingen zonder gespecialiseerde fine-tuning.

Methodologie
De auteurs presenteren de eerste systematische benchmark die vijf state-of-the-art OVD-modellen evalueert op de LAE-80C dataset, een rigoureuze stresstest die de validatiesets van vier gevestigde luchtdatasets (DOTA-v2.0, DIOR, FAIR1M en xView) aggregeert. De dataset bestaat uit 3.592 afbeeldingen en 8bekende 86.558 geannoteerde instanties over 80 categorieën, met significante taxonomische complexiteiten zoals hiërarchische overlappingen (bijv. "voertuig" versus "personenauto") en attribuut-afhankelijke klassen (bijv. "werkende" versus "niet-werkende" schoorsteen).

De evaluatie omvat vijf modellen die uitsluitend zijn voorgetraind op natuurlijke beelden op ooghoogte:

1. Grounding DINO (Transformer-gebaseerd, Swin-L backbone)
2. OWLv2 (Dense image-text matching, ViT-L/14 backbone)
3. YOLO-World (Real-time, RepVL-PAN architectuur)
4. YOLOE (Real-time, YOLOv11-gebaseerd)
5. LLMDet (Integreert een bevroren LLM voor semantisch redeneren)

Het experimentele protocol hanteert een strikte zero-shot setting (geen fine-tuning op luchtdatasets) en isoleert prestatiefactoren via drie inferentie-modi:

• Global Inference: Prompting met alle 80 categorieën simultaan om semantische verwarring te testen.
• Oracle Inference: Prompting met enkel de grondwaarheid-categorieën die aanwezig zijn in de afbeelding om visuele lokalisatiecapaciteiten te isoleren.
• Single-Category Oracle: Iteratieve inferentie per klasse om aandacht-degradatie te testen.

Daarnaast evalueert de studie prompt engineering-strategieën, inclusief domeinspecifieke prefixing ("Aerial view of {category}") en synoniem-expansie, waarbij Intersection over Area (IoA) wordt gebruikt als de primaire metriek om rekening te houden met schaalvariatie in satellietbeelden.

Belangrijkste Resultaten
De studie onthult een ernstig falen van de domeintransfer voor alle geëvalueerde modellen:

• Algehele Prestaties: Het best presterende model, OWLv2, bereikt slechts een F1-score van 27,6% met een fout-positief ratio van 69%. Andere modellen presteren aanzienlijk slechter, waarbij YOLO-varianten F1-scores onder de 4% behalen.
• Semantische Verwarring als Primaire Bottleneck: Het reduceren van de vocabulairegrootte van 80 klassen (Global mode) naar een gemiddelde van 3,2 klassen (Oracle mode) levert een 15× verbetering op in F1-score voor Grounding DINO (van 0,5% naar 7,4%). Dit geeft aan dat de modellen relevante visuele kenmerken kunnen extraheren, maar erin falen deze aan de juiste categorie te koppelen vanwege overlappende taxonomieën en semantische verwarring, in plaats van een totaal falen van de visuele lokalisatie.
• Falen van Prompt Engineering: Strategieën zoals het toevoegen van "Aerial view of" prefixes of het uitbreiden van synoniemen slaagden er niet in de prestaties te verbeteren. In sommige gevallen verslechterden ze de resultaten door de modellen te veel te beperken of door semantische drift te introduceren, wat bevestigt dat tekstuele adaptatie het visuele domeingap (zijaanzicht versus nadir-kenmerken) niet kan compenseren.
• Dataset Broosheid: De prestaties variëren drastisch tussen sub-datasets. Modellen behalen matige resultaten op object-gecentreerde datasets zoals DIOR (F1 ~0,53 voor LLMDet), maar storten in bij de hoge dichtheid van FAIR1M (F1 ~0,12) of de extreme schaalvariaties van xView.

Betekenis en Claims
Het artikel stelt vast dat de "open vocabulary" belofte van huidige VLM-gebaseerde detectoren niet effectief overdraagt van natuurlijke naar luchtgebieden zonder fundamentele architecturale wijzigingen of domein-adaptieve pretraining. De auteurs beweren dat:

1. De domeingap architecturaal is, niet lexicaal: De mismatch ligt in de manier waarop visuele encoders kenmerken extraheren (getraind op zijaanzichten) in plaats van in de linguïstische beschrijvingen van objecten.
2. Semantische verwarring domineert: De belangrijkste barrière voor prestaties is het onvermogen van het model om fijnmazige, hiërarchische categorieën te onderscheiden in een zero-shot setting, en niet het onvermogen om de objecten te zien.
3. Huidige modellen zijn ontoereikend voor autonome inzet: De geobserveerde precisie-recall trade-offs zijn extreem; conservatieve modellen missen de meeste objecten, terwijl agressieve modellen te veel valse alarmen genereren voor autonoom gebruik.

Het werk vormt een baseline voor toekomstig onderzoek en suggereert dat toekomstige lucht-OVD systemen zich moeten richten op intelligente vocabulaire-filtering gebaseerd op scènecontext, hybride detectie-pipelines of test-time adaptatiemechanismen, in plaats van te vertrouwen op kant-en-klare modellen voor natuurlijke beelden.