Do Open-Vocabulary Detectors Transfer to Aerial Imagery? A Comparative Evaluation

Sintesi Tecnica: I rilevatori Open-Vocabulary si trasferiscono all'imaging aereo?

Definizione del Problema
Il rilevamento di oggetti a vocabolario aperto (Open-Vocabulary Object Detection, OVD) ha dimostrato successo nel riconoscere categorie inedite in immagini naturali a livello del suolo, sfruttando modelli visione-linguaggio (VLM). Tuttavia, la trasferibilità di questi modelli al dominio aereo rimane inesplorata. L'imaging aereo presenta sfide distinte, tra cui l'estrema variazione di scala, prospettive zenitali (nadir) rigorose e densi raggruppamenti di oggetti. Inoltre, le categorie semantiche nei dataset aerei spesso dipendono da attributi granulari o terminologie specifiche del dominio che potrebbero non allinearsi con i pregiudizi del linguaggio naturale codificati nei VLM addestrati su immagini a livello del suolo. Questo articolo affronta la domanda critica se i modelli OVD general-purpose, zero-shot, possano servire come base valida per applicazioni di Veicoli Aerei a Pilotaggio Remoto (UAV) senza un fine-tuning specializzato.

Metodologia
Gli autori presentano il primo benchmark sistematico che valuta cinque modelli OVD allo stato dell'arte sul dataset LAE-80C, un rigoroso stress test che aggrega le divisioni di validazione di quattro dataset aerei stabiliti (DOTA-v.2.0, DIOR, FAIR1M e xView). Il dataset comprende 3.592 immagini e 86.558 istanze annotate attraverso 80 categorie, presentando complessità tassonomiche significative come sovrapposizioni gerarchiche (ad es., "veicolo" vs "auto passeggeri") e classi dipendenti da attributi (ad es., "lavorante" vs "non lavorante" per un camino).

La valutazione coinvolge cinque modelli preaddestrati esclusivamente su immagini naturali a livello del suolo:

1. Grounding DINO (basato su Transformer, backbone Swin-L)
2. OWLv2 (matching immagine-testo denso, backbone ViT-L/14)
3. YOLO-World (real-time, architettura RepVL-PAN)
4. YOLOE (real-time, basato su YOLOv11)
5. LLMDet (integra un LLM congelato per il ragionamento semantico)

Il protocollo sperimentale impiega un rigoroso setting zero-shot (nessun fine-tuning sui dati aerei) e isola i fattori di prestazione attraverso tre modalità di inferenza:

• Inferenza Globale: Prompting con tutte le 80 categorie simultaneamente per testare la confusione semantica.
• Inferenza Oracle: Prompting solo con le categorie presenti nella verità del terreno (ground-truth) nell'immagine per isolare le capacità di localizzazione visiva.
• Single-Category Oracle: Inferenza iterativa per classe per testare il degrado dell'attenzione.

Inoltre, lo studio valuta le strategie di prompt engineering, inclusi il prefisso specifico del dominio ("Vista aerea di {categoria}") e l'espansione dei sinonimi, utilizzando l'Intersezione sull'Area (IoA) come metrica primaria per tenere conto della variazione di scala nelle immagini satellitari.

Risultati Chiave
Lo studio rivela un grave fallimento del trasferimento di dominio in tutti i modelli valutati:

• Prestazioni Complessive: Il modello con le migliori prestazioni, OWLv2, raggiunge solo un F1-score del 27,6% con un tasso di falsi positivi del 69%. Altri modelli performano significativamente peggio, con varianti YOLO che raggiungono F1-score inferiori al 4%.
• La Confusione Semantica come Collo di Bottiglia Primario: Ridurre la dimensione del vocabolario da 80 classi (modalità Global) a una media di 3,2 classi (modalità Oracle) produce un miglioramento di 15 volte nell'F1-score per Grounding DINO (dallo 0,5% al 7,4%). Ciò indica che i modelli possono estrarre caratteristiche visive rilevanti ma falliscono nel mapparle alla categoria corretta a causa di tassonomie sovrapposte e confusione semantica, piuttosto che un fallimento totale della localizzazione visiva.
• Fallimento del Prompt Engineering: Strategie come l'aggiunta di prefissi come "Vista aerea di" o l'espansione dei sinonimi non sono riuscite a migliorare le prestazioni. In alcuni casi, hanno degradato i risultati introducendo vincoli eccessivi o deriva semantica, confermando che l'adattamento testuale non può compensare il gap del dominio visivo (profilo laterale vs caratteristiche zenitali).
• Fragilità del Dataset: Le prestazioni variano drasticamente tra i sottodiset: i modelli ottengono risultati moderati su dataset centrati sugli oggetti come DIOR (F1 ~0,53 per LLMDet) ma crollano di fronte all'alta densità di FAIR1M (F1 ~0,12) o alle estreme variazioni di scala di xView.

Significatività e Rivendicazioni
L'articolo stabilisce che la promessa "open vocabulary" degli attuali rilevatori basati su VLM non si trasferisce efficacemente dai domini naturali a quelli aerei senza cambiamenti architettonici fondamentali o pre-addestramento adattivo al dominio. Gli autori affermano che:

1. Il gap di dominio è architettonico, non lessicale: Il disallineamento risiede nel modo in cui gli encoder visivi estraggono le caratteristiche (addestrati su profili laterali) piuttosto che nelle descrizioni linguistiche degli oggetti.
2. La confusione semantica domina: La barriera principale alle prestazioni è l'incapacità del modello di disambiguare categorie fini e gerarchiche in un setting zero-shot, non l'incapacità di vedere gli oggetti.
3. I modelli attuali sono inadeguati per il deployment autonomo: I trade-off osservati tra precisione e richiamo (precision-recall) sono estremi; i modelli conservativi perdono la maggior parte degli oggetti, mentre i modelli aggressivi generano troppi falsi allarmi per l'uso autonomo.

Il lavoro fornisce una base per la ricerca futura, suggerendo che i futuri sistemi OVD aerei debbano concentrarsi sul filtraggio intelligente del vocabolario basato sul contesto della scena, su pipeline di rilevamento ibride o su meccanismi di adattamento al tempo di test, piuttosto che affidarsi a modelli off-the-shelf di immagini naturali.