WildBox: A Dataset and Benchmark for Aerial Monocular 3D Detection of African Savanna Wildlife

Sintesi Tecnica: WildBox – Un Dataset e un Benchmark per il Rilevamento 3D Monoculare Aereo di Fauna Selvatica della Savana Africana

Problematica
Sebbene il monitoraggio tramite droni sia sempre più vitale per l'ecologia e la conservazione della fauna selvatica, le attuali pipeline di visione artificiale per i video aerei rimangono prevalentemente bidimensionali. Sebbene il rilevamento, il conteggio e il tracciamento 2D siano consolidati, essi sono insufficienti per compiti a valle che richiedono ragionamento geometrico nel mondo reale, come il re-identification consapevole del punto di vista o l'autonomia dei droni. Gli attuali benchmark per il rilevamento monoculare 3D (es. KITTI, nuScenes, Omni3D) sono dominati da immagini automobilistiche o indoor a livello del suolo. Al contrario, i dataset esistenti sulla fauna selvatica forniscono solo supervisione 2D. Esistono dataset sintetici, ma mancano di controparti nel mondo reale. Questa lacuna solleva una domanda critica: è possibile la percezione 3D monoculare su video reali di fauna selvatica ripresi da droni, e quanto bene i rilevatori 3D open-vocabulary esistenti si trasferiscono in questo dominio?

Metodologia e Costruzione del Dataset
Gli autori introducono WildBox, un dataset e un benchmark composto da 237.505 annotazioni di bounding box 3D attraverso sette specie della savana africana (raggruppate in sei classi di benchmark: giraffa reticolata, zebra delle pianure, zebra di Grévy, elefante africano di savana, gazzella di Thomson e rinoceronte).

• Fonte dei Dati: Il dataset aggrega filmati obliqui da droni DJI raccolti tra il 2023 e il 2026 presso l'Ol Pejeta Conservancy (Kenya), la Bristol Zoological Society (Regno Unito) e il Mpala Research Centre.
• Pipeline di Annotazione: È stato utilizzato un approccio "model-in-the-loop". I filmati grezzi sono stati segmentati in clip (max 200 frame) con punti di vista stabili. Il sistema WildLIFT ha proposto 3D oriented bounding boxes, che sono stati poi raffinati e confermati frame per frame da revisori umani.
• Formato di Annotazione: Le annotazioni seguono un formato compatibile con KITTI/Omni3D all'interno di un frame della telecamera normalizzato per scala per ogni segmento. I box includono posizione, estensione, matrici di rotazione 3×3 complete e ID di istanza coerenti all'interno dei segmenti. La scala metrica assoluta non è asserita tra i voli; invece, le coordinate sono normalizzate rispetto alla profondità assoluta mediana della ricostruzione del segmento.
• Configurazione del Benchmark: Il dataset è suddiviso in 51 video di addestramento e 13 di validazione (345 segmenti totali), con stratificazione per specie per evitare il leakage.

Protocollo di Valutazione
Il documento valuta due architetture 3D monoculari open-vocabulary strutturalmente distinte:

1. OVMono3D-LIFT: Un'architettura Cube R-CNN con un classificatore stimolato da prompt testuali CLIP.
2. DetAny3D: Un modello foundation promptabile che fonde i backbones SAM (frozen) e UniDepth pre-addestrati su DINOv2.

Sono stati testati quattro scenari di valutazione:

1. Zero-Shot a Vocabolario Chiuso: Utilizzando lo stadio 2D nativo dell'architettura addestrato su Omni3D (filtrato per classi non relative alla fauna selvatica).
2. Zero-Shot a Vocabolario Aperto: Utilizzando GroundingDINO per le proposte 2D.
3. Zero-Shot con Prompt 2D Ground-Truth: Fornendo box 2D perfetti e label di classe alla testa 3D per isolare il fallimento dello stadio 3D.
4. Fine-Tuning Supervisionato: Addestramento sul set di addestramento WildBox.

Inoltre, è stata testata una strategia di curriculum-initialization per OVMono3D-LIFT, pre-addestrando su una classe "zebra" fusa (pianure + Grévy) prima del fine-tuning sulle classi separate.

Risultati Chiave

• Collasso Zero-Shot: I modelli foundation 2D open-vocabulary localizzano con successo la fauna selvatica (50.55 AP@50 per OVMono3D-LIFT, 60.89 per DetAny3D). Tuttavia, il lifting 3D zero-shot collassa a 0.00 AP in tutte le architetture e nelle condizioni di input 2D, inclusi i casi con box 2D ground-truth forniti. Ciò isola il fallimento strettamente allo stadio 3D (stima della profondità e lifting del box) piuttosto che al rilevamento 2D o ai design specifici della testa.
• Recupero tramite Fine-Tuning: Il fine-tuning supervisionato su WildBox recupera prestazioni misurabili. La migliore configurazione (OVMono3D-LIFT con curriculum initialization) raggiunge 8.68 ± 0.47 AP-BEV@0.50 e 13.17 ± 0.69 AP3D.
• Decomposizione dell'Errore: Un'analisi disgiunta della Normalized Hausdorff Distance (NHD) rivela che la profondità (asse z) costituisce l'84–99% dell'errore totale. Nelle impostazioni zero-shot, la profondità contribuisce per oltre il 99% dell'errore. Anche con input 2D perfetti, l'errore di profondità rimane di due ordini di grandezza superiore rispetto agli altri componenti, identificando la stima della profondità monoculare aerea come il collo di bottiglia dominante.
• Apprendimento Curriculum: Il pre-addestramento su una superclasse fusa (zebre) prima del fine-tuning sulle sottoclassi ha migliorato le prestazioni macro con meno iterazioni totali rispetto al fine-tuning diretto. I guadagni sono stati più significativi per la sottoclasse più rara (zebra di Grévy) e per la classe principale (zebra delle pianure).
• Diversità del Video vs Conteggio degli Istanze: Le prestazioni correlano più fortemente con il numero di video di addestramento (diversità di viewpoint/scena) che con il numero grezzo di istanze annotate. Ad esempio, le gazelle (3 video, 43k istanze) hanno performato peggio dei rinoceronti (15 video, 28k istanze).

Significatività e Rivendicazioni
Il documento afferma che WildBox è il primo dataset a combinare immagini reali da droni, molteplici specie di fauna selvatica e bounding box 3D tracciati in formato standard. Il suo contributo primario è stabilire un benchmark che rivela le attuali limitazioni della percezione 3D open-vocabulary nei domini aerei.

Gli autori concludono con modestia che, sebbene i modelli foundation 2D siano efficaci per la localizzazione della fauna selvatica, la stima della profondità monoculare aerea rimane il problema aperto dominante che impedisce un rilevamento 3D efficace. Il dataset e i baseline vengono rilasciati per abilitare il progresso nella percezione 3D della fauna selvatica, nella percezione 3D tracciata, nel re-identification consapevole del punto di vista e nell'autonomia dei droni consapevole della fauna selvatica, colmando il divario tra il monitoraggio ecologico e la comprensione della scena 3D monoculare. Il benchmark evita esplicitamente rivendicazioni di scala metrica assoluta, concentrandosi sul rilevamento 3D a scala relativa all'interno dei segmenti video.