From Orthomosaics to Raw UAV Imagery: Enhancing Palm Detection and Crown-Center Localization

Titolo: Dalle ortofoto alle immagini UAV grezze: Miglioramento del rilevamento delle palme e localizzazione del centro della chioma

1. Il Problema

Il monitoraggio ecologico e la gestione forestale richiedono la mappatura precisa degli alberi individuali, in particolare delle palme (Arecaceae), che sono componenti chiave degli ecosistemi tropicali. Attualmente, la maggior parte degli studi si basa su immagini ortomosaico generate dall'assemblaggio di centinaia di fotografie aeree. Sebbene le ortofoto offrano una vista spazialmente coerente, presentano limiti significativi per il dispiegamento sul campo:

• Artefatti di assemblaggio: Le distorsioni introdotte durante la creazione del mosaico possono degradare la qualità dell'immagine.
• Ridotta risoluzione: Il processo di stitching spesso comporta una perdita di dettaglio.
• Pre-elaborazione intensiva: Richiede passaggi computazionalmente costosi prima dell'uso.
• Errori di localizzazione: In foreste dense con chiome sovrapposte, il centro del "bounding box" (rettangolo di delimitazione) spesso non corrisponde al vero centro geometrico della chioma dell'albero, riducendo l'accuratezza per analisi ecologiche successive.

L'obiettivo dello studio è valutare l'uso di immagini UAV grezze (raw) per superare questi limiti e migliorare sia la fedeltà visiva che l'efficienza computazionale, introducendo anche annotazioni specifiche per il centro della chioma.

2. Metodologia

Lo studio è stato condotto nella Riserva FCAT in Ecuador, un'area di foresta tropicale umida. I ricercatori hanno raccolto dati utilizzando un drone DJI Phantom 4 RTK a 90 metri di altitudine.

• Dataset: Sono stati creati due dataset distinti:
  1. Orthomosaic Patches: 1.500 immagini (800x800 px) ritagliate da ortofoto esistenti, con 8.842 annotazioni di "bounding box".
  2. Raw Patches: 880 immagini grezze ad alta risoluzione (912x912 px), con 5.850 bounding box e 5.430 annotazioni aggiuntive dei centri delle chiome.
• Protocollo di Annotazione: Per le immagini grezze, è stato definito un protocollo in cui il centro della chioma è annotato come punto geometrico visibile, distinguendolo dal centro del bounding box (che può essere spostato a causa di occlusioni o tagli ai bordi).
• Modelli e Framework:
  • Rilevamento (Detection): Sono stati testati modelli SOTA (State-of-the-Art) come RT-DETR (v1, v2) e la serie YOLO (v8-v12).
  • Localizzazione (Keypoint): Per la localizzazione del centro della chioma, sono stati utilizzati i modelli YOLO in modalità "Pose" (v8, v11, v12) per prevedere le coordinate dei punti chiave.
• Domande di Ricerca (RQ):
  • RQ1: Come varia le prestazioni tra addestramento/test su ortofoto vs. immagini grezze (incluso il trasferimento cross-domain)?
  • RQ2: In che misura le annotazioni del centro della chioma migliorano la localizzazione rispetto all'uso dei soli centri dei bounding box?

3. Contributi Chiave

1. Nuovo Dataset e Protocollo: Introduzione di un dataset di immagini UAV grezze con annotazioni duali (bounding box + centro della chioma), superando la limitazione delle sole scatole di delimitazione.
2. Studio Cross-Domain: Un'analisi approfondita dei compromessi (trade-off) tra addestramento su ortofoto e immagini grezze, valutando la trasferibilità dei modelli tra domini diversi.
3. Estensione del Pipeline PRISM: Integrazione di una localizzazione migliorata del centro della chioma nel framework esistente PRISM, permettendo una mappatura spaziale più precisa.

4. Risultati

I risultati sperimentali, riportati nelle tabelle 1 e 2, evidenziano due scoperte principali:

• Prestazioni delle Immagini Grezze vs. Ortofoto (RQ1):

  • I modelli addestrati e testati su immagini grezze raggiungono le prestazioni migliori per scenari di dispiegamento reale (es. YOLOv11x ottiene mAP 0.627 e mAR 0.707 su dati grezzi).
  • Le immagini grezze forniscono segnali di addestramento di qualità superiore, superando i modelli addestrati su ortofoto di oltre il 6% in termini di mAP e mAR quando testati su dati grezzi.
  • Tuttavia, i modelli addestrati su ortofoto mostrano una maggiore robustezza nel trasferimento cross-domain verso immagini grezze rispetto al contrario. Questo suggerisce che le ortofoto, nonostante il rumore, offrono una diversità di annotazioni che favorisce la generalizzazione.

• Localizzazione del Centro della Chioma (RQ2):

  • L'uso esplicito di annotazioni per il centro della chioma ha portato a miglioramenti drastici rispetto all'uso dei centri dei bounding box.
  • L'mAP per la localizzazione è passato da circa 0.32-0.34 (usando il centro della box) a oltre 0.75-0.77 (usando il centro della chioma).
  • Il punteggio F1 è aumentato da ~0.55-0.60 a >0.80.
  • Le immagini qualitative (Figura 2) mostrano che i centri predetti delle chiome si allineano molto meglio con la realtà, specialmente in scenari di forte occlusione dove i centri delle box sono sistematicamente spostati.

5. Significato e Implicazioni

Questo lavoro offre indicazioni pratiche fondamentali per il monitoraggio della biodiversità e la conservazione tramite UAV:

• Efficienza Operativa: L'uso di immagini grezze elimina la necessità di costosi e lenti processi di creazione di ortofoto, abilitando il monitoraggio in tempo reale o su dispositivi edge (bassa potenza).
• Precisione Ecologica: La localizzazione precisa del centro della chioma è cruciale per la modellazione della distribuzione spaziale degli alberi e per analisi ecologiche downstream, riducendo errori sistematici nelle foreste dense.
• Futuro: I risultati suggeriscono che combinare l'addestramento su domini misti con l'inferenza su immagini grezze, georeferenziate tramite le stesse trasformazioni usate per le ortofoto, permetterà una mappatura spaziale precisa senza la necessità di costruire mosaici completi, rivoluzionando il monitoraggio sul campo.