UE5-Forest: A Photorealistic Synthetic Stereo Dataset for UAV Forestry Depth Estimation

Titolo

UE5-Forest: Un dataset stereo sintetico fotorealistico per la stima della profondità nella silvicoltura tramite UAV

1. Il Problema

La stima della profondità densa e precisa è fondamentale per l'autonomia degli UAV (droni) nelle operazioni di potatura forestale, in particolare per specie come il pino radiata (Pinus radiata), che costituisce la base del settore forestale in Nuova Zelanda. Tuttavia, l'addestramento di reti di stereo matching supervisionate si scontra con un ostacolo critico:

• Mancanza di dati reali con ground truth: In ambienti forestali, la raccolta di mappe di disparità (disparity maps) dense e accurate è estremamente difficile. La geometria complessa delle chiome, i rami sovrapposti e la fitta vegetazione impediscono ai sensori convenzionali (LiDAR o luce strutturata) di acquisire dati affidabili.
• Limitazioni delle soluzioni attuali: L'uso di modelli fondazione (foundation models) per generare "pseudo-ground truth" su immagini reali introduce errori sistematici che si propagano ai modelli studenti, limitando l'accuratezza finale e rendendo impossibile la verifica sul campo.
• Vuoto nei dataset esistenti: I dataset sintetici attuali (es. Scene Flow, SYNTHIA) sono focalizzati su scenari urbani e di guida autonoma, mancando della geometria vegetale fine-granulare necessaria per la silvicoltura.

2. Metodologia

Gli autori hanno sviluppato UE5-Forest, un dataset sintetico generato interamente utilizzando Unreal Engine 5 (UE5). La pipeline di costruzione si articola come segue:

• Asset Vegetali: Sono stati utilizzati 115 modelli di alberi scansionati tramite fotogrammetria dalla libreria Quixel Megascans. Questi asset preservano texture realistiche della corteccia, geometria delle foglie e topologia dei rami, offrendo una varietà morfologica (decidui, conifere, diverse densità di chioma).
• Simulazione della Telecamera: È stata implementata una rig stereo virtuale che replica esattamente le specifiche hardware della telecamera ZED Mini montata sugli UAV reali:
  • Baseline: 63 mm
  • Lunghezza focale: 2.8 mm
  • Larghezza sensore: 3.84 mm
  • Risoluzione: 1920 × 1080 pixel.
• Acquisizione dei Dati: Per ogni albero, la telecamera simulata orbita attorno al tronco a una distanza massima di 2 metri (range operativo tipico per la potatura). Vengono catturati 48 coppie stereo per albero distribuiti su tre anelli di elevazione:
  1. Orizzontale (0°)
  2. Elevata (+45°)
  3. Depressa (-45°)
  • Totale: 5.520 coppie stereo rettificate.
• Rendering e Ground Truth: UE5 utilizza i sistemi Lumen (illuminazione globale) e Nanite (geometria micro-poligonale) per garantire un rendering fotorealistico con ombre realistiche e interazioni materiali. Le mappe di profondità per-pixel vengono estratte dal buffer di profondità e convertite matematicamente in mappe di disparità perfette (pixel-perfect), con una maschera di validità per escludere lo sfondo/cielo.

3. Contributi Chiave

1. Dataset Fotorealistico con Etichette Perfette: Il primo dataset stereo pubblico specifico per la silvicoltura, contenente 5.520 coppie stereo con mappe di disparità a livello di pixel esatto, privo degli errori di misurazione tipici dei sensori reali.
2. Allineamento Ottico Preciso: La simulazione replica fedelmente i parametri intrinseci ed estrinseci della telecamera ZED Mini reale, minimizzando il "gap ottico" tra dominio sintetico e reale e garantendo che i range di disparità e la geometria prospettica siano identici.
3. Caratterizzazione Statistica e Qualitativa: Il paper fornisce un'analisi dettagliata delle distribuzioni di disparità (da 44 a 700 pixel, coerenti con distanze di 0.1-2m), della diversità delle scene e un confronto visivo diretto con immagini reali della Canterbury Tree Branches, confermando l'alta fedeltà dei dati sintetici.

4. Risultati e Analisi

• Distribuzione della Disparità: I dati mostrano una concentrazione di valori tra 60 e 200 pixel (corrispondenti a tronchi e rami principali a distanza di lavoro) con una coda lunga verso disparità più elevate (foglie e rami vicini), riflettendo accuratamente la complessità geometrica della vegetazione.
• Fedeltà Visiva: Il confronto qualitativo con immagini reali catturate in Nuova Zelanda dimostra che l'illuminazione Lumen e le texture scansionate producono ombre, occlusioni ambientali e trasparenze delle foglie indistinguibili dalla realtà.
• Struttura del Dataset: I dati sono suddivisi in Training (95 alberi, 4560 coppie), Validazione (10 alberi, 480 coppie) e Test (10 alberi, 480 coppie), garantendo che non vi sia "data leakage" tra le viste dello stesso albero.

5. Significato e Impatto

UE5-Forest colma un vuoto critico nella ricerca sulla visione artificiale per la silvicoltura:

• Addestramento Supervisionato: Fornisce un terreno di addestramento ideale per reti di stereo matching che richiedono ground truth densa, superando i limiti delle soluzioni basate su pseudo-label.
• Ricerca sull'Adattamento di Dominio (Sim-to-Real): Il dataset, combinato con le immagini reali non etichettate di Canterbury, offre un banco di prova naturale per tecniche di domain adaptation e domain randomization.
• Benchmarking: Permette una valutazione quantitativa rigorosa degli algoritmi di stereo matching su scenari vegetali complessi, cosa impossibile finora a causa della mancanza di ground truth reale.
• Futuro: Il dataset è destinato a essere rilasciato pubblicamente, fungendo da risorsa fondamentale per lo sviluppo di sistemi UAV autonomi per la potatura e la gestione forestale, con piani futuri per includere composizioni multi-albero e simulazione di rumore del sensore.

In sintesi, questo lavoro dimostra come l'uso avanzato di motori di gioco moderni (UE5) unito a asset scansionati fotogrammetricamente possa risolvere il problema della scarsità di dati etichettati in ambienti complessi e non strutturati come le foreste.