Impact of Dataset Composition on Embedded Real-Time UAV Wildfire Detection Using Compact YOLO Models

Sintesi Tecnica: Impatto della Composizione del Dataset sul Rilevamento di Incendi Boschivi tramite UAV con Sistemi Embedded in Tempo Reale Utilizzando Modelli YOLO Compatti

Definizione del Problema
Lo sviluppo di sistemi di rilevamento incendi boschivi basati sulla visione per Veicoli Aerei a Pilotaggio Remoto (UAV) è attualmente limitato dalla scarsità di immagini reali e diversificate, in particolare quelle catturate da prospettive aeree con relative annotazioni adeguate. Sebbene i modelli di deep learning, specificamente la famiglia YOLO, offrano un rapporto favorevole tra velocità di inferenza e qualità del rilevamento per dispositivi edge embedded, il loro dispiegamento pratico è spesso limitato dalla disponibilità di dati. Di conseguenza, i ricercatori ricorrono frequentemente alla generazione di dati sintetici e all'aumento dei dati (augmentation) per espandere i set di addestramento. Tuttavia, il valore pratico di queste espansioni sintetiche per il rilevamento di incendi tramite UAV embedded in condizioni di risorse limitate rimane una questione empirica piuttosto che un fatto stabilito.

Metodologia
Questo studio impiega un approccio incentrato sul dataset per valutare come la composizione dei dati di addestramento influenzi le prestazioni di rilevamento, utilizzando modelli YOLO compatti come una famiglia di validazione controllata piuttosto che proporre nuove architetture di rilevatori.

• Piattaforma di Sistema: Gli esperimenti hanno utilizzato un UAV "Buzzard" personalizzato, stampato in 3D, equipaggiato con un NVIDIA Jetson Nano 4 GB per l'elaborazione a bordo e una fotocamera RGB. Il sistema supporta il volo VTOL (Vertical Take-Off and Landing) e il volo traslato ad ala fissa, progettato per l'autonomia e il basso consumo energetico.
• Costruzione del Dataset: Lo studio ha assemblato un pool di immagini da quattro fonti: 447 immagini catturate dagli autori tramite il proprio UAV, 857 immagini da dataset pubblici, 82 immagini dal servizio di telerilevamento dell'Aeronautica Militare Uruguayana e 1.296 immagini sintetiche generate dall'IA.
• Configurazioni Sperimentali: Sono state valutate quattro distinte configurazioni di dataset:
  1. Reale non aumentato: 1.386 immagini reali.
  2. Reale aumentato: il set reale espanso a 8.316 immagini tramite trasformazioni geometriche e fotometriche (flip, rotazioni, variazione di luminosità/contrasto, sfocatura).
  3. Ibrido non aumentato: 2.682 immagini (1.386 reali + 1.296 sintetiche).
  4. Ibrido aumentato: 16.092 immagini (reali aumentate + sintetiche aumentate).
• Modelli e Addestramento: Quattro varianti compatte di YOLOv5 (YOLOv5n, YOLOv5n6, YOLOv5s, YOLOv5s6) sono state addestrate su ciascuna configurazione per 1.000 epoche. I modelli sono stati selezionati per la loro idoneità al dispiegamento embedded.
• Metriche di Valutazione: Le prestazioni sono state misurate utilizzando Precision, Recall, mAP@0.5, mAP@0.5:0.95 e Box Loss. Lo studio ha dato priorità a Recall e mAP, poiché mancare un evento di incendio è considerato più costoso rispetto alla generazione di un numero limitato di falsi allarmi in un sistema di allerta precoce.

Risultati Chiave
I risultati sperimentali hanno prodotto un reperto controintuitivo riguardo alle strategie di espansione dei dati:

• Superiorità dei Dati Reali Non Aumentati: Il miglior punto operativo complessivo è stato raggiunto utilizzando il dataset reale non aumentato. Nello specifico, YOLOv5n6 addestrato su questa configurazione ha ottenuto la Recall più elevata, il mAP@0.5 più alto e il mAP@0.5:0.95 più alto.
• Valore Limitato di Augmentation e Ibridazione: Né l'aumento dei dati né l'inclusione di dati sintetici (ibridazione) hanno prodotto una scelta di dispiegamento finale migliore rispetto alla linea di base dei dati reali non aumentati.
  • Sebbene il dataset reale aumentato sia rimasto competitivo, non ha superato il set reale non aumentato.
  • Le configurazioni ibride (sia aumentate che non aumentate) hanno prodotto pattern di prestazione frammentati e, in generale, una Recall e un mAP inferiori rispetto alla linea di base dei soli dati reali.
• Comportamento del Modello: Le diverse varianti YOLO hanno mostrato punti di forza complementari; YOLOv5n6 eccelleva in recall e mAP sui dati reali, mentre YOLOv5s6 spesso otteneva la Box Loss più bassa e la precisione più alta, specialmente nelle impostazioni aumentate. Tuttavia, la tendenza dominante in tutti i modelli è stata che la composizione del dataset (reale vs sintetico/aumentato) ha avuto un impatto più significativo sulle prestazioni rispetto alla specifica variante di modello scelta.
• Validazione nel Mondo Reale: Test di volo nel mondo reale hanno confermato che il modello addestrato sul dataset reale non aumentato può rilevare efficacemente gli eventi di incendio durante l'operatività in tempo reale, anche in presenza di variazioni di movimento e di punto di vista.

Significatività e Rivendicazioni
Il documento afferma che, per il rilevamento di incendi boschivi tramite UAV embedded, il realismo del dataset e l'allineamento del dominio sono più preziosi dell'aumento della dimensione del set di addestramento tramite espansione sintetica.

Lo studio conclude che, sebbene i dati sintetici e l'augmentation siano strumenti preziosi quando le immagini reali annotate sono scarse, la loro utilità è subordinata a quanto bene preservano le caratteristiche visive del dominio di dispiegamento target. Nel caso valutato, le differenze visive tra le immagini sintetiche e le scene reali di incendi aerei (in termini di texture e naturalezza della scena) hanno influenzato negativamente la capacità del rilevatore di generalizzare. Pertanto, la strategia più efficace per il dispiegamento pratico è stata quella di addestrare su immagini reali di alta qualità senza espansione artificiale, dando priorità alla fedeltà dei dati di addestramento rispetto all'ambiente operativo piuttosto che al semplice volume di dati.

Gli autori pongono questo lavoro non come una proposta di un nuovo rilevatore, ma come un'analisi comparativa controllata che dimostra che, in condizioni di risorse limitate, preservare l'aspetto originale e le caratteristiche del dominio delle immagini reali produce prestazioni di rilevamento pratico superiori.