UAV-Based Drifting Victim Detection in Flash Floods Using Region-Based Convolutional Neural Networks

Sintesi Tecnica: Rilevamento di Vittime in Deriva tramite UAV in Situazioni di Inondazioni Lampo Utilizzando Reti Neurali Convoluzionali Basate su Regioni

Definizione del Problema
Le inondazioni lampo rappresentano una sfida critica per le operazioni di Ricerca e Soccorso (SAR) a causa della loro rapida insorgenza, dei flussi ad alta velocità e delle difficoltà che i team a terra incontrano nell'accedere alle aree colpite, specialmente quando le infrastrutture sono danneggiate. I rilievi terrestri convenzionali sono spesso troppo lenti o pericolosi, mentre le immagini satellitari soffrono di limitazioni in termini di risoluzione, tempi di rivisitazione e copertura nuvolosa. Sebbene i Veicoli Aerei non Pilotati (UAV) offrano una sorveglianza aerea ad alta risoluzione e flessibile, il volume enorme di dati visivi generati rende l'ispezione manuale impraticabile per una rapida risposta alle emergenze. Inoltre, il rilevamento di vittime in deriva in ambienti fluviali dinamici è complesso; i bersagli sono spesso piccoli, parzialmente oscurati e visivamente simili a detriti galleggianti, richiedendo più di semplici riquadri di delimitazione rettangolari per delineare accuratamente i confini spaziali e le forme.

Metodologia
Lo studio propone un sistema basato sul deep learning che utilizza dati video acquisiti da UAV per rilevare e segmentare oggetti in deriva (potenziali vittime) utilizzando l'algoritmo Mask R-CNN. La metodologia segue una pipeline in quattro fasi:

1. Raccolta Dati: È stato creato un dataset personalizzato utilizzando due fonti:

   • Dati Primari: 26 file video catturati tramite un drone DJI Mavic Air 2S nell'area di Turismo Marino Telocor (Fiume Porong, Indonesia) a varie altitudini. Questi sono stati estratti in 589 fotogrammi immagine.
   • Dati Secondari: 463 immagini provenienti dai social media.
   • Il dataset totale è stato suddiviso in set di addestramento, validazione e test. Per il dataset primario (589 immagini), 515 immagini sono state utilizzate per l'addestramento, 48 per la validazione e 25 per il test. Per il dataset secondario (463 immagini), la suddivisione è stata di 278 per l'addestramento, 93 per la validazione e 92 per il test. Le annotazioni sono state eseguite utilizzando etichette come "Grave", "Moderata" e "Lieve" per indicare lo stato dell'inondazione.

2. Elaborazione dei Dati: Le immagini grezze sono state sottoposte a una rigorosa pipeline di pre-elaborazione che include:

   • Controllo Qualità: Rimozione di immagini corrotte, a bassa risoluzione, duplicate o irrilevanti.
   • Annotazione: Etichettatura degli oggetti con riquadri di delimitazione (bounding boxes).
   • Ridimensionamento: Standardizzazione delle dimensioni di input (ad es. 224×224 o 256×256 pixel) per la CNN.
   • Normalizzazione: Scalatura dei valori dei pixel da 0–255 a un intervallo 0–1 utilizzando la Normalizzazione Min-Max.
   • Augmentation (Aumento dei dati): Incremento del volume del dataset attraverso il flipping orizzontale, rotazione, scalatura, ritaglio e regolazioni di luminosità, contrasto, sfocatura e rumore Gaussiano.

3. Sviluppo del Modello: Il cuore del sistema è un modello Mask R-CNN perfezionato (fine-tuned). L'architettura include:

   • Backbone: Una CNN per l'estrazione delle caratteristiche.
   • Feature Pyramid Network (FPN): Per generare mappe di caratteristiche multi-scala ($P1$–$P6$) capaci di rilevare oggetti a varie scale.
   • Region Proposal Network (RPN): Per identificare le regioni di interesse (RoI) candidate.
   • RoIAlign: Per estrarre rappresentazioni di caratteristiche a dimensione fissa dalle regioni proposte.
   • Prediction Head: Per eseguire la classificazione, la regressione del riquadro di delimitazione e la segmentazione delle istanze a livello di pixel.
     Lo studio confronta una Mask R-CNN standard (addestrata sul dataset originale) con una versione perfezionata addestrata sul dataset personalizzato e aumentato.

4. Valutazione: Le prestazioni sono state valutate utilizzando la Precisione Media (AP), il Richiamo Medio (AR), la confidenza di rilevamento e il tempo di inferenza. Le metriche sono state valutate sia per il rilevamento del riquadro di delimitazione che per la segmentazione delle istanze attraverso diversi livelli di Intersezione su Unione (IoU).

Contributi Chiave
L'articolo delinea tre contributi primari:

1. Dataset Personalizzato: Lo sviluppo di un dataset di immagini basato su UAV localizzato che rappresenta le condizioni di vittime in deriva in ambienti fluviali colpiti da inondazioni, affrontando la mancanza di dati di addestramento specifici per il dominio.
2. Framework di Rilevamento Perfezionato: L'adattamento e il fine-tuning del modello Mask R-CNN specificamente per le immagini aeree di inondazione. Questo sfrutta la segmentazione delle istanze per fornire una delineazione a livello di pixel dei target, offrendo informazioni spaziali superiori rispetto agli approcci standard basati solo su riquadri di delimitazione.
3. Strumento di Valutazione Visiva Rapida: Una dimostrazione del potenziale del sistema nel supportare le operazioni di SAR fornendo informazioni spaziali tempestive sulla posizione delle vittime e sulle direzioni di movimento in ambienti dove l'accesso a terra è limitato.

Risultati
I risultati sperimentali indicano che il perfezionamento del modello Mask R-CNN sul dataset personalizzato ha superato significativamente il modello convenzionale:

• Confidenza di Rilevamento: Il modello perfezionato ha raggiunto una confidenza di rilevamento media superiore al 90%, rispetto al modello standard che si è stabilizzato intorno all'85–89%.
• Precisione Media (AP):
  • Riquadro di Delimitazione: L'AP all'IoU 0.5 è aumentata dal 54,6% (standard) al 94,94% (perfezionato).
  • Segmentazione: L'AP all'IoU 0.5 è aumentata dal 52,8% (standard) al 96,94% (perfezionato).
• Richiamo Medio (AR): Sono stati osservati miglioramenti significativi nel richiamo, in particolare per la segmentazione all'IoU 0.5, salendo dal 52,8% al 92,9% con il modello perfezionato.
• Efficienza: Il modello perfezionato ha ridotto il tempo medio di inferenza da 0,5 secondi a 0,3 secondi per immagine.
• Metriche Complessive: Lo studio riporta un aumento dell'accuratezza di rilevamento dall'87% al 92%, un F1-score di 0,88 e una precisione media (mAP) di 0,82.

Significatività e Rivendicazioni
Gli autori affermano che l'approccio proposto fornisce un rilevamento degli oggetti affidabile e informazioni spaziali per stimare le traiettorie di deriva in ambienti fluviali dinamici. Utilizzando la segmentazione delle istanze, il sistema può distinguere tra vittime e detriti visivamente simili in modo più efficace rispetto ai metodi che si affidano esclusivamente ai riquadri di delimitazione. Lo studio posiziona questa tecnologia come uno strumento vitale per la ricognizione aerea rapida, capace di supportare il processo decisionale durante le risposte alle emergenze in condizioni di inondazione lampo caratterizzate da alta velocità dell'acqua e terreni complessi. Gli autori mantengono un ambito modesto, osservando che, sebbene il sistema sia efficace, persistono alcuni errori di rilevamento in scene con scarsa illuminazione e durante movimenti rapidi della telecamera, e che il lavoro futuro dovrebbe concentrarsi sulla validazione delle prestazioni in diversi scenari reali di SAR.