UAV-Based Drifting Victim Detection in Flash Floods Using Region-Based Convolutional Neural Networks

Technische Samenvatting: UAV-gebaseerde Detectie van Drijvende Slachtoffers bij Flash Floods met behulp van Region-Based Convolutional Neural Networks

Probleemstelling
Flash floods (plotselinge overstromingen) vormen een kritieke uitdaging voor Search and Rescue (SAR)-operaties vanwege hun snelle ontstaan, hoge stroomsnelheden en de moeilijkheden die grondteams ervaren bij het betreden van getroffen gebieden, met name wanneer de infrastructuur beschadigd is. Conventionele grondsurveys zijn vaak te traag of gevaarlijk, terwijl satellietbeelden te kampen hebben met beperkingen in resolutie, herbezoektijd en bewolking. Hoewel Unmanned Aerial Vehicles (UAV's) hoogwaardige, flexibele luchtobservatie bieden, maakt de enorme hoeveelheid gegenereerde visuele data handmatige inspectie onpraktisch voor snelle noodhulp. Bovendien is het detecteren van drijvende slachtoffers in dynamische riviermilieus complex; doelwitten zijn vaak klein, gedeeltelijk aan het zicht onttrokken en visueel vergelijkbaar met drijvend afval, wat meer vereist dan eenvoudige rechthoekige bounding boxes om ruimtelijke grenzen en vormen nauwkeurig af te bakenen.

Methodologie
De studie stelt een op deep learning gebaseerd systeem voor dat gebruikmaakt van door UAV verkregen luchtvideo-data om drijvende objecten (potentiële slachtoffers) te detecteren en te segmenteren met behulp van het Mask R-CNN algoritme. De methodologie volgt een vierfasen-pipeline:

1. Dataverzameling: Een aangepaste dataset werd gecreëerd met behulp van twee bronnen:

   • Primaire Data: 26 videobestanden vastgelegd met een DJI Mavic Air 2S drone bij het Telocor Marine Tourism gebied (Porong Rivier, Indonesië) op verschillende hoogtes. Deze werden geëxtraheerd naar 589 beeldframes.
   • Secundaire Data: 463 afbeeldingen afkomstig van sociale media.
   • De totale dataset werd gesplitst in trainings-, validatie- en testsets. Voor de primaire dataset (589 afbeeldingen) werden 515 afbeeldingen gebruikt voor training, 48 voor validatie en 25 voor testen. Voor de secundaire dataset (463 afbeeldingen) was de split 278 voor training, 93 voor validatie en 92 voor testen. Annotaties werden uitgevoerd met labels zoals "Severe", "Moderate" en "Mild" om de floodstatus aan te duiden.

2. Databewerking: De ruwe afbeeldingen ondergingen een rigoureuze preprocessing-pipeline inclusief:

   • Kwaliteitscontrole: Verwijdering van corrupt, laag-resolutie, dubbel of irrelevant beeldmateriaal.
   • Annotatie: Het labelen van objecten met bounding boxes.
   • Resizing: Standaardiseren van inputdimensies (bijv. 224×224 of 256×256 pixels) voor de CNN.
   • Normalisatie: Schalen van pixelwaarden van 0–255 naar een bereik van 0–1 met behulp van Min-Max Normalisatie.
   • Augmentatie: Het vergroten van het datasetvolume door horizontale spiegeling, rotatie, schaling, cropping, en aanpassingen aan helderheid, contrast, blur en Gaussian noise.

3. Modelontwikkeling: De kern van het systeem is een fine-tuned Mask R-CNN model. De architectuur omvat:

   • Backbone: Een CNN voor feature extractie.
   • Feature Pyramid Network (FPN): Om multi-scale feature maps ($P1$–$P6$) te genereren die in staat zijn objecten op verschillende schalen te detecteren.
   • Region Proposal Network (RPN): Om kandidaat-regio's van belang (RoI) te identificeren.
   • RoIAlign: Om fixed-dimensional feature representaties te extraheren uit de voorgestelde regio's.
   • Prediction Head: Om classificatie, bounding box regressie en pixel-niveau instance segmentatie uit te voeren.
     De studie vergelijkt een standaard Mask R-CNN (getraind op de originele dataset) met een fine-tuned versie getraind op de aangepaste, geaugmenteerde dataset.

4. Evaluatie: Prestaties werden beoordeeld met behulp van Average Precision (AP), Average Recall (AR), detectievertrouwen (confidence) en inferentietijd. Metrieken werden geëvalueerd voor zowel bounding box detectie als instance segmentatie over verschillende Intersection over Union (IoU) drempelwaarden.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

1. Aangepaste Dataset: De ontwikkeling van een gelokaliseerde UAV-gebaseerde beelddataset die drijvende slachtoffercondities in door overstromingen getroffen riviermilieus vertegenwoordigt, waarmee het gebrek aan domeinspecifieke trainingsdata wordt geadresseerd.
2. Fine-Tuned Detectiekader: De adaptatie en fine-tuning van het Mask R-CNN model specifiek voor luchtfoto's van overstromingen. Dit maakt gebruik van instance segmentatie om een pixel-niveau afbakening van doelwitten te bieden, wat superieure ruimtelijke informatie oplevert vergeleken met standaard methoden die enkel op bounding boxes vertrouwen.
3. Snel Visueel Beoordelingstool: Een demonstratie van het potentieel van het systeem om SAR-operaties te ondersteunen door tijdige ruimtelijke informatie te verstrekken over de locaties en bewegingsrichtingen van slachtoffers in omgevingen waar toegang vanaf de grond beperkt is.

Resultaten
Experimentele resultaten geven aan dat het fine-tunen van het Mask R-CNN model op de aangepaste dataset aanzienlijk beter presteerde dan het conventionele model:

• Detectievertrouwen (Confidence): Het fine-tuned model bereikte een gemiddeld detectievertrouwen van meer dan 90%, vergeleken met het standaard model dat stabiliseerde rond de 85–89%.
• Average Precision (AP):
  • Bounding Box: AP bij IoU 0.5 steeg van 54,6% (standaard) naar 94,94% (fine-tuned).
  • Segmentatie: AP bij IoU 0.5 steeg van 52,8% (standaard) naar 96,94% (fine-tuned).
• Average Recall (AR): Significante verbeteringen werden waargenomen in recall, met name voor segmentatie bij IoU 0.5, die steeg van 52,8% naar 92,9% met het fine-tuned model.
• Efficiëntie: Het fine-tuned model verminderde de gemiddelde inferentietijd van 0,5 seconde naar 0,3 seconden per afbeelding.
• Algemene Metrieken: De studie rapporteert een toename in detectie-accuratesse van 87% naar 92%, een F1-score van 0,88, en een mean Average Precision (mAP) van 0,82.

Betekenis en Claims
De auteurs beweren dat de voorgestelde aanpak betrouwbare objectdetectie en ruimtelijke informatie biedt voor het schatten van drift-trajecten in dynamische riviermilieus. Door instance segmentatie te gebruiken, kan het systeem onderscheid maken tussen slachtoffers en visueel vergelijkbaar afval effectiever dan methoden die uitsluitend op bounding boxes vertrouwen. De studie positioneert deze technologie als een levensvatbaar instrument voor snelle luchtverkenning, in staat om besluitvorming tijdens noodhulp te ondersteunen tijdens flash flood condities die gekenmerkt worden door hoge waterstroomsnelheden en complex terrein. De auteurs houden een bescheiden reikwijdte aan door te merken dat, hoewel het systeem effectief is, sommige detectiefouten aanhouden in situaties met weinig licht en tijdens snelle camerabewegingen, en dat toekomstig werk zich moet richten op het valideren van de prestaties in diverse real-world SAR-scenario's.