UAV-Based Drifting Victim Detection in Flash Floods Using Region-Based Convolutional Neural Networks

Technische Zusammenfassung: UAV-basierte Detektion von treibenden Opfern bei Sturzfluten mittels Region-based Convolutional Neural Networks

Problemstellung
Sturzfluten stellen eine kritische Herausforderung für Such- und Rettungsmaßnahmen (Search and Rescue, SAR) dar, da sie durch ihren schnellen Eintritt, hohe Fließgeschwindigkeiten und die Schwierigkeit gekennzeichnet sind, mit denen Bodenteams betroffene Gebiete erreichen können, insbesondere wenn die Infrastruktur beschädigt ist. Konventionelle Bodenuntersuchungen sind oft zu langsam oder zu gefährlich, während Satellitenbilder unter Einschränkungen hinsichtlich der Auflösung, der Wiederbesuchszeiten und der Bewölkung leiden. Obwohl unbemannte Luftfahrzeuge (UAVs) hochauflösende, flexible Luftüberwachung bieten, macht das schiere Volumen der generierten visuellen Daten eine manuelle Inspektion für eine schnelle Notfallreaktion praktisch unmöglich. Darüber hinaus ist die Detektion von treibenden Opfern in dynamischen Flussumgebungen komplex; Zielobjekte sind oft klein, teilweise verdeckt und ähneln visuell treibendem Trümmergut, was mehr als einfache rechteckige Begrenzungsrahmen (Bounding Boxes) erfordert, um räumliche Grenzen und Formen präzise abzugrenzen.

Methodik
Die Studie schlägt ein auf Deep Learning basierendes System vor, das UAV-erworbene Luftvideodaten nutzt, um treibende Objekte (potenzielle Opfer) mittels des Mask R-CNN-Algorithmus zu detektieren und zu segmentieren. Die Methodik folgt einer vierstufigen Pipeline:

1. Datenerhebung: Ein maßgeschneiderter Datensatz wurde aus zwei Quellen erstellt:

   • Primärdaten: 26 Videodateien, die mit einer DJI Mavic Air 2S Drohne im Gebiet Telocor Marine Tourism (Porong Fluss, Indonesien) in verschiedenen Höhen aufgenommen wurden. Diese wurden in 589 Einzelbildrahmen extrahiert.
   • Sekundärdaten: 463 Bilder aus sozialen Medien.
   • Der gesamte Datensatz wurde in Trainings-, Validierungs- und Testsets aufgeteilt. Für den Primärdatensatz (589 Bilder) wurden 515 Bilder für das Training, 48 für die Validierung und 25 für den Test verwendet. Für den Sekundärdatensatz (463 Bilder) betrug die Aufteilung 278 für das Training, 93 für die Validierung und 92 für den Test. Die Annotationen erfolgten unter Verwendung von Labels wie „Severe“ (schwer), „Moderate“ (moderat) und „Mild“ (leicht), um den Flutstatus zu kennzeichnen.

2. Datenverarbeitung: Die Rohbilder durchliefen eine strenge Vorverarbeitungspipeline, einschließlich:

   • Qualitätsprüfung: Entfernung von korrupten, niedrig auflösenden, duplizierten oder irrelevanten Bildern.
   • Annotation: Kennzeichnung der Objekte mit Bounding Boxes.
   • Größenanpassung (Resizing): Standardisierung der Eingangsdimensionen (z. B. 224×224 oder 256×256 Pixel) für das CNN.
   • Normalisierung: Skalierung der Pixelwerte von 0–255 auf einen Bereich von 0–1 mittels Min-Max-Normalisierung.
   • Augmentierung: Erhöhung des Datenvolumens durch horizontales Spiegeln, Rotation, Skalierung, Zuschneiden sowie Anpassungen von Helligkeit, Kontrast, Unschärfe und Gaußschem Rauschen.

3. Modellentwicklung: Das Kernstück des Systems ist ein fein abgestimmtes (fine-tuned) Mask R-CNN-Modell. Die Architektur umfasst:

   • Backbone: Ein CNN zur Merkmalsextraktion.
   • Feature Pyramid Network (FPN): Zur Generierung von Multi-Skalen-Merkmalskarten ($P1$–$P6$), die in der Lage sind, Objekte in verschiedenen Skalen zu detektieren.
   • Region Proposal Network (RPN): Zur Identifizierung von Kandidatenregionen (Regions of Interest, RoI).
   • RoIAlign: Zur Extraktion festdimensionaler Merkmalsrepräsentationen aus den vorgeschlagenen Regionen.
   • Prediction Head: Zur Durchführung von Klassifizierung, Bounding Box Regression und Pixel-ebener Instanzsegmentierung.
     Die Studie vergleicht ein Standard-Mask-R-CNN (trainiert auf dem Originaldatensatz) mit einer fein abgestimmten Version, die auf dem maßgeschneiderten, augmentierten Datensatz trainiert wurde.

4. Evaluierung: Die Leistung wurde anhand von Average Precision (AP), Average Recall (AR), Detektionskonfidenz und Inferenzzeit bewertet. Die Metriken wurden sowohl für die Bounding-Box-Detektion als auch für die Instanzsegmentierung über verschiedene Intersection-over-Union (IoU)-Schwellenwerte hinweg evaluiert.

Wesentliche Beiträge
Das Paper skizziert drei primäre Beiträge:

1. Maßgeschneiderter Datensatz: Die Entwicklung eines lokalisierten, UAV-basierten Bilddatensatzes, der treibende Opferbedingungen in flutbetroffenen Flussumgebungen darstellt und somit den Mangel an domänenspezifischen Trainingsdaten adressiert.
2. Fein abgestimmtes Detektions-Framework: Die Anpassung und Feinabstimmung des Mask R-CNN-Modells spezifisch für Luftaufnahmen bei Überschwemmungen. Dies nutzt die Instanzsegmentierung, um eine Pixel-genaue Abgrenzung der Ziele zu ermöglichen, was im Vergleich zu Standardansätzen, die nur auf Bounding Boxes basieren, überlegene räumliche Informationen liefert.
3. Werkzeug zur schnellen visuellen Bewertung: Eine Demonstration des Potenzials des Systems zur Unterstützung von SAR-Operationen durch Bereitstellung zeitnaher räumlicher Informationen über die Position und Bewegungsrichtung von Opfern in Umgebungen, in denen der Zugang vom Boden aus eingeschränkt ist.

Ergebnisse
Experimentelle Ergebnisse zeigen, dass die Feinabstimmung des Mask R-CNN-Modells auf dem maßgeschneiderten Datensatz das konventionelle Modell signifikant übertroffen hat:

• Detektionskonfidenz: Das fein abgestimmte Modell erreichte eine durchschnittliche Detektionskonfidenz von über 90 %, während das Standardmodell bei etwa 85–89 % stagnierte.
• Average Precision (AP):
  • Bounding Box: AP bei IoU 0,5 stieg von 54,6 % (Standard) auf 94,94 % (fein abgestimmt).
  • Segmentierung: AP bei IoU 0,5 stieg von 52,8 % (Standard) auf 96,94 % (fein abgestimmt).
• Average Recall (AR): Signifikante Verbesserungen wurden im Recall beobachtet, insbesondere für die Segmentierung bei IoU 0,5, die mit dem fein abgestimmten Modell von 52,8 % auf 92,9 % anstieg.
• Effizienz: Das fein abgestimmte Modell reduzierte die durchschnittliche Inferenzzeit von 0,5 Sekunden auf 0,3 Sekunden pro Bild.
• Gesamtmetriken: Die Studie berichtet eine Steigerung der Detektionsgenauigkeit von 87 % auf 92 %, einen F1-Score von 0,88 und eine mittlere Average Precision (mAP) von 0,82.

Bedeutung und Ansprüche
Die Autoren behaupten, dass der vorgeschlagene Ansatz zuverlässige Objektdetektion und räumliche Informationen zur Abschätzung von Drift-Trajektorien in dynamischen Flussumgebungen liefert. Durch die Nutzung der Instanzsegmentierung kann das System zwischen Opfern und visuell ähnlichem Trümmergut effektiver unterscheiden als Methoden, die ausschließlich auf Bounding Boxes beruhen. Die Studie positioniert diese Technologie als ein lebensfähiges Werkzeug für die schnelle Luftaufklärung, das in der Lage ist, Entscheidungsprozesse während der Notfallreaktion unter den Bedingungen von Sturzfluten mit hoher Wassergeschwindigkeit und komplexem Gelände zu unterstützen. Die Autoren halten den Umfang moderat und merken an, dass trotz der Effektivität des Systems gewisse Detektionsfehler in Szenen mit wenig Licht und bei schnellen Kamerabewegungen bestehen bleiben; zukünftige Arbeiten sollten sich auf die Validierung der Leistung in diversen realen SAR-Szenarien konzentrieren.