UAV-Based Drifting Victim Detection in Flash Floods Using Region-Based Convolutional Neural Networks

Résumé technique : Détection de victimes dérivantes par UAV dans les crues éclair à l'aide de réseaux de neurones convolutifs basés sur les régions

Énoncé du problème
Les crues éclair représentent un défi critique pour les opérations de recherche et de sauvetage (SAR) en raison de leur apparition rapide, de la haute vélocité des flux et de la difficulté pour les équipes au sol à accéder aux zones touchées, particulièrement lorsque les infrastructures sont endommagées. Les relevés terrestres conventionnels sont souvent trop lents ou dangereux, tandis que l'imagerie satellitaire souffre de limitations en termes de résolution, de temps de révisite et de couverture nuageuse. Bien que les véhicules aériens sans pilote (UAV) offrent une surveillance aérienne à haute résolution et flexible, le volume considérable de données visuelles générées rend l'inspection manuelle impraticable pour une réponse d'urgence rapide. De plus, la détection de victimes dérivantes dans des environnements fluviaux dynamiques est complexe ; les cibles sont souvent petites, partiellement obstruées et visuellement similaires à des débris flottants, ce qui nécessite plus que de simples boîtes englobantes rectangulaires pour délimiter avec précision les frontières spatiales et les formes.

Méthodologie
L'étude propose un système basé sur l'apprentissage profond utilisant des données vidéo acquises par UAV pour détecter et segmenter des objets dérivants (victimes potentielles) en utilisant l'algorithme Mask R-CNN. La méthodologie suit un pipeline en quatre étapes :

1. Collecte de données : Un ensemble de données personnalisé a été créé à partir de deux sources :

   • Données primaires : 26 fichiers vidéo capturés via un drone DJI Mavic Air 2S dans la zone de tourisme marin de Telocor (Rivière Porong, Indonésie) à diverses altitudes. Ceux-ci ont été extraits en 589 images (frames).
   • Données secondaires : 463 images provenant des réseaux sociaux.
   • L'ensemble des données a été divisé en ensembles d'entraînement, de validation et de test. Pour le jeu de données primaire (589 images), 515 images ont été utilisées pour l'entraînement, 48 pour la validation et 25 pour le test. Pour le jeu de données secondaire (463 images), la répartition était de 278 pour l'entraînement, 93 pour la validation et 92 pour le test. Les annotations ont été effectuées à l'aide de labels tels que « Sévère », « Modéré » et « Léger » pour indiquer l'état de l'inondation.

2. Traitement des données : Les images brutes ont subi un pipeline de prétraitement rigoureux comprenant :

   • Contrôle de qualité : Suppression des images corrompues, de basse résolution, dupliquées ou non pertinentes.
   • Annotation : Étiquetage des objets avec des boîtes englobantes (bounding boxes).
   • Redimensionnement : Standardisation des dimensions d'entrée (par exemple, 224×224 ou 256×256 pixels) pour le CNN.
   • Normalisation : Mise à l'échelle des valeurs de pixels de 0–255 à une plage de 0–1 via la normalisation Min-Max.
   • Augmentation : Augmentation du volume de l'ensemble de données par retournement horizontal, rotation, mise à l'échelle, recadrage et ajustements de la luminosité, du contraste, du flou et du bruit gaussien.

3. Développement du modèle : Le cœur du système est un modèle Mask R-CNN affiné (fine-tuned). L'architecture comprend :

   • Backbone (Dorsale) : Un CNN pour l'extraction de caractéristiques.
   • Réseau de pyramide de caractéristiques (FPN) : Pour générer des cartes de caractéristiques multi-échelles ($P1$–$P6$) capables de détecter des objets à différentes échelles.
   • Réseau de proposition de régions (RPN) : Pour identifier les régions d'intérêt (RoI) candidates.
   • RoIAlign : Pour extraire des représentations de caractéristiques à dimension fixe à partir des régions proposées.
   • Tête de prédiction : Pour effectuer la classification, la régression de la boîte englobante et la segmentation d'instance au niveau du pixel.
     L'étude compare un Mask R-CNN standard (entraîné sur l'ensemble de données original) à une version affinée entraînée sur l'ensemble de données personnalisé et augmenté.

4. Évaluation : La performance a été évaluée à l'aide de la précision moyenne (AP), du rappel moyen (AR), de la confiance de détection et du temps d'inférence. Les métriques ont été évaluées à la fois pour la détection par boîte englobante et pour la segmentation d'instance à travers différents seuils d'Intersection sur Union (IoU).

Principales contributions
L'article présente trois contributions principales :

1. Ensemble de données personnalisé : Le développement d'un ensemble de données d'images par UAV localisé représentant les conditions de victimes dérivantes dans des environnements fluviaux affectés par les inondations, comblant ainsi le manque de données d'entraînement spécifiques au domaine.
2. Cadre de détection affiné : L'adaptation et l'ajustement du modèle Mask R-CNN spécifiquement pour l'imagerie aérienne de crues. Cela exploite la segmentation d'instance pour fournir une délimitation au niveau du pixel des cibles, offrant des informations spatiales supérieures par rapport aux approches standard reposant uniquement sur des boîtes englobantes.
3. Outil d'évaluation visuelle rapide : Une démonstration du potentiel du système à soutenir les opérations de recherche et de sauvetage (SAR) en fournissant des informations spatiales opportunes sur la localisation des victimes et leurs directions de mouvement dans des environnements où l'accès au sol est restreint.

Résultats
Les résultats expérimentaux indiquent que l'ajustement du modèle Mask R-CNN sur l'ensemble de données personnalisé a nettement surpassé le modèle conventionnel :

• Confiance de détection : Le modèle affiné a atteint une confiance de détection moyenne supérieure à 90 %, contre une stabilisation autour de 85–89 % pour le modèle standard.
• Précision Moyenne (AP) :
  • Boîte englobante : L'AP à l'IoU 0,5 est passée de 54,6 % (standard) à 94,94 % (affiné).
  • Segmentation : L'AP à l'IoU 0,5 est passée de 52,8 % (standard) à 96,94 % (affiné).
• Rappel Moyen (AR) : Des améliorations significatives ont été observées dans le rappel, particulièrement pour la segmentation à l'IoU 0,5, passant de 52,8 % à 92,9 % avec le modèle affiné.
• Efficacité : Le modèle affiné a réduit le temps d'inférence moyen de 0,5 seconde à 0,3 seconde par image.
• Métriques globales : L'étude rapporte une augmentation de la précision de détection de 87 % à 92 %, un score F1 de 0,88 et une précision moyenne (mAP) de 0,82.

Signification et affirmations
Les auteurs affirment que l'approche proposée fournit une détection d'objets fiable et des informations spatiales pour estimer les trajectoires de dérive dans des environnements fluviaux dynamiques. En utilisant la segmentation d'instance, le système peut distinguer plus efficacement les victimes des débris visuellement similaires par rapport aux méthodes reposant uniquement sur des boîtes englobantes. L'étude positionne cette technologie comme un outil viable pour la reconnaissance aérienne rapide, capable de soutenir la prise de décision lors des interventions d'urgence dans des conditions de crues éclair caractérisées par une haute vélocité de l'eau et des terrains complexes. Les auteurs maintiennent un champ d'application modeste, notant que bien que le système soit efficace, certaines erreurs de détection persistent dans les scènes à faible luminosité et lors de mouvements rapides de la caméra, et que les travaux futurs devraient se concentrer sur la validation des performances dans divers scénarios de recherche et sauvetage (SAR) réels.