UAV-Based Drifting Victim Detection in Flash Floods Using Region-Based Convolutional Neural Networks

技術要約：領域ベース畳み込みニューラルネットワークを用いたフラッシュフラッド（突発的洪水）におけるUAVによる漂流被害者の検出

問題提起
フラッシュフラッドは、その発生の速さ、高流速、およびインフラが損傷した状況下での地上チームのアクセス困難さから、捜索救助（SAR）業務において重大な課題を突きつけています。従来の地上調査は時間がかかりすぎたり危険であったりすることが多く、また衛星画像は解像度、再訪時間、雲による遮蔽といった制限があります。無人航空機（UAV）は高解像度で柔軟な空中監視を提供しますが、生成される視覚データの膨大な量により、迅速な緊急対応のための手動検査は非現実的です。さらに、動的な河川環境における漂流被害者の検出は複雑です。対象物は小さく、一部が遮蔽されていることが多く、浮遊するデブリ（漂流物）と視覚的に類似しているため、空間的な境界や形状を正確に記述するには、単純な矩形バウンディングボックス以上のものが必要となります。

手法
本研究は、UAVで取得された空中ビデオデータを利用し、Mask R-CNNアルゴリズムを用いて漂流物体（潜在的な被害者）を検出およびセグメンテーションするディープラーニングベースのシステムを提案しています。手法は以下の4段階のパイプラインに従います。

1. データ収集: カスタマイズされたデータセットを2つのソースから作成しました。

   • 一次データ: インドネシアのテロコル海洋観光エリア（ポロング川）にて、様々な高度でDJI Mavic Air 2Sドローンを用いて撮影された26個のビデオファイル。これらは589枚の画像フレームに抽出されました。
   • 二次データ: ソーシャルメディアから取得された463枚の画像。
   • 合計データセットは、トレーニング、検証、テストのセットに分割されました。一次データ（589枚）については、515枚をトレーニング用、48枚を検証用、25枚をテスト用に使用しました。二次データ（463枚）については、278枚をトレーニング用、93枚を検証用、92枚をテスト用に分割しました。アノテーションは、洪水の状況を示す「深刻（Severe）」、「中程度（Moderate）」、「軽度（Mild）」といったラベルを用いて行われました。

2. データ処理: 生の画像に対して、以下の厳格な前処理パイプラインを実施しました。

   • 品質チェック: 破損した画像、低解像度の画像、重複した画像、または無関係な画像の除去。
   • アノテーション: バウンディングボックスによるオブジェクトのラベル付け。
   • リサイズ: CNNへの入力次元の標準化（例：224×224または256×256ピクセル）。
   • 正規化: Min-Max正規化を用いて、ピクセル値を0–255から0–1の範囲にスケーリング。
   • データ拡張（Augmentation）: 水平反転、回転、スケーリング、クロッピング、および明るさ、コントラスト、ぼかし、ガウスノイズの調整を通じてデータセットの容量を増加。

3. モデル開発: システムの中核は、ファインチューニングされたMask R-CNNモデルです。アーキテクチャには以下が含まれます。

   • バックボーン: 特徴抽出のためのCNN。
   • 特徴ピラミッドネットワーク（FPN）: 様々なスケールのオブジェクトを検出可能なマルチスケール特徴マップ（$P1$–$P6$）を生成。
   • 領域提案ネットワーク（RPN）: 候補となる関心領域（RoI）を特定。
   • RoIAlign: 提案された領域から固定次元の特徴表現を抽出。
   • 予測ヘッド: 分類、バウンディングボックス回帰、およびピクセルレベルのインスタンス・セグメンテーションを実行。
     本研究では、オリジナルのデータセットで学習させた標準的なMask R-CNNと、カスタマイズおよび拡張されたデータセットで学習させたファインチューニング版を比較しています。

4. 評価: パフォーマンスは、平均適合率（AP）、平均再現率（AR）、検出信頼度、および推論時間を用いて評価されました。指標は、異なるIoU（Intersection over Union）閾値におけるバウンディングボックス検出とインスタンス・セグメンテーションの両方について評価されました。

主な貢献
本論文は、主に3つの貢献を述べています。

1. カスタマイズされたデータセット: 洪水の影響を受けた河川環境における漂流被害者の状況を表す、局所的なUAVベースの画像データセットの開発。これは、ドメイン固有の学習データの不足に対処するものです。
2. ファインチューニングされた検出フレームワーク: 空中洪水画像に特化したMask R- Verwendungの適応とファインチューニング。これはインスタンス・セグメンテーションを活用することで、標準的なバウンディングボックスのみのアプローチよりも優れた空間情報を提供し、ターゲットのピクセルレベルの記述を可能にします。
3. 迅速な視覚評価ツール: 地上へのアクセスが制限されている環境において、被害者の位置や移動方向に関するタイムリーな空間情報を提供することで、SAR業務を支援できる本システムの可能性を示すデモンストレーション。

結果
実験結果は、カスタマイズされたデータセットでMask R-CNNモデルをファインチューニングすることで、従来のモデルを大幅に上回る性能を示したことを示しています。

• 検出信頼度: ファインチューニングされたモデルは、標準モデルが85～89%付近で安定していたのに対し、90%を超える平均検出信頼度を達成しました。
• 平均適合率（AP）:
  • バウンディングボックス: IoU 0.5におけるAPは、54.6%（標準）から94.94%（ファインチューニング版）に増加。
  • セグメンテーション: IoU 0.5におけるAPは、52.8%（標準）から96.94%（ファインチューニング版）に増加。
• 平均再現率（AR）: 再現率、特にセグメンテーションのIoU 0.5において顕著な改善が見られ、ファインチューニングされたモデルによって52.8%から92.9%へと上昇しました。
• 効率性: ファインチューニングされたモデルは、画像1枚あたりの平均推論時間を0.5秒から0.3秒に短縮しました。
• 総合指標: 本研究は、検出精度が87%から92%へ向上したこと、F1スコアが0.88であること、および平均適合率（mAP）が0.82であることを報告しています。

意義と主張
著者らは、提案された手法が、動的な河川環境における漂流軌跡を推定するための信頼性の高いオブジェクト検出と空間情報を提供すると主張しています。インスタンス・セグメンテーションを利用することで、本システムはバウンディングボックスのみに依存する方法よりも、被害者と視覚的に類似したデブリをより効果的に区別できます。本研究は、この技術を、高流速かつ複雑な地形を伴うフラッシュフラッド条件下での緊急対応における意思決定を支援できる、迅速な空中偵察のための実行可能なツールとして位置付けています。著者らは、本システムの有効性を認めつつも、低照度環境や急速なカメラの動きによる検出エラーが依然として存在することを指摘しており、今後の課題として、多様な実世界のSARシナリオにおける性能検証に焦点を当てるべきであるとして、控えめな範囲設定を維持しています。