技術要約: SynDroneVision-Weather (SDV-W)

1. 問題提起

ドローンの実運用における信頼性の高い検出には、悪天候や季節の変化を含む、完全な運用設計領域（ODD）を網羅する学習データが必要である。しかし、このようなデータの取得とアノテーションは、特に雨、雪、霧といった悪天候下においては、リソースを大量に消費し、系統的な制御が困難である。既存の実世界のデータセットは、こうしたシナリオのカバー範囲が不足していることが多く、また現在の合成ソリューションは、空が晴天である条件に限定されていたり、画像空間上の物理的に不整合な拡張（例：雨筋を重ね合わせる手法）に依存していたりすることが多い。これらは、天候、照明、およびシーンの幾何学的構造の間の複雑な相互作用を捉えることができない。その結果、検出器は季節性や悪天候による分布シフトに遭遇した際、性能が低下する傾向がある。

2. 手法

著者らは、既存のSynDroneVision (SDV) データセットの系統的な拡張版として、SynDroneVision-Weather (SDV-W) を提案する。SDV-Wは、ピクセル単位の正確なアノテーションと制御された環境変化を保証するために、ゲームエンジンベースのパイプライン（Unreal Engine 5.0およびColosseumシミュレータ）を用いて生成されている。

データ生成

• 基本構成: SDV-Wは、元のSDVデータセットから厳選された15のシーケンスを、3つの異なる都市環境（大学キャンパス、ベネチア風都市、アーバン・ダウンタウン）にわたって再レンダリングしたものである。
• 制御変数: 生成プロセスにおいて、元のシーンの幾何構造、カメラ配置、およびドローンの軌道を保持する。これにより、「クリーン」な状態と「悪天候」の状態の間の厳密な一対一の対応関係が確保され、天候や季節の影響をシーン内容の変化から分離できる。
• 季節構成: 3つの季節状態を実装している：春/夏（豊かな緑の葉）、秋（黄色から茶色の葉）、冬（落葉した植生）。
• 天候条件: 天候はColosseumのウェザーAPIを使用してシミュレーション内で直接レンダリングされる。条件は以下の通り：
  • 降水: 雨および雪（雪は冬に限定）。
  • 大気: 霧および舞い落ちる葉（秋に限定）。
  • 組み合わせ: 現実的な照明とコントラストの減少を近似するために非対称にパラメータ化された、複合的な「雨-霧」条件。
  • 深刻度: 晴天のベースラインに加え、「軽度」および「重度」の深刻度レベルでレンダリングされる。
• データセットの構成: 最終的なデータセットは、3つの季節と様々な天候条件に分散した55,187枚のアノテーション済み高解像度画像（2560×1477ピクセル）で構成される。これには、元のSDVと比較して、投影されるオブジェクトのサイズが系統的に小さくなる傾向を持つ、多様なオブジェクトサイズが含まれている。

3. 主な貢献

1. SDV-Wデータセット: SDVを季節および制御された悪天候のバリエーションによって拡張した大規模なアノテーション済みデータセットを提供し、クリーンな状態と悪天候の状態の比較を可能にした。
2. 制御された堅牢性分析: 学習時に明示的な天候への露出がない状態でモデルを評価することにより、条件特有の検出器の劣化を定量化する手法を提示した。
3. クロスドメイン汎用性の定量化: 様々なアーキテクチャ（YOLOの各バリアントおよびYOLO-FEDER FusionNet）および季節・天候のシフトを含む実世界のデータセットを通じた、SDV-Wの検出器性能への貢献を評価した。
4. 要因の分離: 環境の多様性と学習セットの規模による影響を分離して分析し、異なるオブジェクトサイズにおける検出器の挙動を特性化した。

4. 実験結果

本研究では、標準的なYOLOモデル（v5, v8, v9, v11）および特化型モデルであるYOLO-FEDER FusionNetを、公開されている実世界のデータセット（DUT Anti-UAV, LRDDv1, LRDDv2）およびカスタムの季節録画を用いて評価した。

合成天候の影響

• 劣化: 天候特有の学習を行わずにSDV-Wでテストした場合、すべての悪天候条件下で、晴天時と比較して性能が低下した。
• 深刻度: 雪と霧が最も顕著な劣化を引き起こし、偽陰性率（FNR）をそれぞれ約15.8%、約12.7%増加させ、mAP@0.25を約8.2%、約6.2%減少させた。
• 失敗モード: 悪天候は、主にオブジェクトのサリエンス（目立ちやすさ）を検出閾値以下に抑制すること（見逃しの増加）が原因であり、舞い落ちる葉を除いて、誤検知（偽陽性）を誘発するものではなかった。

学習への影響 (リソースとしてのSDV-W)

• 性能向上: SDV-Wを学習セット（SDVおよび実データと共に）に組み込むことで、外観の変化に対する検出器の信頼性が向上した。
  • LRDDv1 において、mAP@0.5はYOLOの各バリアントを通じて+10.4から+14.1ポイント向上した。
  • DUT Anti-UAV（ベースラインが飽和状態に近いデータセット）において、SDV-Wは参照ドメインの性能を損なうことなく、FNRを平均4.4ポイント減少させた。
  • LRDDv2 において、SDV-Wは一貫してFNRと偽発見率（FDR）を減少させ、特に中型オブジェクトにおいて顕著な効果が見られた。
• 特化型モデル: YOLO-FEDER FusionNetは、カスタムの季節録画（R1-POS3, R2-POS7）において大幅な改善を示し、特に夏季のFDRの低減および冬季のFNRの低減において効果的であった。
• 多様性 vs 規模: 総サイズを一定に保ったまま、汎用的なSDVサンプルをSDV-Wに置き換えても、大規模で多様な公開データセットに対して一貫した利益は得られなかった。これは、SDV-Wが汎用的な合成データの「代替」ではなく、**「補完」**として最も効果的であることを示唆している。

小規模オブジェクトの回復

• タイル推論: 640×640へのリサイズによるオブジェクトスケールの圧縮に対処するため、著者らはタイル推論（画像を重なり合うパッチに分割する手法）をテストした。
• トレードオフ: タイル推論は、極小オブジェクトの検出を大幅に改善したが（例：LRDDv2においてmAP@0.5が倍増）、大型オブジェクトのローカライゼーションを低下させ、推論時間を増大させた（約12msから50ms以上へ）。

5. 重要性と主張

本論文は、SDV-Wが、季節や天候による外観の変化に対するドローン検出器の運用の堅牢性を向上させるための、スケーラブルで制御された手段を提供すると主張している。その主な重要性は以下の点にある：

• 運用の失敗の軽減: 悪天候下での見逃しや誤検知を効果的に減少させており、これらは実運用において極めて重要である。
• 補完的な有用性: このデータセットは、環境のカバー範囲を広げつつ、クロスドメインの汎用性を損なうことなく、汎用的な合成データを補完するために最も価値がある。
• 手法的な制御: シーンの幾何構造と軌道を保持することで、SDV-Wは天候特有の効果を分離することを可能にし、これは実世界の録画では達成が困難なレベルの制御である。

著者らは、SDV-Wは外観に起因する劣化を緩和するものの、スケールに起因する失敗には依然として（トレードオフを伴う）タイル推論のような補完的な推論戦略が必要であることを指摘しており、自らの主張に対して謙虚な姿勢を維持している。さらに、最終的な評価に使用するための多様な実世界の悪天候データが不足していることは、今後の課題として認められている。