技術要約：安全な着陸ゾーン検出のための合成から実環境へのパイプライン（Synthetic-to-Real Pipeline）

問題提起

無人航空機（UAV）が高レベルの自律性に進化するにつれ、非協力的な非構造化環境における無人リカバリ（自動回収）を行う能力は、極めて重要な安全要件となっている。飛行の最終フェーズは大きなリスクを伴い、特に事前に定義された着陸パッドや静的な座標が利用できない場合に顕著である。標準的な障害物回避とは異なり、安全な着陸ゾーン（SLZ）の特定には、航行可能な地形（例：舗装路、芝生）と危険な障害物（例：植生、車両、凹凸のある地面）を区別するための高精度なセマンティック解像度が必要となる。

堅牢な視覚ベースの空中対地上（A2G）システム開発における主要なボトルネックは、アノテーション済みの航空データセットの不足である。現実世界におけるピクセル単位のラベル付き画像の取得は、ロジスティクスが複雑でコストがかかり、法的制限を受けることも多い。その結果、既存のアーキテクチャは特定の環境やハードウェアに「ハードロック」されやすく、分布外（out-of-distribution）のシナリオにおいて性能が低下する傾向がある。さらに、現在のソリューションの多くはLiDARのようなアクティブセンサーに依存しており、これらはサイズ、重量、および電力（SWaP）に関する厳しい制約を課すか、あるいは基準マーカーを用いた構造化された環境に限定されている。エッジデバイスの計算限界を超えることなく、最先端のアーキテクチャを活用した、高性能でエッジ展開可能な知覚システムの継続的なニーズが存在する。

手法

提案される研究は、自律着陸のためのシム・トゥ・リアル（sim-to-real）のギャップを埋めるように設計された、包括的な知覚およびデータ生成パイプラインを導入する。本システムは、統合された3つのステージを通じて動作する。

1. プロシージャルな合成データ生成

データの不足を軽減するため、著者らはBlender Cyclesレンダリングエンジン内に高忠実度のデータエンジンを開発した。このシステムは、プロシージャルな都市生成器を確率的なデータエンジンへと拡張し、フォトリアリスティックな都市環境と、自動化されたピクセルパーフェクトなセマンティックアノテーションを生成することを可能にする。

• プロシージャル合成： 環境はアルゴリズムによるメッシュ押し出し（mesh extrusion）を通じて構築され、7つの主要なセマンティッククラス（背景、樹木、建物、低木、道路、歩道、車両、および妨害物体）を管理する。アセット管理システムは、ポアソンディスクサンプリングを利用してオブジェクトの配置をランダム化し、特定のジオメトリへのネットワークの過学習を防ぐ。
• ドメインランダム化： ドメインギャップを埋めるため、パイプラインは2つのランダム化レイヤーを採用する。
  • 照明ダイナミクス： 太陽の方位角と仰角をキーフレーム化することで日周サイクルをシミュレートし、現実的な影の伝播とコントラストの変化を生成する。
  • センサーエミュレーション： 仮想カメラは物理的なUAVセンサーに一致するように校正され、物理的なセンサーの特性を模倣するために、確率的なノイズ、ブラー、および振動による焦点の変動（オートフォーカスハンティングや振動によるブラー）を導入する。非線形Bスプラインパスにより、多様な視角とオブジェクト密度を確保する。
• 自動アノテーション： グラウンドトゥルース（正解）マスクは、「マテリアルオーバーライド」プロトコルを介して生成される。ここでは、オブジェクトにクラスIDに基づいたアンシェーデッド（無着色）のエミッシブ（放射）マテリアルを割り当てる。これにより、手動の介入なしに、RGBレンダリングとセマンティックマスク間のピクセルパーフェクトな空間的一致を保証する。
• オーグメンテーション： ポストプロセッシング段階では、ランダムなカラージッタリング、360度の回転スウィープ、および確率的なズーム係数を適用し、トレーニングパイプラインをさらに堅牢化する。

2. トランスフォーマーベースの知覚アーキテクチャ

システムは、トランスフォーマーバックボーン（Swin-L）に基づいた汎用画像セグメンテーションフレームワークであるOneFormerアーキテクチャを利用する。

• 学習戦略： モデルは生成された合成データセットのみを用いてファインチューニングされる。Cityscapesデータセットで事前学習された重みを利用して、堅牢な初期化ベースラインを確立し、学習された特徴表現を特定のドメインシフト（合成された航空視点）に適応させる。
• 最適化： ネットワークは、計算オーバーヘッドを管理するために混合精度訓練を用いたAdamWアルゴリズムを使用して最適化される。データセットは、トレーニング、検証、テスト用に70/20/10の割合で分割される。

3. 決定論的着陸モジュール

最終段階では、ピクセル単位のセマンティック予測を、自律的な意思決定のためのバイナリ・トラバーサビリティマップ（通行可能性マップ）に変換する。

• 階層的リスク分類： セマンティッククラスは以下の3つのセットに分類される。
  • 安全 ($S_{safe}$): 本質的に着陸に適した静的なクラス（例：歩道）。
  • 不安全 ($S_{unsafe}$): 禁止領域（例：車両、歩行者）。
  • 潜在的 ($S_{pot}$): 条件付きで有効な領域（例：道路）。これらは、不安全なオブジェクトと交差しない場合にのみ安全となる。
• 安全バッファリング： 決定論的ロジックにより、すべての不安全オブジェクトの周囲に20ピクセルの安全拡張（円形バッファ）を適用する。潜在的な領域がこのバッファと交差する場合、活動中の交通や危険なエリアへの着陸を防ぐために、その領域は背景（不安全）として再分類される。
• 幾何学的着陸地点の決定： システムは、得られたバイナリマスクに対してユークリッド距離変換（EDT）を適用し、最大包含円（LIC）を特定する。LICの中心は、その半径がUAVの物理的フットプリントに安全余裕を加えた値を満たす場合に、ターゲット着陸地点として選択される。その後、飛行コントローラーを誘導するための偏差ベクトルが計算される。

主な貢献

1. プロシージャル合成データエンジン： ジオメトリ、照明、およびセンサーノイズの確率的なパラメータ化を通じて、ラベル付き航空画像の不足を効果的に解消し、フォトリアリスティックな都市環境と自動化されたセマンティックアノテーションを生成する、スケーラブルで高忠実度なパイプライン。
2. トランスフォーマーベースの知覚： 合成データのみでファインチューニングされたOneFormerを使用する高性能セグメンテーションフレームワークであり、複雑な地形の特徴や動的な障害物を区別するための最先端のセマンティック解像度を実現する。
3. シム・トゥ・リアル検証： 未知の実環境（UAVidベンチマークおよびDJIドローン映像）において、ハードウェア加速された最適化を通じてリアルタイムのレイテンシ要件を満たしながら、未知の環境における安全な着陸ゾーンを特定できることを示すゼロショット転送評価。

結果

提案されたパイプラインは、UAVidデータセットに対する定量的なベンチマークングと、実世界のDJI Mavicドローン映像による定性的な検証を通じて評価された。

• 定量的な性能： UAVidベンチマークにおいて、モデルは強力な汎化性能を示した。構造クラスにおいて高い精度を達成した（建物で97.99%、樹木で96.13%）。道路クラスは高い再現率（0.872）を示し、潜在的な着陸表面の最大特定を保証した。「オブジェクト」クラスは低い適合率（0.025）を示したが、定性的分析により、これはモデルの失敗ではなく、グラウンドトゥルースのアノテーションの粗さに起因することが判明した。モデルは、手動ラベルから漏れている小さな障害物を正常に検出していた。
• 定性的な観察： トランスフォーマーアーキテクチャは、手動のグラウンドトゥルースと比較して優れた幾何学的忠実度を示し、参照データにおける粗い多角形近似よりも、高周波の境界により正確に適合することが多かった。しかし、モデルは高ダイナミックレンジの照明に対して敏感であり、深い影の中では建物と暗い歩道を混同することがあった。
• 運用可能性： 実世界のテストにおいて、システムは階層的なリスクゾーンへのセグメンテーションに成功した。テストフレームの94%において、システムは開けた芝生のメディアン（中央分離帯）内の重心に収束し、合成から実環境への転送が衝突のない着陸ゾーンを特定するのに十分であることを確認した。決定論的な干渉モジュールは、車両の検出時に道路セグメントを効果的に不安全として再分類した。

意義

本研究は、手動アノテーションの必要性を排除し、自律的なUAVリカバリのための堅牢でエッジ展開可能な状況認識を提供する、高忠実度なプロシージャルシミュレーションの可能性を強調している。合成データのみで訓練されたモデルが、未知の実環境に対して堅牢なゼロショット転送を達成できることを実証することで、本研究は「エッジコンピューティングのギャップ」と、実世界のインフラ展開におけるロジスティクスの課題に対処している。決定論的な着陸モジュールの統合は、セマンティックな予測が安全で実行可能なナビゲーションコマンドへと確実に変換されることを保証し、保守的なリスク回避を優先させる。このアプローチは、大規模な実世界データの収集に伴う禁止的なコストをかけることなく、非協力的な環境における精密な無人回収システムを導入するための実行可能な経路を提供する。