LMPath: Language-Mediated Priors and Path Generation for Aerial Exploration

技術的概要：LMPath：航空探査のための言語媒介事前知識と経路生成

問題定義
従来の自律型無人航空機（UAV）探索ミッションは、対象物体のセマンティックな文脈を無視した幾何学的カバレッジパターンに依存しています。大規模環境において、このアプローチは、UAV が対象を発見する可能性に関係なく領域を体系的にカバーすることを強いるため、著しい時間の浪費を招きます。衛星画像に基盤モデルを活用する既存の手法は、上空から見える大規模な静的物体（例：建物）の特定に焦点を当てることが多いですが、動的物体とその環境との間のセマンティックな関係性（例：駐車場内の自動車）について推論する能力を欠いています。さらに、局所的な反応型ナビゲーション手法がフロンティア探索に言語埋め込みを使用する一方で、高レベルの環境常識を大規模領域向けのグローバルで最適化された探索事前知識へ変換するメカニズムを欠いています。

手法：LMPath パイプライン
著者は、UAV 探索ミッションのための言語媒介探索事前知識を生成するパイプライン「LMPath」を提示します。このシステムは、セマンティック・空間推論フレームワークを構築するために大規模言語モデル（LLM）と基盤ビジョンモデルを統合しています。パイプラインは以下の段階で動作します。

1. 入力とデータ取得: システムは、ユーザー定義の物体プロンプト（例：「自動車」）と、運用ジオフェンス、飛行禁止区域、および離陸地点を定義する地理空間メタデータを受け入れます。「Tile Composer」がウェブベースの地図サービスにクエリを送信し、探索領域の高解像度衛星画像を結合します。
2. セマンティックラベル推論（LLM）: LLM エージェントが、対象物体が発見される可能性のある環境文脈を記述する一連のセマンティックに関連するラベル（$L$）を推論します（例：「自動車」の場合、LLM は「駐車場」、「道路」、「車道」を出力する可能性があります）。これにより、特定の探索対象と上空画像で認識可能な広範なセマンティック特徴との間のギャップが埋められます。
3. 確率的ヒートマップ生成（ビジョンモデル）: 推論されたラベルを用いて、基盤セグメンテーションモデル（具体的には SAM 3）が衛星画像を処理します。衛星画像のサイズが大きいため、スライディングウィンドウアプローチが採用されます。重複するウィンドウ内の各ラベルに対して二値セグメンテーションマスクが生成され、境界アーティファクトを軽減するために平均化され、最終的な 2 次元確率密度関数（ヒートマップ）$H(x, y)$ を作成するために合計されます。高い値は、物体の存在のセマンティックな可能性が高いことを示します。
4. ウェイポイント生成とグラフ構築: 連続的なヒートマップは、UAV のセンサーカバレッジフットプリントに基づいて、候補ウェイポイントの集合に離散化されます。運用空間はボロノイ分割を用いて分割されます。各ウェイポイントの「熱」または確率質量（$p_i$）は、対応するボロノイセル上のセマンティック事前知識を積分し、セルの面積で正規化して計算されます。これにより、大きなセルへのバイアスを防ぎます。
5. 経路最適化（ILP）: 離散化されたグラフは、整数線形計画（ILP）として定式化された経路計画器に入力されます。システムは複数の目的をサポートします。
   • 期待探索時間の最小化: ILP は、訪問時間の重み付き和を最小化する経路を最適化し、確率質量の高いウェイポイントを優先します。
   • 大規模環境における対象集中型経路: 非常に広大な領域の場合、計画器は閾値（$\rho$）以下の確率質量を持つウェイポイントをフィルタリングし、問題を高確率サブ領域上の巡回セールスマン問題（TSP）に削減できます。

主要な貢献
本論文は、以下の 2 つの主要な貢献を概説しています。

1. セマンティック・空間推論フレームワーク: 探索対象とその可能性のある環境文脈の間に推論層を構築するために LLM を統合し、セマンティックに関連するラベルを推論して、それを衛星画像にマッピングします。
2. 多目的経路探索システム: これらの言語媒介事前知識を ILP に統合し、探索時間の最小化や特定のサブ領域への焦点化など、多様なミッション目的に対して経路を最適化します。

実験結果
著者は、LMPath を実世界でのフィールドテストと高忠実度シミュレーションを通じて評価しました。

• 実世界検証: ナディル視点の RGB カメラを搭載した Falcon 4 UAV を使用し、大規模環境でミッションを正常に実行しました。「自動車」の探索では、UAV は芝生エリアよりも駐車場を優先しました。300m x 450m の範囲内での「建物」の探索では、UAV は森林地域を無視して開放空間に焦点を当てました。
• シミュレーション評価: Gazebo シミュレーションを「PolyCity」（合成都市）と「Industrial Park」（実 UAV 画像から再構築）の 2 つの環境で実施しました。LMPath と、セマンティックなガイダンスなしに空間全体を均一にカバーするベースライン TSP 計画器との比較を行いました。
  • PolyCity 環境では、LMPath 生成経路がベースラインよりも 66.0% の確率で対象を早く発見しました。
  • Industrial Park 環境では、LMPath は 88.0% の確率でベースラインを上回りました。
  • 結果は、高確率領域をインテリジェントに優先することが、セマンティック無視の網羅的カバレッジと比較して期待探索時間を大幅に短縮することを示しています。

意義と限界
本論文は、LMPath が UAV タスキングを再考するために基盤モデルを活用する有用性を示しており、手動の GPS 座標選択からセマンティック駆動の自律性へと移行することを主張しています。システムは、ユーザープロンプトを環境文脈を尊重する最適化された飛行経路へ変換することに成功しました。

著者は特定の限界を認めています。

• 可視性制約: システムは、提供された衛星画像で明確に見える場所のみをセグメント化できます。大きな建物や植生による遮蔽は性能を妨げる可能性があります。
• 静的仮定: 現在のヒートマップ定式化は、ラベルとマスクに対して均一な重み付けを仮定しています。
• 将来の方向性: 著者は、LMPath 事前知識を局所的なフロンティア探索アルゴリズムと統合し、遮蔽や動的変化に対処する将来の作業を提案しています。また、ラベルの信頼性と条件付き依存関係（例：「建物」の隣にある場合は「車道」を優先するなど）を組み込んで、探索事前知識をさらに洗練させることを提案しています。