技術要約：長距離UAVナビゲーションのための不確実性誘導型信念世界モデル（Uncertainty-Guided Belief World Models）

1. 問題提起

本論文は、部分観測性および視覚的劣化下で動作する無人航空機（UAV）の長距離ナビゲーションにおける課題に取り組んでいる。現実世界のUAVナビゲーションは、霧、低照度、モーションブラー、遮蔽といった、オンボードの視覚センシングを劣化させる要因によって複雑化する。長距離の設定においては、ナビゲーション誤差が蓄積し、不完全またはノイズの多い環境表現に基づいて意思決定を修正する必要がある。

既存の視覚ベース強化学習（RL）手法は、部分観測性を扱うために再帰的メモリや時間的アテンションに依存することが多いが、現在の推論された状態に対する**確信度（confidence）や、将来の想像された軌道の不確実性（uncertainty）**を明示的に定量化することには失敗している。同様に、標準的な世界モデルは、信頼性の低い想像されたロールアウトを用いて方策を最適化することがあり、エラーの伝播を招く。決定的なことに、既存の不確実性を考慮したモデルは、現在の観測に基づいた信念の確信度と、再帰的な潜在空間予測を通じて蓄積される不確実性とを混同しており、視覚的劣化が存在する場合、この区別は極めて重要である。

2. 手法：UG-BWM

著者は、現在の信念の確信度と将来の予測不確実性を分離し、この情報を学習とデプロイの両方に活用するように設計されたフレームワークである**Uncertainty-Guided Belief World Model (UG-BWM)**を提案する。

コアアーキテクチャ

システムは2つの計算パスを通じて動作する：

1. 事後分布パス（推論）: 現在のオンボード観測（RGB画像、運動推定、相対目標、およびカメラの有効性フラグ）を処理して、不確実性を明示した信念を形成する。

   • 時間的な履歴を保持するためにGRUベースの再帰ネットワークを採用する。
   • 平均 $\mu^q_t$ と対角共分散 $\Sigma^q_t$ によって特徴付けられるガウス事後分布 $q_\phi(z_t | h_t, e_t)$ を出力する。
   • 主要な特徴: アクターおよびクリティック・ネットワークは、単なるサンプリングされた潜在状態ではなく、**事後対数共分散（posterior log-covariance）**を明示的に受け取る。これにより、方策は現在の状態推定の確信度に基づいて行動をとることが可能になる。

2. 予測パス（想像）: アンサンブルによる予測事前分布を用いて、有限期間の潜在軌道を伝播させる。

   • $M$ 個の独立にパラメータ化されたヘッドからなるアンサンブルが、将来の潜在状態、報酬、および衝突確率を予測する。
   • 不確実性推定: 予測不確実性は、アンサンブルの不一致（ensemble disagreement）（エピステミック的）と平均条件付き予測分散（average conditional predictive variance）（アレオリック的）を組み合わせることで算出される。これらのコンポーネントは、キャリブレーション参照値に対して正規化され、結合不確実性スコア $U_{t+k}$ を生成する。
   • 衝突処理: アンサンブル・メンバー間の衝突予測の不一致に基づくペナルティを加算することで、保守的な衝突確率推定を導出する。

学習および制御メカニズム

• 不確実性誘導型アクター・クリティック目的関数: 想像されたロールアウト中、報酬信号は予測された衝突リスクと予測不測性スコアの両方によってペナルティを課される。これにより、信頼性の低い潜在遷移が方策学習に与える影響を軽減する。
• 選択的再計画（Selective Replanning）: デプロイメント中、システムは決定論的なアクターによって生成された名目上のロールアウトの予測不確実性を監視する。
  • ヒステリシス・トリガー・ルールにより、監視ホライゾンにおける最大不確実性が閾値（$\tau_{on}$）を超えた場合にのみ、潜在空間プランナーを起動する。
  • トリガーされた際、プランナーは複数の候補アクションシーケンスをサンプリングし、不確実性でペナルティを課したリターンを用いてスコアリングし、最適なアクションを選択する。
  • このメカニズムは、重い計算（プランニング）を、名目の方策が信頼できないと判断された場合にのみ起動することを目的としている。

3. 主な貢献

本論文は、4つの主要な貢献を特定している：

1. 不確実性を明示した信念インターフェース: 現在の観測に基づいた潜在推定とその事後確信度（対数共分散）の両方をアクターとクリティックに供給するメカニメントであり、現在の信念の信頼性と将来の予測不確実性を区別する。
2. アンサンブル予測事前分布: アンサンブルの不一致と条件付き予測分散を組み合わせることで、想像されたホライゾン全体にわたって予測不確実性を推定し、潜在的信念を伝播させる手法。
3. 不確実性誘導型想像目的関数: 高い不確実性を伴う遷移にペナルティを課し、保守的な衝突リスクの推定を組み込む学習目的関数であり、信頼性の低い想像データが方策最適化に与える影響を低減する。
4. 選択的再計画メカニズム: 名目の方策のロールアウトが信頼できない状態においてのみ、追加のプランニングをトリガーするデプロイメント時の戦略であり、継続的なプランニングと比較して計算負荷を大幅に削減する。

4. 実験結果

本手法は、ルート長を変化させた6つの固定テスト条件下、および4種類の視覚的劣化（霧、低照度、モーションブラー、遮蔽、および未知の構造的変化を含むTest-OOD）において、Gazebo HarmonicおよびPX4 SITLを用いて評価された。

パフォーマンス指標

最も近い制御されたベースラインであるDreamerV3-CU（不確実性ペナルティは含むが、明示的な事後確信度と選択的再計画を欠く）と比較して、UG-BWMは以下の成果を上げた：

• 成功率（Success Rate）: 0.63 vs. 0.54 (DreamerV3-CU)。
• 衝突率（Collision Rate）: 0.15 vs. 0.20。
• 成功経路長（SPL）: 0.62 vs. 0.54。
• 長距離パフォーマンス: UG-BWMは、長距離ルートにおいてDreamerV3-CU（0.38）よりも高い成功率（0.47）を維持した。

アブレーションおよび分析

• 事後確信度: 明示的な共分散入力の削除またはシャッフルを行った場合、性能が著しく低下した。これは、状態依存の確信度が意思決定において極めて重要であることを裏付けている。
• 予測不確実性: 結合された不確実性スコア（不一致＋分散）は、いずれか一方のコンポーネントのみを使用した場合よりも優れた性能を示した。予測不確実性は、訓練ホライゾン（$H=15$）を超えても、ロールアウト誤差と正の相関を維持していた。
• 選択的再計画: 不確実性によってトリガーされる再計画は、「常にプランニングを行う（always-plan）」と同等の性能を実現しつつ、制御ステップのわずか**18%においてのみプランナーを起動した。これにより、プランナーの使用回数を82%**削減し、P95決定レイテンシを71 ms（always-plan）から48 msへと低減させた。
• 堅牢性: UG-BWMは、モデルフリーのベースライン（TD3, Recurrent PPO）や標準的な世界モデル（DreamerV3）と比較して、視覚的劣化および未知の幾何学的構造に対する優れた堅牢性を示した。

5. 意義と主張

本論文は、不確実性を明示した信念モデリングと選択的プランニングが、視覚的センシングが劣化した環境下でのUAVナビゲーションにおいて効果的な戦略であることを主張している。

• 不確実性の区別: 本研究は、現在の 推論された状態に対する確信度（事後分布）と、将来の 想像された状態の不確実性（予測）を区別することの重要性を強調している。この区別により、システムは即時的なセンサー劣化と、予測誤差の蓄積に対して適切に反応することができる。
• 効率性: 選択的再計画メカニズムは、高性能なナビゲーションには継続的かつ計算コストの高いプランニングは必要ないことを示している。代わりに、不確実性信号が、再計画が必要な特定の状態を効果的に特定できる。これは、性能と計算コストの間の実用的なトレードオフを提供している。
• 限界: 著者は、本研究がシミュレーション（Gazebo/PX4 SITL）に限定されており、形式的な安全保証を提供していないことを謙虚に述べている。また、予測アンサンブルは単一のガウス分布によって近似されており、マルチモーダルな将来の結果を覆い隠す可能性がある。今後の課題として、これらの知見を物理的なUAVで検証し、明示的な安全制約を統合することが示唆されている。

要約すると、UG-BWMは、エージェントが自身の「無知」を自覚し、その自覚を用いて学習プロセスとデプロイ時の計算リソースの両方を導くフレームワークを提供しており、その結果、困難な部分観測環境においてより堅牢かつ効率的なナビゲーションを実現している。