技術要約：部分観測環境におけるナビゲーションのためのBeliefDiffusion

問題提起

部分観測環境（POE）における自律ナビゲーションは、根本的な課題を提示している。すなわち、エージェントはグローバルな地図に関する事前知識を持たず、限られたローカルな感覚情報のみに頼ってゴールに到達しなければならない。従来のアプローチは、多くの場合、可能な環境状態の確率分布を表す「信念状態（belief state）」を維持するために、部分観測マルコフ決定過程（POMDP）に依存している。しかし、既存の信念ベースの手法は、これらの分布をしばしば単峰性の点推定（例：最も可能性の高い単一の状態）へと簡略化してしまう。この簡略化は、特に知覚的エイリアシング（異なる場所が同一に見える現象）や高次元の状態空間が存在するシナリオにおいて、信念空間の本質的な**マルチモーダル性（多峰性）**を捉えることができない。その結果、エージェントは複数の妥当な現実に対してヘッジ（備え）を行うのではなく、単一の推測に賭けてしまうことで、最適ではない意思決定を下す可能性がある。

生成モデルは複雑な状態分布をモデル化する方法を提供するが、通常、広範なエキスパートによるデモンストレーションやオフラインの軌跡を必要とし、長期的な計画のための明示的なメカニズムを欠いていることが多い。対照的に、モデル予測制御（MPC）はプランニングには効果的であるが、未知の設定では取得が困難な明示的な遷移モデルを伝統的に必要とする。

手法：BeliefDiffusion

著者らは、拡散モデルの生成能力とモデル予測制御（MPC）のプランニングの厳密さを統合したフレームワークであるBeliefDiffusionを提案している。このシステムは、「想像してから計画する」という2段階のループで動作する。

1. 拡散モデルによる信念生成

本フレームワークは、単一の地図を予測する代わりに、拡散モデルを使用して、エージェントの観測履歴に基づいた、妥当な環境構成（ローカルマップ）のマルチモーダルな分布を明示的に特徴付ける。

• 入力: エージェントの観測履歴（$\tau$）。これには、ローカルな観測と相対的なゴール座標が含まれる。
• 埋め込み: 可変的な履歴の長さを扱うため、モデルはマルチヘッド・アテンションを用いて、各グリッドセルに対する過去の観測を集約する。これにより、特定のマップ位置に関連する過去のデータに焦点を当てることができる条件付き埋め込みが作成される。
• 学習: U-Netバックボーンは、ノイズ除去拡散確率モデル（DDPM）を用いて訓練される。標準的なノイズ予測とは異なり、モデルはノイズを含む入力から元のバイナリマップ（$m_0$）を直接予測するように訓練される。
• 条件付け: モデルは、生成プロセスを制御するために**Classifier-Free Guidance (CFG)**を採用しており、これにより、エージェントの部分的な観測と整合する、多様で妥当なマップレイアウトをサンプリングすることが可能になる。

2. モデル予測制御（MPC）によるプランニング

拡散モデルが$N$個の妥当なマップサンプルを生成した後、これらはMPCフレームワークに統合され、最適なアクションを決定する。

• 集約されたダイナミクス: 遷移関数を推定するために、システムは$N$個のサンプリングされたマップを単一の「コンセンサス（合意）」マップ（$m_{agg}$）へと集約する。あるセルが$m_{agg}$において障害物としてマークされるのは、そのセルがサンプルの高い割合（$\ge N \cdot \lambda_p$）で障害物として現れる場合のみである。これにより、プランナーは、いかなる合理的な仮説においてもブロックされる可能性が高い経路を回避できる。
• アクションの提案: システムは、個々のサンプリングされたマップごとに、A*探索アルゴリズムを用いて候補経路を生成する。
• 選択: すべての候補経路は、集約されたダイナミクスモデル（$m_{agg}$）に対して評価される。コンセンサスマップに違反する経路はゼロの報酬を受ける。全仮説を通じて最も高い報酬を持つ経路が、最終的なプランとして選択される。
• 実行: エージェントは選択された経路の最初の行動を実行し、新しい環境を観測し、生成・計画サイクルを繰り返す。

主な貢献

1. マルチモーダルな信念モデリング: ナビゲーションにおけるマルチモーダルな信念状態を明示的にモデル化する、新しい拡散ベースのアプローチであり、単峰性の点推定を超えて、妥当な環境の全分布を捉える。
2. 統合されたプランニングフレームワーク: 生成されたマップレイアウトを利用してロバストな意思決定を行う、信念空間MPCフレームワークであり、生成とプランニングを効果的に組み合わせている。
3. サンプル効率: 本手法が、モデルフリー強化学習（RL）手法や単峰性の生成アプローチと比較して、大幅に少ない訓練データで優れた性能を達成することを実証する経験的証拠。

実験結果

著者らは、合成2Dグリッド環境（64x64マップ）において、BeliefDiffusionを以下のベースラインと比較して評価した。

• ベースライン:
  • LSTM-PPO: 近接方策最適化（PPO）を用いて訓練された強力なモデルフリーRLベースライン。
  • 決定論的予測: 単一の最も可能性の高いマップを予測する教師あり学習モデル（U-Net）。
  • 軌跡拡散（Trajectory Diffusion）: 未来の軌跡を直接予測するトランスフォーマーベースのモデル。
  • ゴールフォロワー（Goal-Follower）: ゴールに向かって直進する単純なベースライン。
• 指標: 成功率（SR）および経路長で重み付けされた成功率（SPL）。
• 知見:
  • 性能: BeliefDiffusionは、10Mステップの訓練ステップで、成功率47.3%、SPL 37.0%を達成した。これは、同等の性能に達するまでに5億ステップの相互作用を必要とした最良のLSTM-PPOエージェント（SR 45.5%、SPL 35.5%）を上回った。
  • データ効率: 提案手法は、最良のLSTM-PPOベースラインが必要とするデータのわずか1/500のサイズで高い性能に到達した。
  • 生成 vs 決定論: 拡散ベースのアプローチは、決定論的予測モデル（SR 20.4%）および軌跡拡散ベースライン（SR 9.4%）の両方を大幅に上回り、マップレイアウトの分布をモデル化すること（単なる軌跡や単一の状態の予測ではなく）の必要性を浮き彫りにした。
  • ハイパーパラメータ: 推論マップサイズは8x8、サンプル数（$N$）は10が最適であることが判明した。$N$を10以上に増やしても収穫逓減が見られ、より大きなマップサイズは、顕著な性能向上なしに計算コストを増大させた。

意義と主張

本論文は、マルチモーダルな信念表現をプランニングに明示的に組み込むことが、部分観測設定におけるロバストなナビゲーションの鍵であると主張している。複数の妥当な「あり得る世界」を「想像」し、それらの一連の可能性に対して良好に機能するアクションを計画することで、エージェントは知覚的エイリアシングに対して堅牢になり、破滅的な失敗（例：単一の仮説が間違っていたために壁にぶつかること）のリスクを軽減できる。

著者らは、本手法が強化学習に典型的な膨大な訓練データを必要としないことを強調している。代わりに、拡散モデルの生成能力を活用して、構造化された「起こり得る世界」の潜在空間を作成することで、未知の複雑な環境における情報に基づいた意思決定を可能にしている。この研究は、マップレイアウトの推論を条件付き生成問題として扱うことは、単峰性の近似や直接的な軌跡予測に頼るよりも、ナビゲーションにおいてより効果的な戦略であることを示唆している。