Hierarchical Diffusion Motion Planning with Task-Conditioned Uncertainty-Aware Priors

論文概要

この論文は、ロボット運動計画における拡散モデル（Diffusion Models）の新たなアプローチを提案しています。従来の拡散ベースの計画手法が、ゼロ平均・等方性（isotropic）のガウスノイズに依存しているのに対し、本手法はタスクと運動構造をノイズモデルそのものに埋め込むことで、より効率的かつ高品質な軌道生成を実現します。具体的には、ガウス過程運動計画（GPMP）に基づいた「タスク条件付きの構造化ガウス分布」を事前分布として導入し、それを階層構造を持つ拡散プラナーに組み込むことで、軌道の滑らかさとタスク制約の遵守を両立させています。

---

1. 解決すべき課題 (Problem)

既存のロボット運動計画における拡散モデルには、以下の限界がありました。

• 構造化情報の欠如: 画像やテキストとは異なり、ロボット運動には「時間的な滑らかさ（動的可行性）」や「タスク固有の制約（開始点、目標点、接触イベントなど）」という本質的な構造が存在します。しかし、従来の手法はゼロ平均・等方性のガウスノイズ（無構造なノイズ）を使用しており、これらの構造を無視して学習していました。
• 条件付けの限界: 従来の手法では、タスク情報を生成プロセスに反映させるために、推論時の条件付け（Conditioning）やガイダンス（Guidance）に依存していました。これは、ノイズ除去プロセス自体が構造を考慮していないため、学習が非効率であったり、制約違反が発生しやすかったりします。
• 硬い制約と柔軟性のトレードオフ: 制約を厳密に守ろうとすると探索空間が狭まり、柔軟性が失われます。逆に柔軟にすると制約違反が多発します。

---

2. 提案手法 (Methodology)

本論文は、「タスク条件付きの不確実性認識型事前分布」を持つ2 段階の階層拡散プラナーを提案しています。

A. 核となるアイデア：構造化ノイズモデル

標準的な DDPM（Denoising Diffusion Probabilistic Models）の前方プロセス（ノイズ付加）を、ゼロ平均・等方性のガウス分布から、タスクに依存する非等方性（non-isotropic）ガウス分布へと一般化しました。

• 平均 ($\xi$) と共分散 ($K$): これらはガウス過程（GP）に基づいて定義されます。
• 効果: ノイズ付加プロセス自体が、軌道の滑らかさ（GP カーネルによる時間相関）とタスク制約（事前分布の条件付け）を反映するため、逆拡散プロセスは最初から「実行可能で意味のある」領域に集中してサンプリングを行います。

B. 階層構造 (Two-Level Hierarchy)

1. 上位レベル (Upper Level): キーステートとタイミングの予測

   • 拡散モデルを用いて、軌道全体から重要な「キーステート（キーポイント）」とその「タイミング」を予測します。
   • 例：迷路のウェイポイント、アーム操作における「把持（Grasp）」と「離す（Release）」の瞬間。
   • これらの予測は「ソフトな観測（Soft Observations）」として扱われ、不確実性（共分散）を伴います。これにより、完璧な予測でなくてもサンプリングを誘導できます。

2. 下位レベル (Lower Level): 事前分布に基づく軌道生成

   • 上位レベルで得られたキーステートとタイミングを用いて、**ガウス過程運動計画（GPMP）**に基づいた事前分布 $N(\xi, K)$ を構築します。
   • この事前分布は、キーステートを「アンカー」として固定しつつ、その間の軌道を滑らかに補間する共分散構造を持ちます。
   • 下位レベルの拡散モデルは、この構造化された事前分布 $N(\xi, K)$ を初期状態として逆拡散を行い、完全な軌道を生成します。
   • 損失関数: 標準的な MSE ではなく、事前分布の共分散の逆行列を用いた**マハラノビス距離（Mahalanobis distance）**を最小化する損失関数を採用し、共分散構造に合わせた重み付け学習を行います。

C. 学習と推論のプロセス

• 学習時: 上位レベルはキーステートを予測し、下位レベルはその予測（および真値）に基づいて GP 事前分布を構築し、軌道のノイズ除去を学習します。上位レベルの予測が不完全な場合を想定し、キーステートにノイズを加えて学習させることで頑健性を高めています。
• 推論時: 上位レベルでタスクに応じたキーステートを予測し、それを GP で条件付けした事前分布を生成。下位レベルでこの事前分布から逆拡散を行い、最終軌道を出力します。

---

3. 主要な貢献 (Key Contributions)

1. 階層拡散プラナーの提案: 上位レベルでタスク固有のキーステートを推論し、下位レベルで GPMP ベースの運動事前分布を条件として用いる新しいアーキテクチャ。
2. タスク条件付き非等方性ガウス汚染の定式化: GPMP を活用して、前方プロセスと事後分布の両方にタスク構造と滑らかさを組み込んだ拡散形式を確立。これにより、標準的な DDPM パイプラインを維持しつつ、より効率的な学習とサンプリングを可能にしました。
3. 実験的検証: 迷路到達（Maze2D）と KUKA アームによるブロック積み上げタスクにおいて、等方性ノイズベースの手法や条件付けのみの手法と比較し、成功率の向上と軌道の滑らかさを実証しました。

---

4. 実験結果 (Results)

ベンチマーク:

• Maze2D: 迷路内でのゴール到達タスク。
• KUKA Block Stacking: 7 自由度アームによるブロックの把持・積み上げタスク。

比較対象:

1. 等方性ガウスノイズを使用する単一層 Diffuser（ベースライン）。
2. 階層構造を持つが、ノイズは等方性でキーステートのみを条件とする Diffuser。
3. 推論時にコスト関数によるガイダンスを行う Diffuser。
4. 提案手法（Hierarchical GPMP）。

結果:

• 成功率: 両タスクにおいて提案手法が最も高い成功率を達成しました。
  • Maze2D: 81/100（ベースライン 48/100）
  • KUKA Stacking: 70/100（ベースライン 31/100）
• 軌道の滑らかさ: 提案手法は、学習の初期段階からデータセットレベルの滑らかさを達成しました。一方、ベースラインはより多くの学習ステップを要しました。
• 動的可行性: 位置と速度の整合性（Velocity Consistency）が大幅に向上し、急な速度変化や物理的に不可能な軌道が減少しました。
• アブレーション研究: 構造化ノイズモデル自体が、単なるニューラルネットによる条件付け（Conditioning）よりも大きな性能向上をもたらすことを示しました。

---

5. 意義と将来展望 (Significance)

• 学習効率の飛躍的向上: 事前分布にタスク構造を埋め込むことで、拡散モデルが「意味のある」領域を探索するよう誘導され、収束が早まりました。
• 制約と柔軟性の両立: キーステートを「硬い制約」ではなく「不確実性を持つソフトな観測」として扱うことで、タスク要件を満たしつつ、軌道の多様性と適応性を維持しています。
• 汎用性: 上位レベルのキーステート予測はルールベース、モデルベース、学習ベースのいずれでも代替可能であり、下位レベルの拡散モデルは入力ソースに依存しないため、様々なロボットタスクへ応用可能です。
• 今後の展望: より複雑なヒューマノイドロボットへの適用や、VLM（Vision-Language Model）などを上位レベルのタスク指定器として統合する研究が期待されます。

この研究は、拡散モデルをロボット計画に応用する際、単に「条件付け」を行うだけでなく、ノイズモデルそのものを物理的・構造的に再設計することで、性能を劇的に向上させられることを示唆しています。