技術要約：パラメータ化された拡散方策 (Parameterized Diffusion Policies, PDP)

問題提起

現実世界のロボットタスクは、多くの場合、単一の目標が複数の異なるアクションシーケンス（マルチモーダルな振る舞い）によって達成可能であるという、未定義な性質を持っています。標準的な拡散方策（Diffusion Policies, DP）は、こうしたマルチモーダルな分布をモデル化するための強力なパラダイムとして台頭していますが、制御性の欠如という課題を抱えています。具体的には、標準的な評価は観測側の分布シフト（例：カメラの外観の変化）に焦点を当てがちですが、実際のデプロイメントにおける失敗は、**制約に起因する振る舞いのシフト（constraint-induced behavior shifts）**から頻繁に発生します。これらのシナリオでは、環境の変化（例：新しい障害物や接触制約）によって以前にデモンストレーションされた戦略が無効になり、ロボットは既存の別のモードを選択するか、あるいは新しい振る舞いを発見することを余儀なくされます。

現在の拡散方策は、多様性を確保するために確率的なノイズに依存しています。テスト時にこれらの方策を制御するために高次元のノイズ空間を最適化することは、条件が悪化しやすい（ill-conditioned）性質があります。すなわち、ノイズへの微小な摂動が、大きく予測不能、あるいは実行不可能な軌道の変化を引き起こす可能性があります。さらに、既存の振る舞い制御手法は、方策の重みを再学習する必要がある（低速かつ大量のデータを要する）か、あるいは制御を有限のスキルの集合に制限する離散的なスキル・トークンに依存しており、滑らかな補間を妨げています。

手法：パラメータ化された拡散方策 (PDP)

著者らは、拡散を「確率的な多様性のためのメカニズム」から「精密に最適化可能な振る舞い制御のためのツール」へと変貌させるフレームワークである**Parameterized Diffusion Policy (PDP)**を提案しています。PDPは、デモンストレーションから学習された低次元で連続的な振る舞い潜在変数 $z$ に基づいて、拡散デノイザーを条件付けます。

1. 幾何学的に整合された振る舞い多様体 (Geometry-Aligned Behavior Manifold)

核心となる革新は、潜在コード間のユークリッド距離が物理的な軌跡の類似性を反映するように構成された、振る舞い多様体の構築です。

• 軌跡エンコーダ: 軌跡エンコーダ $E_\phi$ は、デモンストレーションの軌跡 $\tau$ を潜在コード $z$ にマッピングします。
• 幾何学的整合: 標準的な変分オートエンコーダ（VAE）とは異なり、PDPは Soft-DTW (Soft Dynamic Time Warping) を用いて、潜在空間の幾何学を物理的な軌跡の類似性と明示的に整合させます。訓練目的関数には、潜在距離 $\|z_i - z_j\|$ と Soft-DTW によって計算される物理的軌跡の距離との間に線形な対応関係を強制する幾何学損失 $L_{geo}$ が含まれます。これにより、 $z$ の小さな変化が、実行される軌跡の滑らかで予測可能な変化を誘発することを保証します。
• 結合目的関数: エンコーダ・デコーダは、再構成誤差、KLダイバージェンス（正則化用）、および幾何学整合損失を最小化するように訓練されます。

2. パラメータ化された拡散デノイザー

拡散方策 $\pi_\theta$ は、環境コンテキスト $c_t$ と振る舞い潜在変数 $z$ の両方に条件付けられたアクションチャンクを生成します。

• グローバル・モジュレーション: 単純な結合（concatenation）の代わりに、潜在変数 $z$ は FiLM に着想を得た グローバル・モジュレーション メカニズムを通じてデノイザーに統合されます。潜在変数は、中間特徴マップをスケールおよびシフトさせる層固有のアフィンパラメータ ($\gamma, \beta$) に変換されます。この深い統合により、低次元の潜在変数が高次元のアクション生成プロセスを効果的に制御することが可能になります。
• 分離された訓練: デノイザーの最適化フェーズ中に、エンコーダにはストップグラディエント演算子が適用され、拡散の損失が慎重に構築された潜在多様体の幾何学を歪めないように制御されます。

3. テスト時の制御と適応

PDPは、方策の重みを更新することなく、高速かつ軽量な適応を可能にします。

• 潜在適合 (Latent Fitting): 新しい制約やターゲットとなる振る舞い $\tilde{\tau}$ に直面した際、システムは拡散整合的な適合損失を最小化するように潜在コード $z$ を最適化します。これにより、新しい制約を最もよく満たす特定の振る舞いモードを特定します。
• セマンティック・ウォームスタート: 最適化は、新しいデモンストレーションに対するエンコーダの予測 ($z_0 = E_\phi(\tilde{\tau})$) を用いて初期化され、探索を良好な条件を備えた領域へと導きます。
• 長期的適応 (Long-Horizon Adaptation): 複雑なタスクに対して、PDPは区分的に一定の潜在変数シーケンスをサポートしており、タスクの異なるフェーズを独立して適応させることを可能にします。

主な貢献

1. パラメータ化された拡散フレームワーク: 確率的なノイズによる制御を、明示的な振る舞い制御のための連続的で幾何学的に整合された潜在パラメータ $z$ に置き換える PDP を導入しました。
2. 幾何学的に整合された多様体: 潜在距離を物理的な軌跡の類似性（Soft-DTW経由）と整合させることが、滑らかな補間と予測可能な制御を可能にし、ノイズ空間の最適化における条件の悪さを解決することを実証しました。
3. 深い潜在統合: 低次元の振る舞い信号を高次元の拡散デノイザーに効果的に統合するグローバル・モジュレーション・アーキテクチャを提案し、単純な結合よりも優れた性能を示しました。
4. 効率的なテスト時適応: 潜在 $z$ のみを最適化（勾配降下法による）することで、単一のデモンストレーションを用いて、膨大なネットワークの重みを再学習することなく、未知の制約へ迅速に適応できることを示しました。

実験結果

著者らは、シミュレーション（RLBench, Robomimic, Franka Kitchen, D3IL）および実機の Franka Emika Panda ロボットを用いた、9つのマルチモーダル操作ドメインのスイートにおいて PDP を評価しました。

• 元のマルチモーダル性能: PDP はすべてのタスクにおいて一貫して高い成功率を達成し、最先端のベースライン（標準的な DP、BC-GMM、VQ-BeT を含む）と同等またはそれを上回りました。モードの曖昧さによってノイズが多く一貫性のないロールアウトが発生しがちな標準的な DP と比較して、マルチモーダルな分布の再構成において優れた安定性を示しました。
• 制約に起因するシフト: 環境制約によってほとんどの訓練モードが無効になるシナリオにおいて：
  • 既存モードへの適合: PDP は、単一の実行可能なモードへの収束に失敗したベースラインを大幅に上回り、ほぼ完璧な成功率（例：CloseDrawer で 100%）を達成しました。
  • 新規振る舞いの発見: 「ゼロ・モード・フェジブル（訓練されたモードが機能しない、新しい振る舞いを合成する必要がある）」の設定において、PDP は一貫して成功した唯一の手法でした。重みを微調整する手法（BC）や進化検索（Diff-ES）を含むベースラインは、訓練データに存在しない実行可能な戦略を合成できず、失敗しました。
• 実機ロボットの堅牢性: 実機の OpenDrawer タスクにおいて、PDP は制約シフトの下でも 100% の成功率を維持しましたが、標準的な DP の成功率は 20% まで低下しました。これは、PDP の実世界のノイズに対する堅牢性と、安定した制御ハンドルを提供する能力を浮き彫りにしています。
• アブレーション研究:
  • 幾何学的整合を取り除く、あるいは離散的な潜在変数を用いた場合は、性能が著しく低下し、連続的でメトリックに整合した多様体の必要性が確認されました。
  • グローバル・モジュレーションは結合よりも大幅に優れており、訓練損失を減少させ、適応の成功率を向上させました。
  • セマンティック・ウォームスタートは極めて重要であり、ランダムな初期化では、広範な最適化ステップを経ても実行可能な戦略を見つけることができませんでした。

意義と主張

本論文は、PDPが拡散ベースの制御のパラダイムを、「ノイズ駆動の多様性」から「パラメータ化された振る舞いの制御」へと根本的に転換させるものであると主張しています。潜在空間を物理的な軌跡の類似性と整合させることにより、PDPは拡散を、表現力があるだけでなく、制御可能で最適化可能なツールへと変貌させます。

著者らは、このアプローチがロボット学習における重要なギャップ、すなわち、再学習することなく新しい制約に迅速かつ確実に適応する能力に対処していると強調しています。彼らは、拡散モデルはマルチモーダルなデータを表現することには優れているものの、構造化された振る舞い選択のためのインターフェースがなければ、実世界でのデプロイメントにおける有用性は限定的であると論じています。PDPはこのインターフェースを提供し、ロボットが以下を行うことを可能にします：

1. 既知の戦略間を滑らかに補間し、新しい実行可能な振る舞いを合成すること。
2. 数百万のネットワークの重みではなく、コンパクトなパラメータ集合（潜在変数 $z$）を最適化することで、新しい制約に迅速に適応すること。
3. 実行ノイズや制約のシフトが一般的な実世界の環境において、堅牢に動作すること。

この研究は、特に訓練データに明示的に存在しない振る舞いの合成を必要とするシナリオにおいて、明示的に幾何学整合された振る舞い多様体が、次世代の適応可能なロボット方策にとって不可欠であることを示唆しています。