技術要約: Set-Supervised Diffusion Policy (SDP)

問題提起

Diffusion Policy (DP) は、高次元の連続的なアクションチャンク空間において、ロボット操作のための堅牢なフレームワークとして台頭しています。しかし、他の行動模倣（Behavior Cloning; BC）手法と同様に、DPは分布シフトに対して脆弱です。これは、デプロイ中にポリシーによって誘導された状態分布が、訓練データから逸脱してしまう現象です。一般的な緩和策として、人間による介入（ヒューマン・イン・ザ・ループ）があり、教師がロボットの失敗を修正する方法があります。

現在のデータ集約パイプラインや標準的なBC損失関数は、これらの介入中に行われるロボットの望ましくないアクション（負の信号）をほとんど無視しています。これらは通常、教師の修正アクションのみを記録するため、教師の特定の分布へと学習を偏らせてしまいます。これにより、潜在的に不完全またはノイズを含むエキスパートデータへの過学習を招き、コストのかかる高品質な介入への依存度を高めてしまいます。さらに、選好学習や修正（Direct Preference OptimizationやCLICのようなエネルギーベースモデル）から学習しようとする既存の手法は、高次元のアクションチャンクに苦戦するか、DPを効果的にしているアクションチャンク機構との統合における安定性に欠けています。

手法: Set-Supervised Diffusion Policy (SDP)

著者らは、コントラスト的なアクションチャンク・データ（正のアクションと負のアクションのペア）を利用して拡散ポリシーを訓練するフレームワークである Set-Supervised Diffusion Policy (SDP) を提案します。教師のアクションを単一の正確なターゲットとして扱うのではなく、SDPは「望ましいアクションチャンクの集合」を構築し、それをポリシー学習のための集合値ターゲットとして扱います。

1. 望ましいアクション集合へのアクションチャンクの拡張

単一ステップのアクションに対して動作するCLICの集合値監督概念に基づき、SDPはこれをアクションチャンク（アクションのシーケンス $A_t = [a_t, \dots, a_{t+T-1}]$）へと拡張します。

• 観測 $O_t$ と、一対のアクションチャンク（ロボットによる負のアクション $A^-$ と、人間による正のアクション $A^+$）が与えられたとき、SDPは望ましいアクション集合 $\hat{A}_t$ を定義します。
• この集合は、負のアクションと正のアクションの間の距離によって定義される、単一ステップの望ましい集合 $\hat{A}^s_{t+i}$ のシーケンスとして構成されます。
• 各ステップ内のすべての単一ステップのアクションが、対応する単一ステップの望ましい集合内に収まっている場合、そのアクションチャンクは集合に属するものとみなされます。これにより、正確な教師のアクションに一致させるという制約を緩和し、同等に望ましい代替アクションを許容します。

2. 訓練目的関数とサンプリング

集合値のターゲットに対して拡散ポリシーを訓練することは、標準的なKLダイバージェンス損失（エネルギーベースモデルで使用されるもの）に必要な明示的な尤度推定を拡散モデルが提供しないため、容易ではありません。

• 近似: SDPは、ターゲット分布から描画された「サンプリングされた望ましいアクションチャンクのリスト」の尤度を最大化することで、この目的関数を近似します。
• 制約付きサンプリング: これらのサンプルを生成するために、SDPは**反射拡散サンプリング（reflected diffusion sampling）**手順を採用しています。デノイジング過程において、中間サンプルが境界を越えた場合、それらは集合内に投影されます。具体的には、デノイズされたステップが集合の外側に外れた場合、対応する正のアクション ($a^+$) へと投影されます。これにより、生成されたサンプルが現在のポリシー分布に近い状態を保ちつつ、望ましい集合内に留まることが保証されます。
• 損失関数: ポリシーは、生の教師アクションではなく、これらのサンプリングされたアクションチャンクを用いて、標準的なデノイジング損失（BCと同様）を用いて訓練されます。

3. データ集約パイプライン

SDPは、オンラインのインタラクティブ学習ループと統合されています。

• 人間が介入すると、システムは同じタイムステップにおける教師のアクション ($A^+$) と、実行されなかったロボットのアクション ($A^-$) の両方を記録します。
• これらのペアは、望ましいアクション集合を構築するためのコントラスト・データセットを形成します。
• 本フレームワークは、オンライン学習（実行中のデータ集約）とオフライン学習（既存のデモンストレーション・データセットへの負のアクションの合成による拡張）の両方をサポートしています。

主な貢献

1. 拡散ポリシーのための集合値監督: 本論文は、集合値の監督（以前はEBMおよび単一ステップのアクションに限定されていたもの）を、高次元のアクションチャンク空間で動作する拡散ポリシーに適応させた新しいフレームワークを導入しました。
2. 修正からのコントラスト学習: SDPは、人間による介入中のロボットの失敗から得られる負の信号を破棄するのではなく、効果的に活用します。これにより、特定の教師アクションへの過学習を軽減し、堅牢性を向上させます。
3. 反射サンプリング戦略: 著者らは、拡散モデルの訓練のために、反射演算器を用いた制約付きデノイジング過程を含む実用的な訓練パイプラインを提案しました。
4. データ品質の向上: SDPは、望ましいアクション集合内での探索を促進することにより、標準的なBCアプローチと比較して、より広い状態被覆（state coverage）を持つ高品質な集約データセットを生成します。

実験結果

著者らは、複数のシミュレーション上の操作タスク（Push-T, Square, PickCan, TwoArmLift）および実世界のタスク（Insert-T, Round-table Assembly）においてSDPを評価しました。

• オンライン・インタラクティブ学習: SDPは、正確な設定およびノイズのある介入設定の両方において、最先端のベースライン（DP, DP-DPO, CLIC, IBC）を一貫して上回りました。特に、SDPはノイズの多いフィードバック下でも性能低下が著しく小さく、標準的なDPと比較して優れた堅牢性を示しました。
• オフライン学習: SDPエージェントによって収集されたデータセットで訓練されたポリシーは、標準的なDPエージェントによって収集されたデータセットで訓練されたポリシーよりも優れた性能を示しました。これは、SDPがより良い状態被覆と汎化のための特性を持つデータセットを生成することを示唆しています。
• 実世界での性能: 長期的な（long-horizon）実世界タスクにおいて、SDPはDPよりも高い成功率を達成しました。特に、人間による修正を含むデータセットで訓練された場合に顕著でした。この手法は、困難なタスクの性能を向上させるために修正データを活用する上で、より効果的であることが示されました。
• アブレーション研究: 実験により、反射ベースのサンプリング戦略が性能にとって極めて重要であり、分類器ガイダンス（classifier guidance）などの代替手法よりも優れていることが確認されました。

意義と主張

本論文は、**コントラスト的監督（contrastive supervision）**が、ロボットのポリシー学習において強力でありながら未利用の信号であることを主張しています。点的な模倣から集合値の監督へと移行することで、SDPは標準的な行動模倣に固有の過学習の問題を軽減します。著者らは、このアプローチが、拡散モデルの安定性と表現力を維持しながら、（強化学習と同様に）訓練データの質を超えてポリシーを向上させることを可能にすると述べています。

本研究は、人間の修正を通じてアクションの許容空間を明示的にモデル化することが、より堅牢なポリシーと高品質な訓練データをもたらし、完璧なエキスパート・デモンストレーションへの依存を減らすことを実証しています。著者らは、計算コストの高いサンプリングプロセスや、相対的ではなく絶対的な修正フィードバックを前提としている点などの限界についても認めています。