技術要約：Implicit Drifting Policy (IDP)

問題提起

拡散モデルやフロー・マッチングに基づく生成的アクション・ポリシーは、中間的な軌跡の進化を保持することで行動クローニングにおいて優れた性能を発揮し、漸進的なアクション修正を可能にする。しかし、その反復的なサンプリング・プロセスは、高周波のロボット制御においては計算コストが高すぎる。最近の1ステップ形式（例：Consistency Policy、One-Step Diffusion）はレイテンシを軽減するが、中間的な修正メカニズムを放棄してしまう。

重要な課題は、**明示的なドリフティング（Explicit Drifting）**を通じて、この修正メカニズムを1ステップ・ポリシーに復元しようとする際に発生する。ドリフティング・モデルは通常、分布を連続的なベクトル場を用いてデータへと移動させる生成器を訓練する。無条件生成においては、この場は豊かなサンプル集合から推定可能である。しかし、条件付き行動クローニングにおいては、デモンストレーションは多くの場合、観測に対する単一の決定論的なエキスパート・アクションのみを提供する。命題 3.1 で示されているように、この疎な設定でドリフティング場を推定しようとすると、数学的な退化を招く。すなわち、経験的な条件付きドリフティング場は、エキスパートのアクションと予測値の単純な差（$a^* - a$）へと崩壊し、明示的な場が標準的な等方性平均二乗誤差（MSE）損失と同等になってしまう。これにより、1ステップ生成器が有効なアクション・マニフォールドに適合するために必要な局所的な幾何学的ガイダンスが失われる。

手法：Implicit Drifting Policy (IDP)

著者らは、明示的にベクトル場を推定することなく、ドリフティングの訓練時における修正の利点をポリシー学習に取り入れる1ステップ模倣学習フレームワークである Implicit Drifting Policy (IDP) を提案する。動的な場を回帰する代わりに、IDPは、類似した観測下におけるエキスパート・アクションの局所的な変動から静的な**条件付きエキスパート幾何学（conditional expert geometry）**を抽出し、それを用いて幾何学を考慮したポテンシャル目的関数を定義する。

1. 暗黙的修正目的関数 (Implicit Correction Objective)

IDPは、修正ベクトル $\Delta_i(a) = M_i(a^*_i - a)$ を定式化する。ここで、$M_i$ は幾何学適応型の重みとして機能する正定値対称行列である。このベクトルは、幾何学のみのポテンシャル関数の負の勾配に対応する：
$$E^{geo}_i(a) = \frac{1}{2}(a - a^*_i)^\top M_i (a - a^*_i)$$
全訓練目的関数は、標準的な等方性誤差と、この幾何学適応型ペナルティを組み合わせたものである：
$$E_i(a) = \frac{1}{2}\|a - a^*_i\|^2_2 + \frac{1}{2}(a - a^*_i)^\top M_i (a - a^*_i)$$
これにより、問題は動的なベクトル場の回帰から、制約のある方向に適応的にペナルティを増大させるポテンシャルの最小化へと変換される。

2. 条件付きエキスパート幾何学の抽出 (Conditional Expert Geometry Extraction)

適応型行列 $M_i$ を構築するために、IDPは類似した観測下におけるエキスパート・アクションの局所的な変動を分析する：

• 近傍選択 (Neighbor Selection): 与えられた観測 $o_i$ に対して、正規化された特徴量埋め込み（安定性を確保するためのストップグラディエントを使用）を用いて、データセット内の類似した観測を特定する。
• 局所共分散 (Local Covariance): これらの類似した観測からのエキスパート・アクション $a^*_j$ の加重共分散に基づき、条件付きエキスパート幾何学行列 $G_i$ を計算する：
  $$G_i = \mathbb{E}_{j \sim \mathcal{D}\setminus\{i\}} [w_{ij}(a^*_j - a^*_i)(a^*_j - a^*_i)^\top]$$
  $G_i$ における分散の小ささは、その特定の条件下での厳格な動作制約を示している。

3. 局所幾何学的過剰 (Local Geometry Excess)

条件固有の制約を、固有のグローバルなアクション変動から分離するために、IDPは局所的な条件付き分散をグローバル参照分散（$v^{ref}$）と比較する。両者の正規化された精度スケールを計算し、ReLU演算を用いて幾何学的過剰（Geometry Excess） $m_{i,d}$ を定義する：
$$m_{i,d} = \text{ReLU}\left( \frac{s^{cond}_{i,d}}{s^{ref}_d} - 1 \right)$$
これにより、現在の観測がグローバルな事前分布よりも厳格な制約を課している次元のみがペナルティを受けるようになる。得られる対角行列 $M_i = \text{Diag}(m_i)$ は、適応型の重みとして機能する。

4. エキスパート近傍評価 (Expert-Proximal Evaluation)

ネットワークがポテンシャルによって定義される局所的なマニフォールド・トポロジーを捉えることを確実にするため、IDPは訓練中にエキスパート近傍評価を導入する。標準的な予測 $y_i = f_\theta(o_i, a_0, 0)$ のみを評価するのではなく、エキスパート・アクションの近くに位置するプロービング点 $z_i$ （$z_i = f_\theta(o_i, a^*_i + \epsilon, t^*)$）においてもモデルを評価する。総損失は、両方の点で評価されたポテンシャルの加重和となる：
$$\mathcal{L} = \mathbb{E}_{i \sim \mathcal{D}} [E_i(y_i) + \lambda_{prox} E_i(z_i)]$$
これにより、1ステップ生成器はエキスパート・ターゲット付近の局所的な修正構造にさらされ、初期ノイズ分布にのみ適合するようなトポロジーを学習することを防ぐ。

主な貢献

1. Implicit Drifting Policy (IDP): 疎な条件付き設定における明示的なベクトル場の推定の不安定性を回避し、幾何学を考慮したポテンシャルを最小化することで、訓練時の修正を内部化する1ステップ模倣学習フレームワーク。
2. Conditional Expert Geometry Extraction: 類似した観測の条件付き幾何学をグローバル参照と比較することで、局所的なアクション修正構造を導出する手法。
3. Expert-Proximal Training Evaluation: 生成器が幾何学的ポテンシャルによって定義される局所的なマニフォールド・トポロジーを効果的に捉えることを保証するために、エキスパート・アクション付近でポリシーを評価する訓練メカニズム。

実験結果

著者らは、2D状態/画像ベンチマーク、3Dポイントクラウド操作タスク、および実世界のロボット実験においてIDPを評価した。

• 2Dおよび3Dシミュレーションタスク: IDPは、強力な1ステップ・ベースライン（例：Consistency Policy, MP1, OFP）に対して競争力のある成功率を達成し、しばしば明示的なドリフティング・バリアント（Naive Drifting）を上回った。いくつかの設定において、IDP (NFE=1) はマルチステップ生成ポリシー（例：100ステップのDiffusion Policy）の性能に迫る結果を示した。
• 実世界の「Pick Peach」タスク: 二峰性分布を持つシングルアームALOHAプラットフォームにおいて、IDPはビジョンベースの設定で50%の成功率を達成したが、Diffusion Policy、Naive Drifting、およびMIPはすべて失敗（0%）した。ベースラインは有効なアクション・マニフォールドから逸脱していたが、IDPは有効な把持ポーズを維持しながらリアルタイムの反応性を実現した。
• アブレーション研究: エキスパート近傍評価を削除すると、性能が大幅に低下した（例：ToolHang-Stateにおいて81%から40%へ）。これは、局所構造を内部化するためにその手法が必要であることを裏付けている。同様に、一様またはシャッフルされた近傍を使用すると性能が低下し、観測条件付きの幾何学の重要性が検証された。

意義と主張

本論文は、IDPが1ステップのアクション生成における「中間エラー修正の喪失」を解決することに成功したと主張している。動的なベクトル場を回帰するのではなく、デモンストレーションから導出された静的な幾何学適応型ポテンシャルを最小化することで、IDPは信頼性の高いアクション修正信号を訓練時に提供する。

著者らは、IDPが以下の特性を持つことを強調している：

• 有効なマニフォールドへの適合性の維持: 有効なアクション空間からの逸脱を防ぎ、制約を効果的に強制する。
• 明示的ドリフティングの改善: 疎な条件付き行動クローニングにおける、ドリフティング場の推定という数学的に不適切な問題（ill-posedness）を克服する。
• 競争力のある性能の達成: 低レイテンシの1ステップ推論の利点を維持しつつ、強力な1ステップ・ベースラインと同等またはそれを上回る性能を発揮する。

論文では、限界についても控えめに認めている。1ステップ・ポリシーは依然としてマルチモーダルなアクション分布のカバーに苦慮する場合があり、また、本手法は局所的な幾何学を構築するために、類似した観測下でのエキスパート・アクションの適切な密度に依存している。今後の課題として、疎なデータやマルチモーダルなレジームへの対応が示唆されている。