技術要約：潜在的方策障壁 (Latent Policy Barrier: LPB)

問題提起

行動模倣（Behavior Cloning: BC）を通じて学習された視覚運動方策は、本質的に**共変量シフト（covariate shift）**に対して脆弱である。このシナリオでは、実行中のエキスパートの軌道からの微小な逸脱が時間の経過とともに累積し、エージェントを分布外（OOD）の状態へと押し込み、タスクの失敗を招く。

現在の緩和戦略には、以下のような重大な限界がある：

• 人間による介入（DAggerなど）： 大規模な人間の介入を必要とし、多大な労力を要する上、不適切または一貫性のないデモンストレーションを導入してしまい、方策の品質を低下させる可能性がある。
• 合成データ拡張： 強力なタスク固有の仮定や不変性に依存しており、模倣の精度を損なうノイズを混入させるリスクがある。
• 根本的なトレードオフ： 精密な模倣のための高品質で一貫したエキスパートデータと、OOD状態に対する堅牢性を確保するための多様で、しばしば不適切なデータの必要性との間には緊張関係が存在する。これらのニーズのバランスを取る単一のデータセットを構築することは困難である。

手法：潜在的方策障壁 (LPB)

制御理論における制御障壁関数（Control Barrier Functions: CBF）に着想を得たLPBは、エキスパートのデモンストレーションの潜在分布を、安全な状態（分布内）と不安全な状態（OOD）を隔てる暗黙的な障壁として扱うフレームワークを提案する。核心となる革新は、精密なエキスパート模倣とOODからの回復を、2つの異なるモジュールへと**分離（decoupling）**することにある。

1. アーキテクチャ構成要素

• ベース拡散方策 ($\pi_\theta$): 限定された高品質のエキスパート・デモンストレーションのみを用いて学習される。その唯一の目的は精密な模倣である。これは、生の観測を潜在表現にマッピングするために視覚エンコーダ $h_\theta$ を利用する。
• 視覚潜在ダイナミクスモデル ($d_\phi$): エキスパートのデモンストレーションと、自動生成されたロールアウト・データからなる、より広範で混合された品質のデータセットを用いて学習される。
  • ロールアウト・データの収集: 学習中のベース方策の中間チェックポイントを保存し、環境内でロールアウトを行う。これにより、人間のテレオペレーション、報酬のアノテーション、または成功ラベルを必要とせずに、偏差をカバーする多様な状態・行動ペアが生成される。
  • モデル構造: ダイナミクスモデルは、ベース方策と共有される凍結された視覚エンコーダ $h_\theta$ と、学習可能なダイナミクス予測器 $f_\phi$（デコーダーのみのTransformerとして実装）で構成される。これは、現在の潜在状態と候補となるアクションシーケンスに基づき、将来の潜在観測を予測する。

2. 学習フェーズ

• ベース方策: エキスパート・データに対する行動模倣損失を用いて最適化される。
• ダイナミクスモデル: 予測された将来の潜在状態と、正解（ground-truth）の将来の潜在状態との間の潜在空間における平均二乗誤差（MSE）損失を用いて学習される。凍結されたエンコーダを使用することで、方策の決定空間とダイナミクスモデルの予測空間の間の整合性が保証される。

3. 推論時の最適化（ステアリング）

推論時、LPBはドリフトを防ぐためにベース方策を能動的にステアリングする：

1. OOD検出: システムは、現在のエンコードされた観測と、エキスパートの潜在空間におけるその最近傍との $\ell_2$ 距離として定義される潜在OODスコア ($\delta$) を計算する。
2. 閾値判定: $\delta$ が事前定義された閾値 $\tau$ 未満であれば、ベース方策は通常通り実行される。
3. 勾配ガイダンス: $\delta > \tau$ の場合、システムは拡散モデルにおける分類器ガイダンス（classifier guidance）に着想を得た修正メカニズムを呼び出す。
   • システムは、候補となるアクションシーケンスに基づき、ダイナミクスモデルを用いて将来の潜在状態を予測する。
   • システムは、OODスコアに関するアクションシーケンスに対する勾配を計算する。
   • この勾配は、拡散デノイジングプロセスにおけるノイズ予測を洗練するために使用され、予測される将来の状態を実質的にエキスパートの多様体（manifold）へと引き戻す。
   • 注記: 安定性を確保するため、勾配ガイダンスは、サンプルがより構造化されている最終の $K_{guide}$ ステップ（例：100ステップ中の最後の10ステップ）においてのみ適用される。

主な貢献

1. 分離された学習フレームワーク: LPBは、精密な模倣（ベース方策）と堅牢性（ダイナミクスモデル）の学習を分離することで、精密な模倣のための小規模で高品質なエキスパートデータを使用しながら、堅牢性のための安価で不適切なロールアウト・データを活用することを可能にする。
2. 暗黙的障壁メカニズム: 明示的な解析的安全性集合やシステムダイナミクスを必要とする代わりに、LPBはエキスパート・データの分布によって定義される潜在空間内の暗黙的な障壁を学習する。
3. プラグアンドプレイの互換性: ロールアウト・データを用いてダイナミクスモデルを学習できる限り、LPBはベース方策の再学習やファインチューニングを必要とせずに、既存の学習済み方策を強化できる。
4. データ効率: ロールアウト・データを利用することで、労働集約的な人間の修正への依存を軽減する。

実験結果

著者らは、シミュレーション環境（Push-T, Robomimic, Libero-10）および実世界のロボットタスク（Cup Arrangement, Belt Assembly）においてLPBを評価した。

• サンプル効率: 低データ環境（例：エキスパート・デモンストレーションの20%のみを使用）において、LPBはExpert BC, Mixed BC, Filtered BC, CQL, CCILを含むベースラインを一貫して上回った。改善は、Tool-HangやTransportのような、長期間のホライゾンと精度が要求されるタスクで最も顕著であった。
• 摂動に対する堅牢性: 推論中にアクションへガウスノイズを注入した場合、LPBはベースラインと比較して最も高い成功率を維持し、共変量シフトに対する優れた回復力を示した。
• 実世界での性能:
  • Cup Arrangement: LPBは、カメラがカップもソーサーも見えていないような分布外の初期ポーズから、ロボットをオブジェクトが見える方向へステアリングすることで、正常にリカバリーした。一方、ベース方策は失敗した。
  • Belt Assembly: 高い精度を要する接触豊富なタスクにおいて、LPBは成功率をベースBCの0.55から0.75へと向上させ、ベース方策が失敗する原因となる初期の偏差から正常に回復した。
• アブレーション: 本研究は、ダイナミクスモデルが、たとえ不適切であってもロールアウト・データのより広い状態・行動のカバレッジから恩恵を受けること、および潜在OODスコアがドリフトを検出・修正するための信頼できる信号として機能することを確認した。

意義と主張

論文は、LPBが模倣の精度と堅牢性の間のトレードオフを解決することにより、信頼できる視覚運動学習への実用的な道筋を提供すると主張している。行動模倣を受動的な模倣器から能動的な自己修正型コントローラへと変貌させることで、LPBは以下を可能にする：

• 限定されたエキスパート・データからの信頼できる操作。
• 追加の人間の修正やアノテーションを必要としない堅牢性。
• 潜在空間において方策をエキスパートの多様体へと引き戻すことによる、OOD状態からの回復能力。

著者らは、LPBが現在は短期的な局所的偏差を修正すること、およびタスク固有のダイナミクスモデルを必要とすることを認め、限界事項としている。今後の課題として、長期間の推論、ゼロショット汎化のためのマルチタスク・ダイナミクスモデル、およびエキスパート学習データが存在しないシナリオのための分布フリーな不確実性定量化の探索が示唆されている。