技術要約: LAMP (Latent Motion Prior-Guided Real-World Learning for Dexterous Hand Manipulation)

1. 問題提起

実世界における器用なロボットハンドの学習は、重大なボトルネックに直面している。それは、手のアクション空間の高次元性が模倣エラーを増幅させ、強化学習（RL）における探索を安全ではなく、サンプル効率も低くしてしまうことである。

• 模倣学習 (IL) の限界: 標準的な視覚運動ポリシーは軌道を複製することには長けているが、能動的な探索能力に欠けている。高自由度（DoF）空間では、わずかな実行エラーが累積し、手が接触を失うような分布外（OOD）の設定へとドリフトしてしまう。
• 強化学習 (RL) の限界: 生の（raw）高DoF空間における制約のない確率的探索は、頻繁に接触を断ち切る動作（例：物体を落とす、あるいは繊細な把握を壊す）を引き起こす。一度物体が落下すると、物理的なハードウェアにおいてエピソード中の中間回復はしばしば不可能であり、報酬の希薄化と極めて低いサンプル効率を招く。
• ギャップ: 生物学的な学習は、内在的な事前分布に導かれた「構造化された運動バブリング（motor babbling）」を利用するが、現在のロボティクス・パイプラインは、多くの場合、非構造的なランダムな関節運動や、接触に不可欠な連続性と実行可能性を維持できない単純な次元削減に依存している。

2. 手法

本論文では、潜在運動事前分布モジュール (Latent Motion Prior Module: LMPM) を中心とした3段階のフレームワークである LAMP (Latent Motion Prior-Guided Learning) を提案する。その核心となる革新は、模倣学習と残差強化学習を統一する、共有されたデコード可能な履歴条件付き潜在アクション空間である。

2.1 潜在運動事前分布モジュール (LMPM)

LMPMは、高次元の生のハンド空間とコンパクトな潜在空間との間のインターフェースとして機能する。

• アーキテクチャ: エンコーダとデコーダで構成される。
• 入力: エンコーダは最近の手のターゲット履歴 ($H_t$) を受け取り、平均 $\mu$ と分散 $\sigma$ によってパラメータ化された局所的な潜在事前分布 $q_\phi(z_t | H_t)$ へとマッピングする。
• 出力: デコーダは、サンプリングされた潜在ベクトル $z_t$ を、実行可能な高次元の手のターゲット ($\hat{h}_{t+1}$) へとマッピングする。
• 学習: このモジュールは、再構成損失とKLダイバージェンス正則化を用いて、オフラインの遠隔操作デモンストレーション上で事前学習される。これにより、コンパクトで滑らかな潜在多様体が保証される。極めて重要な点として、エンコーダは事前学習後に凍結される。

2.2 3段階の学習パイプライン

LAMPは、凍結されたLMPMを以下の3つのステージで活用する：

ステージ 1: LMPMの事前学習

• オフラインの手の運動データを用いてエンコーダ・デコーダのペアを学習し、器用な運動の連続的でデコード可能な多様体を学習する。
• エンコーダは、最近の運動履歴に基づいた「事前分布の中心（prior center）」($\mu_t$) を予測することを学習し、デコーダは潜在空間内の任意の点が物理的に実行可能な手のコマンドへとマッピングされることを保証する。

ステージ 2: 模倣学習 (行動クローニング)

• 視覚運動ポリシー ($\pi_{BC}$) は、以下の2つの出力を予測するように学習される：
  1. 本来の腕のコマンド（元の腕の空間内）。
  2. 凍結されたLMPMの事前分布中心 ($\mu_t$) に対する潜在オフセット ($\Delta \hat{h}_t$)。
• 最終的な手のコマンドは、$D_\theta(\mu_t + \Delta \hat{z}_t)$ として再構成される。
• これにより、ポリシーは視覚的観察に基づいて運動の事前分布を適応させつつ、手の運動を学習された接触整合的な多様性内に拘束することができる。

ステージ 3: 残差強化学習 (Residual Reinforcement Learning)

• オンラインRLは、同じ潜在空間内で動作し、ポリシーを洗練させる。
• RLエージェントは、潜在空間における残差 ($\rho^z_t$) を予測し、それがデコードされる前に、行動クローニングの潜在アクションに加算される ($z_{t,BC} + s_z \rho^z_t$)。
• 主な利点: 探索は、示された運動多様体の周囲の局所的な修正に限定される。個々の指の関節を独立して摂動させる（これは接触を壊すリスクがある）代わりに、エージェントは潜在空間内で構造化された調整を行い、それがデコードされることで、安全かつ実行可能な手の運動へと変換される。

3. 主な貢献

1. LMPM (潜在運動事前分布モジュール): オフラインの軌跡から器用な手の運動の連続的でデコード可能な多様体を学習する、履歴条件付きの潜在運動事前分布。これは、最近の運動履歴を局所的な事前分布の中心へとマッピングするコンパクトなインターフェースを提供する。
2. LAMPフレームワーク: 共有されたLMPM潜在インターフェースを通じて、模倣学習と残差RLを統合する統一された実世界学習フレームワーク。これにより、ポリシーは事前分布の周囲でオフセットを予測し、安全で接触整合的な運動多様性を逸脱することなく、RLを通じてそれらを洗練させることができる。
3. 実証的検証: 4つの複雑な実世界タスクにおいて本フレームワークを評価し、生の（raw）、線形（PCA）、および離散的（VQ-VAE）なアクションインターフェースに対する大幅な改善を示した。

4. 実験結果

著者らは、Franka Research 3 アームと Ruiyan デクスタラスハンドを用いて、4つのタスク（Grasp & Place, Open Drawer, Pull Tissue, Assemble Box）でLAMPを評価した。

• 模倣学習の性能:

  • Raw Space (生の空間): 高次元のジッターに苦しみ、接触を確立できなかった（ほとんどのタスクで成功率0%）。
  • PCA: 次元を圧縮することで成功率を向上させたが、複雑で非線形な接触パターンをモデル化する能力に欠けていた。
  • VQ-VAE (離散型): 次元を削減したが、コードブックの切り替えによるジッターが発生し、物体を滑り落ちさせた。
  • LAMP: 滑らかで履歴条件付きの運動により、最も高い初期IL成功率を達成した（例：Grasp & Placeで75%、Assemble Boxで55%）。

• 強化学習の性能:

  • Raw/PCA: RLの探索は非効率であった。Raw空間の探索は頻繁に接触を破壊し、PCAの固定された線形投影は運動多様性を効果的に再パラメータ化できなかった。
  • VQ-VAE: RLによって改善は見られたが、離散的なジャンプによる制限が残っていた。
  • LAMP: オンラインRLの後、ほぼ完全または完全な成功率を達成した。
    • Grasp & Place: 最終成功率 100%
    • Open Drawer: 最終成功率 100%
    • Pull Tissue: 最終成功率 95%
    • Assemble Box: 最終成功率 100%
  • 全体: LAMPは、オンラインRL後の平均IL成功率を56.25%から98.75%へと引き上げ、すべてのベースラインを大幅に上回った。

• アブレーション研究:

  • 低次元ボトルネック（潜在次元の拡張）を削除すると、パフォーマンスが低下した。これは、コンパクトな空間が協調に極めて重要であることを示している。
  • 履歴条件付きエンコーダを削除すると、初期化が弱まったが、システムはRaw制御よりも安定しており、履歴事前分布の価値が確認された。

5. 重要性と主張

本論文は、LAMPが「構造化された履歴条件付きの探索」に置き換えることで、実世界の器用な操作における「探索の危機」に対処することを主張している。

• 安全性と効率性: デモンストレーションから派生したデコード可能な潜在多様体に探索を制限することで、LAMPはRaw空間のRLを悩ませる「接触断絶」の失敗を防ぎ、実世界での学習をサンプル効率高く、かつ安全なものにしている。
• ILとRLの架け橋: 本フレームワークは、模倣学習と強化学習をうまく統合している。ILポリシーは強力で接触整合的な初期化を提供し、RLの残差はグローバルな再プランナーとしてではなく、局所的な補正器として機能する。
• 実用性: 結果は、学習された運動事前分布が、持続的で繊細な接触を必要とするタスクにおいて、線形圧縮や離散的なトークン化手法よりも優れた、実用的なアクションインターフェースとして機能することを示している。

著者らは、現在のLMPMはタスク固有であり、事前学習のために適切なオフライン軌跡を必要とするという制限についても言及している。彼らは、将来の研究として、マルチタスクに対応した汎用的な事前分布や、より高DoFの手への適用を検討している。