技術要約: ConTrack

問題提起

人間のデモンストレーションを器用なロボット操作へと転送する際、人間の手とロボットの末端効果器（エンドエフェクタ）の間の形態および駆動の違いから生じる「運動学的ギャップ（kinematic gap）」が障壁となります。既存の手法は、高レベルの意図や粗い動きの再ターゲット化は可能ですが、正確な接触のタイミングや物体の軌道が極めて重要となる長期的な（long-horizon）、接触に富んだシーケンスにおいては苦戦します。

核心となる課題は、タスクの成功（物体を目標の軌道上に維持すること）とモーション・フィデリティ（示された関節運動や接触パターンを保持すること）の間のトレードオフにあります。既存のアプローチは、固定された重みを持つ手作業による報酬関数の設計に依存することが多く、これらの固定された混合比は脆弱です。これらはシーケンスごとにチューニングが必要であり、相互作用の予算（interaction budget）が限られている場合に機能せず、また参照される動きがロボットの構成に対して物理的に実現不可能な場合にも適応できません。

手法

著者らは、物体追跡を重み付き報酬成分としてではなく、制約（constraint）として扱う強化学習（RL）フレームワークであるConTrackを提案します。これにより、システムはタスクの要件を厳格に遵守しながら、残りの制御権限をモーション・フィデリティに割り当てることが可能になります。このフレームワークは、主に以下の3つのコンポーネントで構成されています。

1. オンライン適応型タスク–スタイル混合（二変数制御）

固定された報酬重みの代わりに、ConTrackは物体追跡を制約付きマルコフ決定過程（CMDP）として定式化します。これは、スタイル・フィデリティ（$J_s$）を最大化しつつ、最小限のタスク成功閾値（$J_g \ge \alpha J_g^\star$）を満たすように設計されています。

• メカニズム: スカラーの双対変数 $\lambda$ が、現在の実行平均タスクリターン（$\hat{J}_g$）と実行最大推定値（$J_g^\star$）の比率に基づいてオンラインで更新されます。
• 適応: タスク性能が目標比率 $\alpha$ を下回ると、$\lambda$ が増加し、タスク追跡への最適化圧力を高めます。性能が閾値を超えると、$\lambda$ が減少し、スタイル・フィデリティを優先することを許容します。この動的な調整は、手作業によるシーケンスごとのチューニングなしで行われます。

2. 適応型中間軌道リセット・ライブラリ

学習を常に初期フレームから開始する場合、長期的な追跡は非効率的になります。なぜなら、初期段階の失敗がロールアウトの分布を支配してしまうからです。

• ポリシー到達可能状態: 参照状態をそのままコピーする標準的な中間軌道リセット（接触に富んだシナリオでは物理的に矛盾が生じることがある）とは異なり、ConTrackは**ポリシー到達可能（policy-reachable）**なロールアウトから収集されたシミュレータの状態を保持します。
• 動的サンプリング: ライブラリはオンラインで更新されます。特定のフレーム $k$ からの継続長が以前の記録よりも長くなった場合、そのフレーム $k$ における状態が更新されます。
• 困難度に応じたサンプリング: リセットフレームは「生存率（生存率：特定のフレームからの成功した継続の平均長を、残りのホライゾンに対する割合として計算したもの）」に基づいてサンプリングされます。これにより、学習の焦点を現在失敗している特定のセグメントに集中させ、ポリシーの改善に伴って学習のフォーカスを後方へと移動させることができます。

3. 接触プライア（Contact Priors）

スタイル目的を固定するために、本フレームワークは補助的なプライアとして参照接触アノテーションを組み込んでいます。

• スタイル報酬: スタイル報酬には、接触イベントの重複（バイナリ接触イベントの一致）と、接触点距離（特定のハンドリンク上のシミュレーション上の接触点とアノテーションされた接触点との距離の最小化）の項が含まれます。
• 役割: これらのプライアは、ロボットが物理法則を満たすために参照関節軌道から逸脱する場合でも、デモンストレーションされた相互作用パターン（どのリンクが物体に触れているかなど）を維持することを保証します。

主な貢献

1. オンライン適応型混合: 双対変数更新メカニズムにより、多様なクリップに対して手作業による報酬チューニングを必要とせず、タスク追跡とモーション・スタイルのバランスを自動的に調整します。
2. 適応型リセット・ライブラリ: 物理的に矛盾のある生の参照データへのリセットを避け、ポリシー到達可能なシミュレータ状態を再利用することで、長期的な学習を安定させる手法を提供します。
3. 制約付きフレームワーク: 物理的に実行不可能な参照動作を、実行可能なロボットの軌道へと変換する統一的なアプローチであり、接触の複雑さが段階的に増していく3つのベンチマークで検証されました。

実験結果

著者らは、GRAB（両手による剛体オブジェクトの相互作用）、ARCTIC（両手による可動オブジェクト）、DexterHand（片手による手内回転）の3つのデータセットを用いてConTrackを評価しました。

• パフォーマンス: 固定された学習予算（5,000回のPPOアップデート）の下で、ConTrackは成功率（クリップの終了までの進行度として測定）および物体ポーズ精度において、ベースライン（ManipTrans, DexMachina, SPIDER）を大幅に上回りました。
• フィデリティ: 高いタスク成功率を維持しながら、タスク成功のみを優先する手法よりも、関節および接触のフィデリティをより良く保持しました。
• アブレーション研究:
  • 適応型混合（固定重みを使用）を除去すると、進行度と接触フィデリティの両方が低下し、動的なトレードオフ制御の必要性が確認されました。
  • 適応型リセット・ライブラリ（固定開始フレームのリセットを使用）を除去すると、進行度が著しく低下し、失敗境界への学習の集中の重要性が浮き彫りになりました。
  • 接触プライアを除去すると接触精度が低下し、接触ダイナミクスを解決する上での役割が示されました。
• 実世界での検証: 著者らは、学習された軌道の実現可能性を実世界のbimanual xArm7 + xHandプラットフォームで実証し、ツールの使用や物体の回転などのタスクを正常に実行しました。

意義と主張

本論文は、ConTrackが器用な操作における重要なボトルネック、すなわち、接触スケジュールが複雑で運動学的ギャップが存在する場合に、人間のデモンストレーションをロボットへロバストに転送できないという問題に対処していると主張しています。

• スケーラビリティ: タスク成功を制約として扱い、オンライン適応を用いることで、本フレームワークは個別のシーケンスに対する報酬エンジニアリングを必要とせずに、多様な追跡データへとスケールします。
• 堅牢性: 適応型リセット・ライブラリにより、接触に富んだ環境における「ホライゾンの呪い」によって本来は困難となる長期的なタスクの学習を可能にします。
• 実用性: 本システムは、デモンストレーションの「スタイル」を維持しながら、実行可能なロボット軌道を生成することで、シム・トゥ・リアル（sim-to-real）のギャップを橋渡しすることに成功しています。

著者らは、接触アノテーションの品質への依存や、制約付き定式化が正規化のために実行平均最大値を使用しており、理論的なすべてのエッジケースにおいて厳密な制約充足を完全に保証するものではないといった限界についても言及していますが、実験結果は本アプローチが実用的な展開において非常に効果的であることを示唆しています。