技術要約：人間のデモンストレーションからの接触力（Contact Wrench）ガイダンスを用いた器用な操作の学習（CHORD）

問題提起

人間のデモンストレーションをロボットの器用な操作（dexterous manipulation）のポリシーへと転移させることは、依然として大きな課題である。人間のデモンストレーションは豊かなスキルデータを提供するが、既存の手法は、人間とロボットの形態的な違いにより、スケーラビリティや転移性に苦慮することが多い。単に人間の手の動きを再生するだけでは、運動学、幾何学、および接触点の違いにより、同じ機能的効果を得るために異なる動作が必要となるため、不十分である。

現在のアプローチは、主に以下の2つの制限に直面している：

1. 脆弱な仮定： 多くの最適化ベースの手法は、デモンストレーションをどのように転移させるかについて厳格な仮定に依存しており、ロボットの形態がデモンストレーターである人間と大きく異なる場合に失敗しやすい。
2. スケーラビリティの問題： 表現学習アプローチは、通常、すべての特定のタスクとオブジェクトに対して整合された人間とロボットのデータを必要とするため、一般的な長期的（long-horizon）なタスクではなく、精選された設定での適用に限定されてしまう。

対処すべき核心的な問題は、剛体および可動オブジェクトの、接触に富んだ長期的な操作を考慮した上で、人間のデモンストレーションから転移可能かつスケーラブルなタスク知識をどのように学習するかである。

手法：CHORDフレームワーク

著者らは、生の運動学的ポジションではなく、オブジェクト中心の接触力（contact wrench）空間に焦点を当てることで、人間とロボットのギャップを埋める強化学習（RL）フレームワークであるCHORD（Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation）を提案する。

1. オブジェクト中心の力（Wrench）空間表現

接触位置の3D座標（これは手の形態によって変化する）を一致させる代わりに、CHORDは、それらがオブジェクトに誘発する**力とトルク（wrench/力積）**によって相互作用を表現する。

• Wrench行列： 各接触点について、システムはクーロン摩擦錐を単位大きさのエッジ力の多面体錐で近似する。これらは、オブジェクトの運動を誘発できる力・トルクの方向を表すプリミティブな力積（$w \in \mathbb{R}^6$）を生成する。
• サポート関数： 接触点の数や順序の違いにもかかわらず、人間とロボットの接触を比較するために、この手法はサポート関数を使用する。これは、Wrench行列を事前にサンプリングされた一連の単位方向へと投影し、サポートベクトル（$\sigma$）を生成する。これにより、接触による「運動誘発能力」を直接比較することが可能になる。

2. 報酬の定式化

ポリシーは、複合報酬関数 $r = r_{task} + r_{imit} + r_{contact} + r_{VOC}$ を用いて訓練される：

• タスク報酬 ($r_{task}$): ロールアウトが参照オブジェクトの運動（ポーズおよびパーツ間の関係）に従うことを促す。マルチオブジェクトのタスクでは、精密な幾何学的関係（例：挿入、注ぐ動作）を確保するために、相互作用フェーズ中に相対的な報酬が追加される。
• 模倣報酬 ($r_{imit}$): リターゲットされた人間の動きに向けてロボットの動きを正則化する。
• 接触力空間報酬 ($r_{cws}$): これは核心的な貢献である。ロボットのサポート関数（$\sigma_{r,k}$）を、相対的な許容誤差 $\beta$ を用いて人間の参照（$\sigma_{h,k}$）と比較する。これは、人間のデモンストレーションの範囲内の力積を誘発する接触を報酬とし、接触の欠落と意図しない余分な接触の両方にペナルティを与える。
• 仮想オブジェクトコントローラー (VOC): 学習の初期段階において、参照軌道に沿ってオブジェクトを動かすための力を加える補助的なコントローラーとして使用される。これは時間の経過とともにアニーリング（減衰）される。

3. 堅牢性と汎用性

• ノイズデータの処理： RGBビデオから再構成されたデモンストレーションにおいて接触推定がノイズを含む場合、CHORDは縮小された力閉鎖（force-closure）目的関数に切り替わる。これは、正確な一致を必要とせずに、Wrench空間の基底方向に沿った正のサポートを生成することを報酬とし、実質的に力閉鎖の達成を学習する。
• 全身への拡張： 本フレームワークは全身操作へと拡張される。手のみの参照（例：一人称視点）の場合、インペインティングモジュールが全身の動きを予測する。三人称視点の参照の場合、不正確な指の再構成に対処するために、縮小された力閉鎖目的関数が使用される。

4. ベンチマークの構築

著者らは、4,739個の両手による器用な操作タスクを含む大規模なシミュレーションベンチマークを構築した。これらのタスクは、オープンソースのモーションキャプチャデータセットおよび独自に再構成したビデオから派生しており、以下をカバーしている：

• 単一および複数の剛体オブジェクト。
• 可動オブジェクト。
• 長い時間軸と高密度の接触イベント。

主な貢献

1. CHORDフレームワーク： 接触力（Wrench）空間のガイダンスを用いて人間のデモンストレーションを器用なロボットポリシーに転移させる、新しいRLフレームワーク。これにより、多様な形態におけるスケーラブルな学習を可能にする。
2. 大規模ベンチマーク： 剛体、可動、およびマルチオブジェクトの相互作用にわたる、長期間の両手操作タスクを含む精選されたデータセット。これは従来のベンチマークよりも大幅に大きく、複雑である。
3. 実証的検証： シミュレーションにおける最先端の性能と、実世界のハードウェアへの成功的な転移を示す包括的な評価。

結果

論文には以下の定量的および定性的な結果が報告されている：

• シミュレーション性能： 1,831個のベンチマークタスクで評価された結果、CHORDは平均**82.12%**の成功率を達成した。これは、既存のベースライン（ManipTrans, DexMachina, SPIDER）がそれぞれのタスクスイートおよび新しいベンチマークにおいて示した性能を上回っている。
• 全身操作： 全身操作（手のみまたは三人称のデモンストレーションを使用）に拡張した場合、CHORDは**90.77%**の成功率を達成した。
• 報酬のアブレーション研究： 「接触力（Contact Wrench）」対「位置のみ（Position Only）」対「接触なし（No Contact）」の報酬を比較した実験では、Wrench空間のガイダンスが極めて重要であることが示された。例えば、「ミキサー使用」タスクにおいて、CH冲は89.4%の成功率を達成したが、Position Onlyは62.4%に低下し、No Contactは42.3%にまで落ち込んだ。
• 相関関係： 接触力サポート報酬とタスク成功率との間に、強い正の相関（ピアソン $r \approx 0.80$）が観察され、報酬が操作の質を測る信頼できるプロキシであることを裏付けた。
• 長期的な安定性： CHORDは最大48秒のホライゾンにわたって高い追従精度（ADD-AUC $\approx 0.85-0.98$）を維持したが、ベースラインの手法はタスクの長さが増すにつれて著しく劣化した。
• 実世界への展開： シミュレーションで訓練されたポリシーは、開ループおよび閉ループの両方の設定において、剛体および可動オブジェクトを扱う実世界のDexmateロボット（2つのSharpa器用ハンド搭載）へ正常に転移した。

意義と主張

本論文は、CHORDが器用な操作学習における根本的なスケーラビリティのボトルネックに対処していると主張している。整合の指標を、運動学的ポジション（これはエンボディメントに依存する）から、接触力（Contact Wrench）（これは誘発されるオブジェクトの運動に関してエンボディメントに依存しない）へとシフトさせることで、本フレームワークは、タスク固有のロボットデータや完全な形態的一致を必要とせずに、人間のデモンストレーションから学習することを可能にする。

著者らは、このアプローチが以下を可能にすると強調している：

• スケーラビリティ： 各タスクに対して報酬関数を再設計することなく、数千の多様なタスクにわたって学習すること。
• 堅牢性： 接触のメカニカルな効果に焦点を当てることで、ノイズの多いデモンストレーションや形態的な不一致（例：人間の5本指の手 vs ロボットの3本指の手）に対処すること。
• 汎用性： 手のみのデモンストレーションから全身のエンボディメントへ、またシミュレーションから現実世界へとスキルを転移すること。

本研究は、単純な把持を超えて、協調的で長期的な戦略を必要とする複雑で接触に富んだ操作タスクへと進むために、接触力ガイダンスが不可欠な抽象化であることを示している。