技術要約：単なる動きではなく、接触を転送する

問題提起

器用な操作（dexterous manipulation）には、指の動きを予測するだけでなく、滑り、変形、および自己遮蔽（self-occlusion）に対処するための、接触力の能動的な制御が必要である。既存のクロスエンボディメント・ポリシーは、リターゲティングされたポーズや潜在アクション空間を通じて運動意図を統一することには成功しているが、「接触フィードバック」の転送には失敗している。力フィードバックは、ハンド固有のセンシングやアクチュエーション（例：生の努力信号や触覚プロキシ）に紐付けられたままであり、異なる構造を持つロボットハンド間で負荷を比較することを不可能にしている。その結果、あるハンドで学習されたポリシーは、視覚的な手がかりが遮蔽された場合や、精密な力制御が必要な場合に、別のハンドへと汎化することができない。

手法

1. 統一された力・位置インターフェース

本研究の核心的な貢献は、運動意図と接触負荷を分離し、両者を物理的に比較可能な単位で表現する、転送可能なインターフェースである。

• 共有された運動意図: ハンドポーズは、共有された MANO-pose 潜在変数 ($\psi \in \mathbb{R}^{15}$) で表現される。この低次元ベクトルは、人間のグローブデータから一度学習され、指先の位置と指の形状を最適化するハンド固有のリターゲティングマップ ($R_h$) を介して、任意の特定のハンドの関節構成 ($q^{(h)}$) へとマッピングされる。
• 校正された接触チャネル: 生の努力信号を使用する代わりに、システム同定を行い、ハンド固有の努力プロキシを 物理的な関節トルク ($\tau^{(h)}$ [N·m]) へとマッピングする。これらのトルクから、システムは以下を導出する：
  • 指先力 ($f_t$): 並進ヤコビアンの最小二乗逆行列を介して計算される。
  • 空間トルク記述子 ($\gamma_t$): 指に沿った接触位置、関節にわたる負荷の分布、および力の横方向のシェアを符号化する、3つのスカラー ($c, \rho, \ell$) からなるコンパクトなセット。
    これにより、ポリシーは、ハンドの形態に関わらず、統一された座標系において「手がどこへ動くべきか」および「物体にどのように負荷がかかっているか」を観察することができる。

2. MARC: マスク認識型反応的コンプライアント・ポリシー

著者らは、Diffusion Transformer (DiT) アーキテクチャに基づくフローマッチング・ポリシーである MARC を導入している。

• 入力: ポリシーは、エンドエフェクタのポーズ、指先の位置、校正された力 ($f_t$)、空間トルク記述子 ($\gamma_t$)、および共有ポーズ潜在変数 ($\psi_t$) を含む統一された状態タプル $s_t$ に条件付けられる。
• 構造化された視覚マスキング: 学習中、視覚トークン（パッチまたはカメラストリーム全体）が学習されたマスク埋め込みによってランダムに置き換えられる。これにより、視覚的な証拠が欠落または信頼できない場合（例：自己遮蔽時）に、ポリシーが力データを無視するように学習するのではなく、力と固有受容感覚に依存するように強制される。
• 学習目的: ポリシーは、ガウスノイズ源をターゲットのアクションチャンクへと輸送する速度ベクトルを予測し、フローマッチング損失を最小化する。

3. ハイブリッド実行パイプライン

本システムは、長期的なタスクに対して単一のエンドツーエンド・ポリシーに依存するのではない。代わりに、学習されたプリミティブをモデルベースのコントローラと組み合わせる：

• リーチ・アンド・リフト (Reach-and-Lift): MARCによって実行され、把持と初期のリフトにおける接触に敏感なフェーズを処理する。
• 輸送 (Transport): ハイブリッド力・位置コントローラを用いる 定常把持レギュレータ によって管理される。これは最小限の安定したグリップを維持し、輸送中に物体への負荷が生じた場合には、校正されたトルクフィードバックに基づいてグリップを自動的に強化する。
• ハンドオーバー (Handover): 外力による力（wrenches）に比例して、アームを譲り、手を開くエンドエフェクタ・アドミッタンス・コントローラによって制御される。
• コントローラ・ロジック: 低レベルのコントローラは指令されたポーズを追従するが、校正されたトルクに基づいた「片側退避（one-sided retreat）」補正を適用する。接触トルクが目標値を超えた場合、コントローラは関節を開く。そうでなければ、ポーズ指令に従う。これにより、ハンドを物体の中に深く押し込むことなく、コンプライアンスを確保する。

主な貢献

1. 転送可能な接触表現: ハンド固有の努力信号を、校正された関節トルク、指先力、およびコンパクトな負荷記述子に変換する手法であり、異なる構造を持つデクスタラス・ハンド間での接触フィードバックの物理的な比較を可能にする。
2. 統一された力・位置インターフェース: 共有されたハンドポーズの意図と校正された接触フィードバックを組み合わせたフレームワークであり、異種エンボディメント間でのコンプライアントな制御転送を可能にする。
3. MARC ポリシーとパイプライン: 視覚、固有受容感覚、および校正された接触に学習された、マスク認識型フローマッチング・ポリシーであり、タスク固有の再学習なしに、長期的な操作（リーチ、輸送、ハンドオーバー）のためのモデルベースのプリミティブと統合されている。

実験結果

システムは、構造的に異なる3つのハンド（Wuji, Wuji12, Inspire）を備えたUnitree G1 ヒューマノイドを用いて、剛体および柔軟/変形物体（例：卵、ブリオッシュ・バンズ、積み重ねられたカップ）を含む10のタスクで評価された。

• 性能向上: MARCは、すべてのハンドとタスクにおいて、平均リーチ・アンド・リフト成功率を 0.44 (ベースライン sDiT) から 0.71 へと向上させた。
• 具体的な改善:
  • Inspire: 0.54 $\to$ 0.84
  • Wuji: 0.48 $\to$ 0.79
  • Wuji12: 0.29 $\to$ 0.51
  • クリティカルなケース: 最も顕著な利得は、滑りやすく遮蔽されやすい「マーカー（Marker）」タスクで観察され、成功率はInspireとWujiにおいてそれぞれ 0.2/0.1 から 1.0/0.9 へと跳ね上がった。
• アブレーション: 校正された接触チャネルを取り除くと、剛体オブジェクトに対する性能がベースライン（0.48）まで低下し、この利得がアーキテクチャやマスキングによるものではなく、力チャネルによって駆動されていることが確認された。
• ゼロショット汎化: ポリシーは、再学習なしに未知の Wuji15 構成（15自由度）へと正常に転送され、イン・ディストリビューションのWujiの結果から0.1以内の成功率を達成した。

意義と主張

本論文は、接触がハンド固有のプロキシとしてではなく、物理単位（トルクと力）で表現されるとき、接触自体が転送可能であると主張している。運動意図と接触負荷を共通のインターフェースに統一することで、本システムは、構造的に異なるハンド間での器用な操作スキルの転送を可能にする。著者らは、このアプローチにより、遮蔽や物体の変形によって視覚的フィードバックが不十分なシナリオにおいても、安定したコンプライアントな相互作用が可能になることを強調している。本研究は、校正された接触を用いて学習された単一のポリシーが、タスク固有のモデル訓練やファインチューニングを必要とせずに、ヘテロジニアスなハードウェアを駆動できることを示している。