技術要約: SEED-UMI

問題提起

器用な手の操作（Dexterous hand manipulation）は、人間からロボットへ忠実に転送可能な、高品質で接触に富んだデモンストレーションの収集が困難であることから、ロボット学習における重要なボトルネックとなっています。既存のアプローチには、以下のような固有のトレードオフが存在します：

• ビジョンベースのトラッキングは、制約のない動きを可能にしますが、接触時における遮蔽（オクルージョン）やジッターの問題が生じます。
• グローブ型システム（慣性・屈曲センサ）は信頼性の高い運動データを提供しますが、皮膚の動きによるアーティファクトが発生し、人間とロボットの関節間の複雑で、しばしば不正確な対応付け（コーレスポンダンス）のマッピングを必要とします。
• 外骨格ベースのシステムは、一貫した機械的な測定値を提供しますが、ハードウェアが嵩張るため、オペレーターの快適性やスループットを犠牲にするのが一般的です。

決定的なことに、現在のパイプラインは、人間によるデモンストレーションとロボットによる実行を、オープンループのレタゲティングモデルによって接続された別個のドメインとして扱っています。これらのモデルは自由空間内で較正されることが多く、摩擦、外力、あるいは関節の結合効果などの影響により、接触に富んだ相互作用下では著しく性能が低下します。さらに、人間とロボットの観測における視覚的な相違により、生成的な画像変換やセグメンテーションが必要となることがあり、これが重要な接触ピクセルを不明瞭にしてしまうことがあります。

手法: SEED-UMI

著者らは、**共有された物理的測定（shared physical measurement）**という概念に基づいたフレームワークである SEED-UMI (Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration) を提案しています。人間とロボットの異なるエンボディメント間のマッピングを学習する代わりに、SEED-UMIは、人間のオペレーターと対象となるロボットハンドの両方が着用する、キネマティックに同型（isomorphic）な単一の外骨格を利用します。

1. ハードウェア: 共有外骨格

核心となるイノベーションは、特定の全駆動型器用手（Wuji hand）と共同設計されたカスタム設計の外骨格です。

• キネマティックな同型性（Kinematic Isomorphism）: 外骨格のリンク長、関節軸、および可動範囲の制限は、ロボットのキネマティックツリーと機械的に同一です。これにより、厳密な1:1の関節対応（20自由度）と、人間側とロボット側の両方における同一の接触幾何学が保証されます。
• 機構設計: 掌側の接触面を遮らず、かつ横方向のクリアランス範囲内に収めるために、設計には**平行四節リンク（parallel four-bar linkage）**を採用しています。これにより、関節軸から背面に設置された非接触型磁気エンコーダへと回転を伝達し、微細な操作に必要な遮蔽のない接触面を維持しています。
• センサ統合: 外骨格フレームには以下が剛体として取り付けられています：
  • すべての関節における非接触型磁気ロータリーエンコーダ（共有エンコーダベクトル $e_t \in \mathbb{R}^{20}$ を提供）。
  • 6自由度の手首トラッキングのための背面Intel RealSense T265。
  • ワークスペース観測のための腹面フィッシュアイカメラ（視野角150°）。
    センサは外骨格にマウントされているため、エンコーダフレームに対するカメラの内部パラメータおよび外部パラメータは、人間が着用しているかロボットが着用しているかにかかわらず同一に保たれます。

2. ソフトウェア: 2段階のクロスエンボディメント・マッピング

本フレームワークは、データ収集とリアルタイム・テレオペレーションを分離し、エンコーダからコマンドへのマッピング（$e_t \to q_t$）を学習するための2段階のプロセスを利用します。

• ステージ1: モーターバブリング（自由空間）: ロボットが外骨格を着用し、構造化された探索（単一関節のスウィープ、結合運動）を実行します。これにより、エンコーダの読み取り値からロボットの関節コマンドへの初期マッピング $f_{\theta_0}$ を学習します。これは基本的なキネマティクスを捉えますが、接触荷重下でのドリフトに対して脆弱です。
• ステージ2: ペア再生とファインチューニング:
  1. 人間のオペレーターが外骨格を着用してデモンストレーションを行い、接触に富んだエンコーダ軌跡 $\{e^{(h)}_t\}$ を記録します。
  2. これらの軌跡を、初期マッピング $f_{\theta_0}$ を用いてロボット上で再生します。
  3. システムは、結果として得られるロボット側のエンコーダ応答 $\{e^{(r)}_t\}$ と関節コマンド $\{q^{(r)}_t\}$ を記録します。
  4. ペアデータセットが形成され、人間側のエンコーダのトレースとロボット側のエンコーダ応答との間の差異が、教師信号として機能します。
  5. マッピングは、予測されたロボット側のエンコーダを人間側のトレースに一致させ、コマンドをペア再生へと正規化し、時間的なジャンプを罰する損失関数を最小化することでファインチューニングされます。これにより、手動の再調整を必要とせずに、接触依存の効果（摩擦、コンプライアンス）に対してマッピングを修正します。

3. ポリシー学習

ポリシーは、生の、外骨格中心の手首画像と共有エンコーダベクトルに対して直接学習されます。視覚的観測（共有外骨格に搭載されたカメラ）と物理的インターフェースが、人間によるデータ収集とロボットによるロールアウトの両方で同一であるため、本フレームワークは以下の必要性を排除します：

• 手のセグメンテーション。
• 生成的な画像変換（インペインティング）。
• シミュレーションまたは強化学習（RL）。
  著者らは、生の観測とエンコーダ入力を受け取ってアクションチャンクを予測する、ACT、Diffusion Policy、$\pi0.5$ などの標準的なアーキテクチャを利用しています。

主な貢献

1. 共有物理的測定インターフェース: 同じ外骨格を人間とロボットの両方が着用することで、レタゲティングをオープンループのマッピングではなく、ペアによるクロスエンボディメント・スーパーバイジョンの問題へと変える、新しいハードウェア設計。
2. 接触に富んだデータ収集: 接触に富んだ自然なデモンストレーションの収集を可能にし、それらはロボットへ忠実に転送されます。これにより、オープンループのマッピングが負荷の下で劣化する問題を回避します。
3. 効率的な学習パイプライン: 生成的な視覚的整合やシミュレーションの必要性を排除することで、標準的な拡張を用いた生のデータに対してポリシーを訓練することを可能にし、学習パイプラインを大幅に簡素化します。
4. ペア・ファインチューニング: ペアによる人間-ロボットのエンコーダ・トレースを用いて、エンコーダからコマンドへのマッピングを精緻化するデータ駆動型の手法であり、手動の介入なしに接触力学を効果的に修正します。

実験結果

本フレームワークは、ネジ締め、AirPodsケースの挿入、ボールバスケットへの投球、テーブル清掃、エアフレッシュナーのスプレーという5つの接触に富んだ器用な操作タスクで評価されました。

• 成功率:

  • ペア・ファインチューニングを用いたSEED-UMI ($P+$): 全タスクを通じて平均 70.0% の成功率を達成。
  • テレオペレーション・ベースライン ($T$): 71.7% を達成。
  • ファインチューニングなしのSEED-UMI ($P-$): 57.3% を達成。
    特筆すべきは、$P+$ が、リアルタイムのテレオペレーションループがレイテンシやタイミングに苦慮する AirPodsケースの挿入 (73.3% vs 65.0%) や ボールバスケットへの投球 (68.3% vs 60.0%) といった、非常に精密かつ動的なタスクにおいて、テレオペレーションを上回ったことです。

• データ収集の効率性:

  • SEED-UMIは、外骨格ベースのテレオペレーションと比較して、データ収集のスループットにおいて 3.0倍の向上 を示しました。
  • 30分間のウィンドウにおいて、オペレーターはテレオペレーションによる18回に対し、SEED-UMIを介して52回の成功したデモンストレーションを収集しました。
  • 有用なトレーニングデータあたりの分単位での成功率正規化された利得は、約 2.9倍 でした。

意義と主張

本論文は、器用な操作におけるボトルネックを克服するには、レタゲティング・アルゴリズムの改善だけでなく、人間とロボットのエンボディメント間のインターフェースを再考する必要があると主張しています。レタゲティングとビスジュアル・モーター・ポリシー学習を、ペアによるクロスエンボディメント・スーパービジョンの形態へと変容させることで、SEED-UMIはスケーラブルで効率的な道筋を提示しています。

著者らは、そのアプローチが以下のことを実現すると主張しています：

• 人間のデモンストレーション収集を、リアルタイムのロボット・テレオペレーション、シミュレーション、またはRLから分離すること。
• 人間の接触に富んだ相互作用の自然さを維持しつつ、ロボットへの忠実な転送を保証すること。
• 従来のテレオペレーションでは到達できなかったスケールにおいて、データの質を損なうことなく、実世界の器用な手のデータを収集するための有望な方向性を提供すること。

本研究は限界も認めており、現在のシステムは異なる手の形状に対するエンジニアリング上の選択を必要とすること、および長時間タスクにおけるオペレーターの装着性が依然として課題であることを述べています。今後の展望としては、クロスハンド設計の自動化と、装着体験の向上が挙げられています。