技術要約：架け橋となるアクションとしての翻訳（Translation）

問題提起

本論文は、人間による動作データから、パラレルグリッパーを備えた双腕ロボットへ、新しい操作スキルを転移させる際の課題に対処している。人間の動作データは豊富で多様であり、ロボット学習をスケールアップさせる上でコスト効率も高いが、直接的な転移には主に2つの問題が障壁となる：

1. ノイズの多い推定: 人間の動作は通常、手ポーズ推定器から導出されるため、特に回転の推定において大きなノリエが生じる。
2. エンボディメント（身体性）の不一致: 人間の指の接触パターンは、パラレルロボットグリッパーとは根本的に異なる。そのため、人間のデータから抽出された手首の回転（6DoF）は、ロボットグリッパーの物理的制約と意味的に乖離していることが多く、直接再生すると挙動が歪んでしまう。

従来のアプローチでは、人間を単なる別の「双腕6DoFエンボディメント」として扱い、回転を含むアクション信号を学習させてきた。著者らは、これはパラレルグリパー・ロボットにとっては最適ではないと主張している。

手法

1. 架け橋となるアクション表現（Bridging Action Representation）

著者らは、フル6DoFの手首ポーズを学習する代わりに、相対的な手首の並進移動（relative wrist translations）（$a_{3D-wrist}$）のみに基づく架け橋となるアクション表現を提案している。

• 定義: アクションは、ヘッドカメラの初期フレーム内における手首の相対的な並進移動として定義される。このフレームは、人間（ヘッドマウントカメラを装着）とロボット（ヘッドカメラを装備）の両方で共有されるものである。
• 根拠: 人間もロボットも自身が知覚するものに基づいて行動するため、観測フレーム内での相対的な並進移動は物理的に意味があり、ノイズの多い回転推定に対して堅牢であり、かつエンボディメントに依存しない。
• 定式化: 時刻 $t$ および将来のウィンドウ $k$ に対して、アクションは次のように計算される：
  $$a_{3D-wrist}^{t+i} = \Delta W^{3D} = \text{trans}((T_{w \leftarrow c}^t)^{-1} W_w^{t+i}) - \text{trans}((T_{w \leftarrow c}^t)^{-1} W_w^t)$$
  ここで、$W$ は手首のポーズ、$T$ はカメラのポーズを表す。

2. 統一モデルアーキテクチャ

著者らは、フローマッチングを用いた$\pi_0$型のVision-Language-Action (VLA) モデルをベースに構築している。利用可能なアクション成分が異なる異種データソース（人間 vs ロボット）を扱うために、インターリーブされたアクションシーケンスを導入している：

• シーケンス順序: $a_{3D-wrist} \rightarrow a_{6D-eef} \rightarrow a_{gripper}$
• 欠損データの処理: モデルは、アテンションマスキングを使用して、可変長の入力を処理する。人間によるデータでは、6DoFエンドエフェクタ（$a_{6D-eef}$）およびグリッパーの信号が欠落またはマスクされている可能性がある。一方、ロボットのデータでは、すべてのコンポーネントが存在する。
• 学習目的:
  • フローマッチング: アクションチャンクを生成するために使用される。損失は、与えられたデータソースで利用可能なアクション成分に対してのみ計算される。
  • インターリーブされた教師あり学習: 決定的なのは、人間とロボットの共同学習（co-training）中、真値が $a_{6D-eef}$ である場合でもモデルが $a_{3D-wrist}$ を予測するように訓練される点である。この「バインディング（結合）」戦略により、架け橋となる表現と実行可能なロボットアクションが明示的に結び付けられる。

3. 3段階の学習戦略

1. ステージ I（事前学習）: 大規模な人間のアクションデータ（EgoDex + アウトソーシング + ラボ内データ）を用いてモデルを事前学習する。このスケールでは回転や接触パターンは信頼できないため、架け橋となる信号（$a_{3D-wrist}$）のみが教師あり学習の対象となる。
2. ステージ II（共同学習）: 一般的なロボットのピックアンドプレースデータ（約72時間）と、タスク固有のラボ内人間データ（約3時間/タスク）を用いて共同学習を行う。すべての成分（$a_{3D-wrist}, a_{6D-eef}, a_{gripper}$）がアクティブであり、$a_{6D-eef}$ の代わりに $a_{3D-wrist}$ をランダムに代入することで、架け橋となる接続を強化する。
3. ステージ III（少ショット・ポストトレーニング）: 実機ロボットのデモンストレーション（10軌跡/タスク）を用いて微調整を行い、データ効率と最終的な性能を向上させる。

主な結果

本手法は、ByteMiniロボットを用い、15の新しい双腕操作タスク（例：電子レンジを開ける、表面を拭く、カップを積み重ねる）で評価された。

• スキルの転移: ロボットのピックアンドプレースデータのみで学習した場合、複雑なタスクへの汎化に失敗した。しかし、架け橋となるアクションを用いて人間データと共同学習を行うことで、タスクの進行度と成功率の両方が大幅に改善した。
• 並進 vs 6DoF: 6DoFの人間のアクションを用いた共同学習では、ノイズが多く歪んだ挙動となった。一方で、並進のみの架け橋アクションは、タスクの要求（例：電子レンジのハンドルへの位置合わせ）に適合した、安定した自然なポーズをもたらした。
• スケーラビリティ: 大規模な人間のみの事前学習（ステージ I）は、ダウンストリームの性能を大幅に向上させ、架け橋となる表現のスケールアップの可能性を裏付けた。
• データ効率: 人間データで事前学習されたモデルは、ゼロから学習したモデルと比較して、高い性能を得るために必要なロボットのデモンストレーション数が少なかった。
• 整合性: 共同学習中、架け橋となるアクション（$a_{3D-wrist}$）の学習損失は、実行可能な6DoFアクション（$a_{6D-eef}$）の損失と密接に一致しており、共通の目的関数空間を示唆している。
• 上限値: エンボディメントの差を取り除いた場合（ロボットデータを並進のみの教師あり学習を用いる人間データとして扱う）、性能がさらに向上した。これは、架け橋となる表現自体が非常に効果的であり、残りの差は主に視覚的・身体的な違いやノイズに起因することを示している。

限界と失敗事例

著者らは、並進のみのアプローチが、接触を伴う精密な操作（例：ストローをカップに挿入する、あるいは引き出しを開ける）において、回転の微調整を必要とするタスクの転移を制限することを指摘している。これらのケースでは、ロボットは正しい意図を示しているものの、回転の教師信号が欠如しているために、最終的な接触ステップで失敗することが多い。また、薄い物体を掴むことは依然として困難であり、これは観測のギャップや人間の動作ノイズに起因するとされている。

意義と主張

本論文は以下のことを主張している：

1. 堅牢な転移: 並進ベースの架け橋アクションは、ノイズの多い6DoFポーズ推定と比較して、人間からパラレルグリッパー・ロボットへ操作知識を転移するための優れた媒体である。
2. スケーラビリティ: この表現は、大規模で多様な人間データを利用してポリシーを事前学習することを効果的に実現し、高価なロボットデータの収集への依存を軽減する。
3. 統一された学習: アテンションマスキングを備えたインターリーブされたアクションシーケンスにより、単一のモデルが欠損したアクション成分を持つ異種データソースから学習することを可能にし、効率的な人間・ロボット共同学習を促進する。

本研究は、特定のエンボディメントの詳細（指の関節や完全な6DoFポーズ）ではなく、共有された知覚・運動信号（相対的な並進移動）に焦点を当てることで、ロボット学習を豊富な人間データを用いてより効果的にスケールアップできることを示唆している。