論文要約：人間のエゴセントリック（主観的）動画からのロボット技能学習における、視覚運動予測を用いた人間嗜好モデリング

この論文は、ロボットが人間の実行動画（エゴセントリック動画）から技能を学習する際、従来の「時間的距離」に基づく報酬学習の限界を克服し、**「物体の視覚的運動予測」**を人間嗜好のモデル化として用いることで、効率的かつ堅牢な報酬関数を構築する手法を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

ロボットが新しい技能を学習する際、ロボット自体での実演データ（テレオペレーション）は収集コストが高く、タスク空間の一部分しかカバーできないため、学習に「スキルギャップ」が生じやすくなります。一方、インターネット上の人間による家事タスクの動画は豊富に存在しますが、以下の課題によりロボットへの転用が困難です。

• 身体性・環境のギャップ: 人間とロボットでは身体構造や環境が異なり、単純な軌道模倣や行動転写が難しい（特に接触を伴うタスク）。
• 既存の報酬学習手法の限界: 従来の動画からの報酬学習（例：VIP など）は、状態の価値を「ゴール（動画の最終フレーム）までの時間的距離」として定義しています。
  • ノイズへの弱さ: 人間の動作中の躊躇や中断があると、それ以前のすべての状態が誤って低い価値と評価されてしまいます。
  • 分布シフト: 人間動画から学習した価値関数をロボット動画に転用する際、大きな分布シフトにより性能が低下します。
  • 失敗の識別困難: 動作は似ているが結果（目的達成）が失敗しているケースを、時間的距離だけでは区別しきれません。

2. 手法 (Methodology)

著者らは、長期的な価値推定ではなく、**「各ステップにおける人間の短期的な嗜好（物体がどのように動くべきか）」**をモデル化することで報酬関数を学習するアプローチを提案しました。

A. 運動予測モデル (Motion Prediction Model)

• 入力: 人間の実行動画から抽出した、タスク関連オブジェクト上の追跡点（Tracked Points）の位置と、現在の視覚観測。
• モデル: 拡散トランスフォーマー（DiT）をベースにした「Motion Prediction Transformer (Fθ)」。
  • 凍結されたビジョントランスフォーマー（DinoV2）から視覚特徴を取得し、クロスアテンション層を通じて点の運動を予測します。
  • 学習目標：現在のフレームにおける点の位置と観測から、次のフレームでの点の位置を回帰（Regression）で予測する。
• 特徴: 背景のカメラ移動を補正し、タスクに関連する物体の運動に焦点を当てます。

B. 報酬関数の定義 (Reward Function)

• ロボットが行動をとった際、その結果として観測された点の運動（$\Delta P^{track}$）と、モデルが予測した点の運動（$\Delta P^{pred}$）を比較します。
• 報酬計算: 予測された運動ベクトルと観測された運動ベクトルのコサイン類似度（正の値のみ）を合計してステップごとの報酬 $r_t$ とします。
  • 式：$r_t = \sum \max(\frac{\Delta p^{pred} \cdot \Delta p^{track}}{\|\Delta p^{pred}\| \|\Delta p^{track}\|}, 0)$
• 効果: ロボットは「人間の動きそのもの」ではなく、「人間が意図した物体の運動結果（Outcome）」に一致する行動を報酬として得ます。これにより、失敗した試行（物体が動かない場合）には報酬が与えられません。

C. 残差強化学習 (Residual Reinforcement Learning)

• ベースポリシー: 少量のロボット実演データ（10 回）で行動模倣（Behavior Cloning）により学習した拡散ポリシー（$\pi_{base}$）。
• 学習フレームワーク: Soft Actor-Critic (SAC) をベースにした残差 RL。
  • 学習対象は、ベースポリシーの出力に対する補正行動（$\Delta a$）のみ。
  • オフポリシー学習において、オフラインデータ（実演）とオンラインデータ（ロボットとの相互作用）を均等にサンプリングし、クリティックネットワークの過大評価を防ぐ設計（LayerNorm、最小値選択など）を採用。
  • これにより、サンプル効率と安定性を両立し、実世界での微調整を可能にします。

3. 主要な貢献 (Key Contributions)

1. 新しい報酬学習パラダイム: 時間的距離に基づく価値推定ではなく、**「物体点の運動予測」**を人間嗜好の指標として用いることで、分布シフトや人間の動作のノイズ（躊躇など）に強い報酬関数を構築しました。
2. 実世界での成功: 10 回の実演データと、実世界でのわずか 1 時間（約 100 エピソード）の学習のみで、ロボットがタスクの成功率を大幅に向上させることを実証しました。
3. 失敗の識別能力: 従来の手法（VIP）が「動作の模倣」に過剰に報酬を与えてしまうのに対し、提案手法は「目的の達成（物体の移動）」のみを評価するため、失敗した試行を正しく識別し、学習を安定させます。

4. 結果 (Results)

シミュレーション（Franka Kitchen）および実ロボット（Franka Research 3）を用いた実験で、既存手法（VIP: Value Implicit Pretraining）と比較評価を行いました。

• シミュレーション:
  • 「電子レンジを開ける」タスクにおいて、MPR（提案手法）は VIP を明確に上回り、手動設計された密な報酬関数に匹敵する性能を示しました。
  • 「キャビネットを開ける」タスクでも同様に良好な性能を示しました。
• 実ロボット実験:
  • タスク: 「電子レンジを開ける」「布を折りたたむ」「カウンターを拭く」の 3 種類。
  • 性能: 100 エピソード（約 1 時間）の学習後、MPR はベースポリシーの成功率を大幅に向上させました（例：電子レンジで 45% → 76.7%、布の折りたたみで 45% → 73.3%）。
  • 対比: 一方、VIP を使用した場合、学習が不安定になり、ベースポリシーの性能すら下回る結果（電子レンジで 23.3%）となりました。
• 失敗の識別:
  • 失敗エピソード（例：電子レンジの取っ手を掴まずに引き戻す動作）において、VIP は誤って正の報酬を与え、学習が局所最適解に陥るのに対し、MPR は物体が動かないため報酬を与えず、価値関数が失敗を正しく識別しました。

5. 意義と結論 (Significance & Conclusion)

• サンプル効率の向上: 実世界でのロボット学習はデータ収集が困難ですが、この手法は少量のデータと短い学習時間で高性能なポリシーを導出できることを示しました。
• 実用性の高まり: 人間動画から「何をするべきか（行動）」ではなく「何が起きるべきか（結果）」を学習するアプローチは、接触を伴う複雑なタスクや、環境・身体性が異なる状況での転移学習に極めて有効です。
• 将来展望: 本手法は、大規模な人間動画データからロボット学習用の「密な報酬基盤モデル（Dense Reward Foundation Model）」を構築する第一歩であり、言語条件付きマルチタスクへの拡張や、世界モデル内での探索との組み合わせなど、さらなる発展が期待されます。

要約すれば、この論文は**「物体の運動予測」**という視覚的指標を用いることで、人間動画からのロボット技能学習における「分布シフト」と「失敗検知」の課題を解決し、実世界で即座に成果を出すことを可能にした画期的なアプローチです。