技術要約: DO AS I DO

問題提起

ロボット学習の分野は、器用な操作（dexterous manipulation）に関する経験データの不足という重大なボトルネックに直面している。特に多指ロボットハンドにおいてその傾向が強い。観察データ（人間の動作を行う単眼RGBビデオ）は豊富に存在するが、この「見る」データをロボットの「行う」データへと変換する際には、主に以下の2つの課題が障壁となる：

1. 手と物体の相互作用の推定: ノイズの多い、自然界の（in-the-wild）単眼RGBビデオから、3Dの手と物体の相互作用を正確に再構成することは困難である。既存の手法は、モーションブラー、遮蔽（オクルージョン）、あるいは多様で非構造的な物体を扱う際に失敗することが多い。
2. エンボディメント・ギャップとリターゲティング: 再構成された人間の軌跡があったとしても、それを形態学的に大きく異なるロボット（指の長さや関節構造の違い）にマッピングすることは容易ではない。従来の回帰手法は、物理法則を無視したキネマティクス・ソルバーに依存していることが多く（これにより貫入や不安定化を招く）、あるいはインターネット規模のビデオでは利用不可能な、クリーンなグラウンドトゥルース参照データ（モーションキャプチャなど）を必要とする。

本論文は次のように問いかける：行動、オブジェクトクラス、またはデータモダリティに関する制約的な仮定を置くことなく、いかにして観察による人間データと経験によるロボットデータの間のギャップを埋めることができるか？

手法: DO AS I DO

著者らは、単眼RGBビデオから手と物体の相互作用を再構成し、それを物理的に実行可能なロボットの動作へとリターゲティングする2段階のパイプライン、DO AS I DOを提案する。

1. 再構成 (Hand-Object Tracking)

第1段階の目的は、単一視点のビデオから、手と物体の整合性のある4D（3D + 時間）軌跡を復元することである。

• 手部トラッキング: システムは、ワールド空間における手の動きをロバストに再構成するモデルである HaWoR [45] を使用して、人間の手を追跡する。
• ガイド付き拡散による物体トラッキング: 物体については、画像から3Dを生成する基盤モデルである SAM 3D [11] を適応させる。SAM 3Dはフレームごとに独立したメッシュを生成するため（時間的な一貫性に欠ける）、著者らは**ガイド付き拡散（Guided Diffusion）**トラッキングメカニズムを導入している：
  • アンカーフレームにおいて物体の形状 $\bar{x}_s$ を固定する。
  • 後続のフレームについては、固定された形状と前のフレームのポーズ $x^p_{k-1}$ に条件付けられたポーズ $x^p_k$ をサンプリングする。
  • これは、フローマッチング推論プロセス（式1）を修正し、適応的なガイダンスパラメータを用いて、モデルのデノイジング更新とターゲットとなる補間関数（固定された形状および前のポーズ）をブレンドすることで実現される。
  • 適応型ガイダンス (Adaptive Guidance): ポーズのガイダンス強度 $\alpha_p$ は、物体の推定回転速度（2Dポイントトラックを使用）から動的に導出され、過度な剛性や不自然な反転を防ぐ。
  • サンプリングと選択: 拡散モデルの確率性を扱うため、システムはフレームごとに $N$ 個の候補ポーズをサンプリングし、計算コストの高い対数密度ランキングではなく、重み付きSE(3)距離に基づくクラスタリング・ヒューリスティックを用いて最適なものを選択する。
• アライメント: 独立して再構成された手と物体（スケールが異なる可能性がある）を、近似的なメトリック空間へと整列させる。物体の平行移動は、MoGe [10] による深度情報を用いて手の重心に対してスケーリングされ、軌跡は GeoCalib [68] を用いて重力方向に整列される。

2. リターゲティング (Dynamics-Aware Optimization)

第2段階では、再構成された人間の軌跡を、物理シミュレータ（MuJoCo Warp）内でのサンプリングベースの最適化（MPPIスタイル）を用いて、器用なロボットハンド（Sharpa Wave）およびアーム（UR3e）にマッピングする。

• ウォームアップ・ステップ: ノイズの多い初期フレームが、ロボットを回復不能な状態（例：即座に物体を落としてしまう状態）に陥らせる問題を解決するため、システムは $H$ 個の「ウォームアップ」ステップを前置する。このフェーズでは、物体を一定の位置（例：空中）に保持したまま、ロボットハンドが自由に対象を追跡する前に安定した把持を見つける。
• ランダムな力による摂動 (Random Force Perturbation): ローカルミニマや不安定な相互作用（例：指先でのバランス維持）に対処するため、最適化中にロールアウト中のランダムな力とトルクを導入する。これにより、軽微な乱れに対して頑健な制御を促進する。
• 遷移報酬 (Transition Reward): 「静止」状態と「手の中での操作（in-hand）」状態という離散的な性質を扱うため、失敗した遷移に対するペナルティ項を追加する（例：「in-hand」フェーズ中の手と物体の接触不足、または「rest」フェーズ中の物体と床の接触不足）。

主な貢献

1. アルゴリズム: 特定のオブジェクトクラスや把持の事前知識を仮定することなく、任意の単眼RGBビデオから器用な手の動作を再構成し、リターゲティングするパイプラインである DO AS I DO の導入。
2. 再構成におけるSOTA: 手と物体の再構成プロセスにおいて、標準的なベンチマーク（DexYCB, HOI4D）でSOTA性能を達成し、多様でノイズの多いin-the-wildのビデオ（一人称および三人称視点）を扱う。
3. 頑健なリターゲティング: ウォームアップ、力の摂動、および遷移報酬を導入することで、ノイズの多い再構成された参照に対して、既存のスケーラブルな手法を改善した、ダイナミクスを考慮したリターゲティング。
4. 実世界パイプライン: インターネット上のビデオを取り込み、実世界の器用な手のロールアウトを生成できる、既知の最初のパイプラインであり、バイマニュアル（両腕）ロボット構成で検証されている。

実験結果

• 再構成: DexYCB および HOI4D データセットにおいて、DO AS I DOはFスコア（F-5, F-10）およびChamfer Distance（CD）において新たなSOTAを達成し、結合再構成手法（例：MCC-HO, G-HOP）や物体トラッカー（FoundationPose, Any6D）を上回った。
• In-the-Wild評価: 150本のインターネットビデオのベンチマークにおいて、人間の評価者は、FoundationPoseよりもDO AS I DOの物体トラッキングを 67% のケースで好んだ。定性的に、本手法はモーションブラーや遮蔽が発生しても、ベースラインが物体を見失う場面において時間的一貫性を維持する。
• リターゲティング: 再構成されたin-the-wildデータセットにおいて、本手法は 71% の成功率を達成し、ベースラインであるAnnealed Sampling法（25%）を大幅に上回った。「ウォームアップ」コンポーネントが主要な差別化要因として特定された。高品質な参照データを用いたクリーンな OakInk2 モーキャプデータセットにおいても、成功率は72%（ベースライン）から 81% に向上し、手法の有効性が示された。
• デプロイメント: 本システムは、実世界のバイマニュアル・ロボット構成において、10種類の多様なタスク（例：泡立て、注ぐ、叩く）を正常に実行した。

意義と主張

本論文は、DO AS I DO が器用な操作のための観察データと経験データの間の溝を埋めるものであると主張している。最新の3Dコンピュータビジョン（深度および3D生成のための基盤モデル）とGPU加速された物理シミュレーションを活用することで、人間を観察するだけでロボットのデータ収集をスケールアップできることを著者らは示している。

著者らは、自らの研究を、人間ビデオをロボット学習の風景における「第一級市民（first-class citizens）」にするためのステップとして位置づけている。彼らは実務家向けの「エフィカシー・プレイブック（有効性の手引き）」を提案しており、生のインターネットデータには大幅なフィルタリングが必要であること（分析の結果、サンプリングされたクリップのうち有用と判断されたのはわずか4〜5%であった）を強調しているが、残りのデータは複雑な操作スキルを学習するために非常に価値が高いとしている。

認められた限界事項:
本手法は、剛体オブジェクトおよび正確なメトリック深度予測を前提としている。また、手と物体の距離の曖昧さ（接触と遮蔽の区別）に苦慮する場合があり、また、障害物や他の物体を含むシーン全体の制約については推論せず、手と単一のターゲットオブジェクトのみに焦点を当てている。さらに、実世界でのパフォーマンスの忠実度は、物理シミュレータによる近似に依存する。