技術要約：Pegasus – 身体化された知能のための物理的に接地された経験合成

1. 問題提起

エンボディドAI（身体化されたAI）を進展させる上での主要なボトルネックは、モデルのアーキテクチャではなく、高品質かつロボット特有の訓練データの不足である。オンラインには数十億もの人間の操作ビデオが存在するが、形態、運動学、およびアクションスペースにおける人間とロボットの顕著な相違（エンボディメント・ギャップ）により、ロボットはそれらから直接学習することができない。

既存のデータ収集パラダイムには、それぞれ明確な限界がある：

• 実機ロボットによる収集： 高品質であるが、コストが高く、スケールアップが困難である。
• 物理シミュレーション： 無制限にデータを生成できるが、特にビジョンベースのポリシーにおいて、sim-to-real（シミュレーションから現実への移行）のギャップが生じる。
• 人間のビデオからの学習： 豊富なデータを利用できるが、通常は視覚的な表現を学習するにとどまり、実行可能なロボットの軌跡を生成するまでには至らない。

核心となる課題は、生のピクセルではなく、構造化された経験（タスクのセマンティクス、アフォーダンス、および制約）を転送することでこのギャップを埋め、人間のデモンストレーションからロボットが学習可能なデータを合成することである。

2. 手法：Pegasus フレームワーク

Pegasusは、構造化されたグラフベースのパイプラインを通じて、人間の一人称視点ビデオをロボットが実行可能なデモンストレーションへと変換する、低リソースのフレームワークである。これは、問題を「外観の生成」から「クロスエンボディメント（身体性を超えた）知識転送」へと再定義するものである。

本フレームワークは、以下の5つの段階的なプロセスで動作する：

2.1 タスクグラフ抽出 ($V_h \rightarrow G_T$)

Pegasusは、生のピクセルに対して推論を行うのではなく、構造化された視覚言語パーサーを用いて、人間のビデオからタスクグラフ ($G_T$) を抽出する。

• ノード： サブゴール ($g_i$)、操作対象物 ($o_j$)、空間領域 ($r_k$) を含む意味的なエンティティを表す。
• エッジ： 時間的な順序、因果関係、および空間的な相互作用を符号化する。
  このグラフは、特定のロボットの形態に依存することなく、タスクのトポロジーを保持する。

2.2 階層的アフォーダンス潜在変数 ($G_T \rightarrow Z$)

物体や身体性（エンボディメント）を越えた汎用性を扱うため、Pegasusは階層的アフォーダンス潜在変数 ($Z = \{Z_s, Z_a, Z_t\}$) を導入する：

1. 物体状態レベル ($Z_s$)： 物理的な状態（例：掴まれている、開いている、移動している）を捉える。
2. アフォーダンスレベル ($Z_a$)： 物体固有の観察を、操作能力（例：掴みやすさ、容器性、注ぎやすさ）へと抽象化する。
3. タスクレベル ($Z_t$)： 身体性に依存しない意図（例：運搬、積み重ね）を表現する。
   この階層構造は、因果的なタスクセマンティクスを保持しながら、身体性に固有の情報を取り除いていく。対照学習の目的関数により、共有されたアフォーダンス空間内で人間とロボットのデモンストレーションを整合させる。

2.3 クロスエンボディメント・グラフ変換 ($G_T \rightarrow G_P$)

タスクグラフは、3つのグラフオペレータを通じて、実行可能なロボット計画グラフ ($G_P$) へと変換される：

1. アフォーダンスグラフ： セマンティックなノードに操作のアフォーダンスを付加する。
2. 制約グラフ： 身体性に依存する実現可能性（把持タイプ、逆運動学、衝突制約、作業領域の制限）を組み込む。
3. 計画グラフ： 実現可能なプリミティブを、実行可能な軌跡（モーションウェイポイントおよび時間的遷移）へと変換する。
   このモジュール化された定式化により、セマンティックな推論と身体性への適応を分離する。

2.4 物理制約検証

視覚的な妥当性だけではロボティクスには不十分である。Pegasusは、以下の項目に対して生成された軌跡を検証するクローズドループ検証モジュールを採用している：

• 逆運動学（IK）の解の存在
• 関節リミット
• 衝突回避
• 把持の安定性と軌跡の滑らかさ

制約に違反した場合、構造化されたエラー信号が計画モジュールにフィードバックされ、すべての制約が満たされるまで反復的な再生成が行われる。

2.5 経験のレンダリング

検証済みの計画グラフは、ダウンストリームのポリシー学習に適した3つの出力モダリティへとレンダリングされる：

• ビデオデモンストレーション ($D_{video}$)： 視覚言語ポリシー用。
• 離散アクショントークン ($D_{action}$)： 自己回帰型アクションモデル用。
• 連続軌跡 ($D_{trajectory}$)： 古典的な制御パイプライン用。

3. 主な貢献

1. 転送の定式化： インターネット上の人間のビデオを、構造化されたクロスエンボディメント知識転送を介した、スケーラブルなロボット訓練データのソースとして再定義した。
2. グラフ構造フレームワーク： 生のピクセルやテキストプロンプトによる条件付けを超え、タスクセマンティクス、アフォーダンス、ロボット計画を明示的にモデル化する新しいパイプラインを提示した。
3. 階層的アフォーダンス潜在変数： 物体のアイデンティティではなく、物体の状態、アフォーダンス、タスクに従ってデータを整理することで、未知の物体に対する汎用性を向上させた。
4. クローズドループ物理検証： 運動学的な実現可能性を強制する反復メカニタズムにより、身体性への適応を制約充足問題へと変換した。
5. 実証的検証： タスクの正確性、物理的な実行可能性、およびダウンストリームのポリシー学習における改善を包括的な実験によって示した。

4. 実験結果

Pegasusは、GTEA Gaze+、EPIC-KITCHENS-100、および精選されたインターネット操作ビデオセットを含むベンチマークを用いて評価され、5種類の多様なロボット（例：Franka Panda, xArm 7, UR5e）でテストされた。

4.1 タスクの正確性と実行可能性

• グラフ条件付き生成は、プロンプトのみのベースラインと比較して、タスクの正確性で12.3%、実行可能性で**15.7%**上回った。
• 5種類のロボット全体で、システムは平均してタスク正確性84.4%（VLM）および81.5%（人間）、実行可能性**89.6%**を達成した。

4.2 ダウンストリーム・ポリシー学習

生成されたデータで訓練されたポリシー（OpenVLAおよびACT）は、顕著な結果を示した：

• 生成データのみの場合、成功率は**55.2%**であり、これは50回の実機ロボットによるデモンストレーションが達成する性能の84%に相当する（実機は65.9%）。
• 50回の実機デモンストレーションに200回の生成データを追加することで、実機のみの場合と比較して成功率が絶対値で**11.3%**向上した。
• 人間のビデオ特徴量（R3M/VIP）で訓練した場合と比較して、グラフ条件付き生成は成功率において**+25.8%**の改善をもたらした。

4.3 未知の物体への汎用性

アフォーダンス潜在変数は、強力なゼロショット能力を示した：

• 物体のアイデンティティに基づく潜在変数（45.1%）に対し、完全に未知の物体（例：スイカ、ドライバー）に対して**78.5%**のタスク正確性を達成した。
• モデルは、アフォーダンスの構成に基づき、必要な挙動（例：「重い＋壊れやすい」 $\rightarrow$ 「慎重なパワー把握」）を正常に推論した。

4.4 物理的妥当性

クローズドループ検証は、物理的な実現可能性を大幅に向上させた：

• Pass@1（初回試行）は51.2%であったが、Pass@5（5回の反復後）では**94.1%**に達した。
• 逆運動学（IK）誤差は**93.5%減少し、衝突率は90.9%**低下した。

4.5 アブレーション研究

• 制約グラフを除去すると、実行可能性が最も大きく低下した（-11.2%）。
• アフォーダンスグラフを除去すると、未知の物体に対するタスク正確性が最も大きく低下した（-5.1%）。
• グラフ構造が、基礎となるビデオ生成モデルよりも主要な性能向上要因であることが特定された。

5. 意義と主張

本論文は、Pegasusがロボットのデータ生成を、ハードウェア収集の問題から、スケーラブルで低リソースな知識転送の問題へと再定義することに成功したと主張している。

• 経験レベルの転送： 本研究は、エンボディメント・ギャップをピクセルレベルではなく、経験レベル（目標、状態遷移、アフォーダンス）で埋めるべきであると論じている。これにより、大規模な3Dアセット構築を必要とせずに、人間のビデオの多様性とリアリズムを活用することが可能になる。
• スケーラビリティ： タスクセマンティクスをロボットの形態から切り離すことで、単一のソースである人間のデータから、ヘテロジニアス（異種混合）なプラットフォーム向けのロボット学習可能なデモンストレーションを合成することを可能にする。
• 実用性： タスク知識とアフォーダンス構造を明示的にモデル化することで、膨大な人間の操作ビデオがロボット学習の有効な教師信号として機能することを示しており、すべてのデモンストレーションを物理的なハードウェア上で収集するという代替案に対する実用的な選択肢を提示している。

著者らは、VideoLLMへのタスク分解への依存、完全な接触力学ではなく運動学的整合性に焦点を当てていること、および現在のシングルビュー生成への制約といった限界についても認めている。しかし、本フレームワークは、構造化されたクロスエンボディメント表現学習のための新しいパラダイムを確立している。