💻 computer science

Demo-JEPA: Joint-Embedding Predictive Architecture for One-shot Cross-Embodiment Imitation

Demo-JEPA は、共同埋め込み予測アーキテクチャ内でデモンストレーションを暗黙の将来目標として解釈することにより、共有アクションスペースの必要性を回避する新しいクロス・エンボディメント模倣学習フレームワークであり、これによりターゲットエージェントは視覚的観測と自らの相互作用経験のみを用いて望ましい状態を推論し、計画することを可能にする。

原著者： Jingyang He, Guangrun Li, Jieyu Zhang, Chengkai Hou, Zhengping Che, Shanghang Zhang

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jingyang He, Guangrun Li, Jieyu Zhang, Chengkai Hou, Zhengping Che, Shanghang Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

Demo-JEPA論文の説明を、日常的でわかりやすい言葉と創造的な比喩を用いて翻訳したものです。

大きな課題：「ボディランゲージ」の壁

ロボットにサンドイッチの作り方を教えようとしていると想像してください。人間がやっている様子を動画で見せます。

人間は指を使い、曲がる手首を持ち、握る動作を行います。
ロボットは剛性の金属製の腕を持ち、関節の数も異なり、開閉するクローを持っています。

もし「人間の手の動きをそのまま真似しなさい」と教えても、ロボットは失敗します。それは、ペンギンに猿のダンスを真似させようとするようなもので、猿の動きはペンギンの体には意味をなさないからです。

現在のほとんどのロボットは、この問題を解決するために、人間の動きを「翻訳辞書」（人間の関節をロボットの関節にマッピングする数学的ルール）に無理やり当てはめようとします。しかし、この方法は脆弱で高価であり、ロボットやタスクが少し変わっただけで破綻してしまいます。

解決策：Demo-JEPA（「夢想家」）

著者たちは、ロボットに「どのように動くか」を教えるのではなく、「何を達成するか」を教えるという新しい方法、Demo-JEPAを提案しています。

次のように考えてみてください。

従来の方法：「手を5インチ左に動かし、その後30度回転させなさい。」（人間の体に特化しすぎています）
Demo-JEPA の方法：「目標は、皿にサンドイッチを置くことです。」（誰がやるかに関わらず、目標は同じです）

このシステムは、動画のデモンストレーションを指示のセットとしてではなく、未来に関するヒントとして扱います。「もしこの人間を見たら、数秒後の世界はどう見えるだろうか？」と問いかけるのです。

仕組み：3段階の「夢想」プロセス

この論文では、夢想家、翻訳者、そして計画立案者として想像できる3段階で機能するフレームワークが説明されています。

1. 翻訳者（「夢想家予測器」）

これが作戦の頭脳です。人間の動画（ソース）と、ロボットが現在見ている視点（ターゲット）を照合します。

比喩：人間ともロボットとも同じ言語を話さない翻訳者を想像してください。彼らは言葉を翻訳するのではなく、意図を翻訳します。
何をするか：人間のシャツの色、照明、あるいは特定の指の形といった煩雑な詳細を無視します。それらを剥ぎ取り、動作の「魂」を見つけ出します。そして、ロボットの体に合った未来の目標を投影します。
魔法：それは「潜在目標」を作成します。これは、ロボットが人間がそれをやっているのを見たことがなくても理解できる、未来の状態（例：「コップが空中にある」）の精神的なイメージのようなものです。

2. 計画立案者（「行動条件付き世界モデル」）

ロボットがこの目標の精神的なイメージを持ったら、そこに到達する方法を突き止める必要があります。

比喩：チェスプレイヤーが盤面を見ていると想像してください。彼らは単に手を推測するのではなく、頭の中で未来をシミュレーションします。「ここで動いたらどうなる？あそこで動いたらどうなる？」と。
何をするか：ロボットは、自身の腕の動きに関する内部の物理モデルを使って、さまざまな行動をシミュレーションします。現在の現実を、翻訳者から得た「精神的なイメージ（目標）」に変える一連の動きを見つけるために、何千もの精神的なシミュレーションを実行します。

3. 適応ループ（「ペース配分」）

ロボットが詰まったり、動画内の人間よりも遅れたりすることがあります。

比喩：ツアーガイドについていくと想像してください。もし遅れてしまったら、ガイドの次の場所へ飛びつくのではなく、追いつくまでその場に留まり、その後次の場所へ移動します。
何をするか：システムは「夢想家が設定した目標に到達したか？」を確認します。もし到達していれば、動画から次の目標を取得します。そうでなければ、現在の目標に到達しようとし続けます。これにより、デモンストレーションに遅れをとった場合にロボットが混乱することを防ぎます。

これが重要である理由（結果）

この論文は、2つの方法でこれをテストしました。

シミュレーション：異なるロボットアームを持つコンピュータ上の世界。
実世界：UR5 ロボットアーム（ソース）と Franka ロボットアーム（ターゲット）を備えた物理的な実験室。

発見：

「ワンショット」学習への優位性：ロボットはタスクを学習するために、それを1回だけ見るだけで済みました。
「奇妙な」ロボットへの対応：ソースとターゲットのロボットが全く似ていなくても（形状やサイズが異なっても）機能しました。
ゼロショット汎化：これが最も素晴らしい点です。ロボットは、人間が似たようなタスクを行っているのを見るだけで、これまで見たこともないタスク（新しい物体を掴む、新しい場所へ移動するなど）を実行できました。
比較：従来の手法（正確な動きをコピーしようとする試みなど）は、ロボットが異なったりタスクが変わったりすると、みじめな失敗を喫しました。Demo-JEPA は機能し続けました。

限界（論文が認めている点）

著者たちは欠点についても正直に述べています。

複雑性：これらの精神的なシミュレーションを実行するには、多くの計算能力が必要です。
精度：一般的なタスクでは優れていますが、糸を通すような極めて高精度で繊細なタスクでは、まだ「精神的モデル」が完璧ではないため、苦労する可能性があります。
トレーニング：人間とロボットの動きを結びつけるデータは不要ですが、自身の体の動きを学ぶためのトレーニングデータは依然として必要です。

まとめ

Demo-JEPAは、動きをコピーしようとするのをやめ、意図を理解しようとするロボット学習システムです。これは、人間を見て、未来の成果を想像し、その後、自分自身のユニークな体がどのようにしてその同じ成果を達成できるかを考える「夢想家」のように機能します。これにより、ロボットは以前よりもはるかに速く、柔軟に人間（または他のロボット）から学習できるようになります。

技術概要：Demo-JEPA

問題定義

ロボットの模倣学習は、実演者（人間や異なるロボットなど）と学習者の間の物理的・運動学的な不一致である「具現化ギャップ（embodiment gap）」という根本的なボトルネックに直面している。従来のアプローチは、共有アクション空間、明示的なアクション対応、ヒューリスティックなリターゲティング、大規模な多具現化共同トレーニングに依存する「アクションレベルの整合」を通じてこのギャップを埋めようとする。しかし、これらの手法は異種エージェントに対して本質的に限界がある。なぜなら、同一の意味的意図（例：「物体を把持する」）であっても、特定の形態に依存して、全く異なるモータコマンド、トルクプロファイル、関節構成が必要となるからである。その結果、低レベルのアクション整合による異種具現化スキルの学習は、膨大な量の整合データなしには、不一致な形態間での汎化に苦しむ。

手法：Demo-JEPA

著者らは、Demo-JEPA（Joint-Embedding Predictive Architecture）を提案する。これは、異種具現化模倣をアクションの再現ではなく、「潜在ゴール条件付き計画（latent goal-conditioned planning）」として再定義するフレームワークである。核心的な仮説は、実演をモータプリミティブの系列（どのように実行するか）ではなく、未来のゴールの暗黙的な仕様（実演者が実現しようとしている状態）として捉えるべきであるというものである。

このフレームワークは、共有された予測表現空間内で 3 つの主要な段階で動作する。

1. アクション条件付き世界モデル

ターゲットエージェントは、自身の具現化のダイナミクスを学習するために JEPA ベースの世界モデル（具体的には V-JEPA 2.1）を利用する。

エンコーダ（ $E$ ）: 視覚観測（ $o_t$ ）を潜在状態（ $z_t$ ）にマッピングする。
ダイナミクス予測器（ $F_{wm}$ ）: 現在の潜在状態、ロボット状態（ $s_t$ ）、およびアクション（ $a_t$ ）に条件付けられた遷移をモデル化する： $\hat{z}_{t+1} = F_{wm}(z_t, s_t, a_t)$ 。
計画: 目標潜在ゴールが与えられた場合、エージェントは予測される未来の潜在状態とゴールとの距離を最小化するアクション系列を最適化するために**クロスエントロピー法（CEM）**を使用する。

2. ドリーマー予測器（具現化認識型ゴール推論）

これは、ソース実演をターゲット互換のゴールに変換する責任を負う新規コンポーネントである。

入力: 現在のターゲット観測（ $o^t_k$ ）と、実演における時間的オフセットを表すソースフレームのペア（ $o^s_k, o^s_{k+n}$ ）。
メカニズム:
- 共有 JEPA エンコーダが観測を潜在表現（ $z^t_k, z^s_k, z^s_{k+n}$ ）にマッピングする。
- クロスアテンションモジュール: 2 つのモジュールが (1) 異種具現化対応（ $f_{emb}$ ）と (2) 行動の時間的進化（ $f_{mot}$ ）を捉える。
- 3D 畳み込み融合: 特徴量は、時空間構造を保持するために 3D 畳み込み（ $\phi$ ）を介して集約され、その後、トランスフォーマー予測器（ $T$ ）によって融合特徴がターゲット互換の潜在ゴール（ $\hat{z}^t_{goal}$ ）にデコードされる。
トレーニング: 予測器は、潜在再構成損失（ $L_{pred} = \|\hat{z}^t_{goal} - z^t_{k+n}\|^2_2$ ）を最小化するために、アクションフリーの異種具現化実演を用いてステージ 1でトレーニングされる。ソースフレームには頑健性を高めるために時間的摂動が適用される。

3. アクション共同トレーニング（ステージ 2）

ドリーマー予測器を固定した後、世界モデルのダイナミクス予測器（ $F_{wm}$ ）を微調整する。目的は、世界モデルの潜在ロールアウトをドリーマー予測器が提供するゴール分布と整合させ、計画損失（ $L_{plan}$ ）を最適化することである。

適応的ゴール更新による推論

実行中、システムは固定周波数でソース参照フレームを進めない。代わりに、新たに観測されたターゲット状態と現在のゴールとの間の潜在不一致（ $D_k$ ）を計算する。システムは、 $D_k < \epsilon$ （ゴールが達成された）の場合にのみ、次のソース参照ペアに進む。この適応メカニズムは、運動学的不一致によって引き起こされる累積誤差を防ぐ。

主な貢献

新規定式化: 本論文は、異種具現化模倣を潜在ゴール条件付き計画として再定義することを提案し、明示的なアクション整合のボトルネックを効果的に回避する。
Demo-JEPA フレームワーク: 具現化認識型ドリーマー予測器を備えた純粋に視覚駆動のフレームワークの導入。このコンポーネントは、アクションレベルの対応や共有アクション空間を必要とせず、ソース実演からターゲット互換の未来潜在状態を推論することで、形態的ギャップを埋める。
実証的検証: シミュレーション（RLBench）および実世界のロボット操作タスクにおける広範な評価により、Demo-JEPA が先行するベースラインと比較して、未見のタスクおよび根本的に異なる具現化構成に対する優れた汎化性能を達成することが示された。

実験結果

このフレームワークは、分布シフトが増大する 3 つのスイートで評価された。行動グラウンディング（既知のタスク）、異種具現化ブリッジング（未知のアクション）、およびゼロショット汎化（未知の構成）である。

シミュレーション（RLBench）: Demo-JEPA は行動グラウンディングにおいて専門的なドメイン内プランナと同等の性能を示したが、分布シフトが増大するにつれてベースライン（VPP、XSkill）を大幅に上回った。ゼロショット汎化において、Demo-JEPA は0.36の平均成功率を達成したのに対し、VPP と XSkill はそれぞれわずか0.04および0.03であった。
実世界: 物理実験（UR5e ソース $\to$ Franka ターゲット）において、Demo-JEPA は異種具現化ブリッジングで0.55、ゼロショット汎化で0.25の平均成功率を達成し、ゼロショットシナリオで大幅に失敗した VPP や XSkill を上回った。
アブレーション研究:
- 3D 畳み込み融合モジュールを除去すると、「チャンネル変更」などの複雑で可動なタスクの性能が低下し、明示的な時空間モデル化の重要性が浮き彫りになった。
- 「Naive（直接潜在転送）」および「Oracle（真のターゲット未来）」ベースラインとの比較により、ドリーマー予測器が特権情報なしに Oracle 性能に迫りながら、異種実演をターゲット互換のゴールに成功裏に変換することが確認された。
スケーリング: 本研究では、タスクごとの軌跡の量よりも、タスク多様性（多様なタスク意味への曝露）が転移可能な潜在マッピングのより重要な駆動因子であることが判明した。

意義と主張

本論文は、Demo-JEPA が表面レベルの統計を記憶するのではなく、実演の背後にある予測的ダイナミクスを捉えることで、抽象的なタスクの進行を具現化互換のゴール空間へ成功裏に変換すると主張している。

頑健性: この手法は、分布シフトが深刻な場合、実演を固定されたアクション系列やスキルプロトタイプとして使用するよりも、潜在ゴールを推論する方が効果的であることを示している。
柔軟性: アクションレベルの対応を回避することで、このフレームワークは、視覚実演とターゲットエージェント自身の相互作用経験のみを使用して、異種具現化間での柔軟な模倣を可能にする。
限界: 著者らは控えめに、現在の性能は既存のアクション条件付き世界モデルのモデル化ボトルネックによって制約されており、非常に複雑で高精度なタスクにおける有効性が制限されていることを認めている。さらに、現在のパイプラインはトレーニング中に時間的または進行認識型の整合を必要としており、将来的な研究は完全に整合しない学習戦略の開発を目指している。