💬 NLP

Temporal-Distance JEPA: Plan-Aware Representation Learning for Latent World Model Predictive Control

本論文は、報酬のないオフラインの軌跡から方向性のある時間的コストを採掘することで、表現学習とプランニングの間のギャップを埋める世界モデルのアプローチであるTemporal-Distance JEPA (TD-JEPA) を提案し、ピクセル再構成や明示的な報酬に依存することなく、より効果的な目標進捗のランキングを可能にすることにより、複数の環境において既存のJEPAベースのプランナーを凌駕するものである。

原著者： Jiaxin Bai, Jiaxuan Xiong

公開日 2026-07-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiaxin Bai, Jiaxuan Xiong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに新しい世界をナビゲートする方法を教えていると想像してください。しかし、あなたは地図もルールのリストも与えることができません。手元にあるのは、人間が完璧にタスクをこなしているビデオだけです。これが、ロボットにおける「オフライン学習」の課題です。つまり、古い映像を見るだけで、AIがいかにして将来の動きを計画するかを教えるという課題です。科学者たちは、これを解決するために「ワールドモデル（世界モデル）」と呼ばれるものを使用します。ワールドモデルとは、ロボットの脳内にある「夢見る機械」のようなものです。ビデオのすべてのピクセルを再描画しようとする（それは記憶から傑作を描こうとするようなものです）代わりに、ロボットは次に何が起こるかという「本質」を予測することを学びます。ロボットは世界を簡略化された抽象的な「潜在空間（ラテント・スペース）」へと圧縮します。これは、似たような状況が近くに配置されるメンタルマップです。

大きな疑問は、ロボットがこのメンタルマップを手に入れた後、どのように進むべき道を決めるのかということです。通常、ロボットはメンタルマップ上での現在地と目的地との直線距離を測るだけです。しかし、ここに落とし穴があります。現実の世界では、地図上の最短距離が必ずしも最速のルートであるとは限りません。地図上で壁を通り抜ける直線を描くことはできても、ロボットは壁を通り抜けることはできません。ロボットには「時間」と「シーケンス（順序）」を理解させる必要があります。もしロボットが単に距離だけを見ていると、自分がゴールに近づいているのか、それともただ円を描いて回っているだけなのかについて混乱してしまうかもしれません。この論文は、まさにその問題、つまり、追加の報酬や人間の教師なしで、ロボットがいかにして「夢の中の時間」の「流れ」を理解し、より優れた計画を立てられるようにするかという問題に取り組んでいます。

「直線的思考」の問題点

研究者たちは、LeWM（Latent World Model）と呼ばれる強力な既存システムからスタートしました。このシステムは、その抽象的なメンタルマップの中で次に何が起こるかを予測することに長けています。しかし、目的地に向かって経路を計画しようとする際、このシステムは単純なルールに依存しています。「未来のイメージがゴール（目標）のイメージに近いほど、それが良い状態である」というルールです。これは、2点間の直線距離だけを見て都市をナビゲートしようとするようなものです。開けた野原ではうまく機能しますが、建物の周りを回ったり、はしごを登ったりする必要がある場合、その直線距離は嘘をつきます。

著者らは、ロボットのメンタルマップは次のステップを予測することには優れているものの、将来の可能性を「実際にどれだけの進捗があったか」という観点でランク付けすることには不得意であることに気づきました。人間がブロックを押しているビデオにおいて、ロボットは次のフレームを予測することはできますが、フレーム10がフレーム5よりも「ゴールに近い」理由が、単に発生した順番によるものであるということを、本質的には理解していませんでした。それは「方向性を持った時間」の感覚が欠けていたのです。

解決策：過去から時間を掘り出す

これを修正するために、チームはTD-JEPA（Temporal-Distance Joint-Embedding Predictive Architecture）と呼ばれる新しいシステムを作成しました。単にロボットに距離を推測させるのではなく、デモンストレーションビデオから「時間」の概念を直接「マイニング（採掘）」するように教えたのです。

その方法を、簡単な比喩を使って説明します。あなたが料理番組を見ていると想像してください。卵を割ることは、混ぜることの「前」に起こり、混ぜることは、焼くことの「前」に起こることを知るために、タイマーは必要ありません。出来事の順序こそが「進捗」なのです。TD-JEPAは、ロボットのトレーニングビデオを見てこう判断します。「もし人間がステップAを行い、次にステップBを行い、次にステップCを行ったのなら、ステップCはステップAよりも確実にゴールへの道のりの進んだ状態である」。

このシステムは、特別な「方向性を持つコスト（directed cost）」を学習します。通常の距離（例えば、自宅と公園の間の距離はどちらの方向から測っても同じであること）とは異なり、この新しいコストは方向性を理解しています。それは、「スタート」から「ゴール」へ行くには労力が必要ですが、「ゴール」から「スタート」へ戻ることは別の種類の旅であることを知っています。ビデオからこの方向性のある流れを学習することで、ロボットは、距離が単に画像の類似度を示すのではなく、ゴールに到達するために必要なステップ数を反映するメンタルマップを構築します。

新しいスキルを活用する2つの異なる方法

最も興味深い発見の一つは、この新しい「時間認識」のスキルが、ロボットが何をしようとしているかに応じて異なる働きを見せることです。著者らは、この新しい知識を最大限に活用する方法は、タスクによって異なることを発見しました。

ナビゲーションと到達（トポロジカルなタスク）： ロボットが迷路を通り抜けたり、空中の物体に手を伸ばしたりするように、空間内を移動する必要がある場合、この新しい「方向性を持つコスト」は完璧なツールとなります。それは行き止まりを無視して、ゴールへと真っ直ぐに導くコンパスのように機能します。テストにおいて、この新しいコストを使用することで、ロボットは「Two-Room」ナビゲーションタスクを100%の成功率で解き、従来のシステム（成功率97.4%）を上回りました。
接触を伴う操作（幾何学的なタスク）： ロボットが、T字型のブロックを押し動かす「Push-T」タスクのように、物体を押したり、滑らせたり、積み重ねたりしなければならない場合、事態は複雑になります。ここでは、接触の正確な形状や角度が、一般的な方向よりも重要になります。このようなケースでは、新しい時間認識システムは、従来の「直線距離」による手法を置き換えるのではなく、それを「補完」する形で最も効果を発揮します。それは、直線距離がより正確になるよう、ロボットのメンタルマップを洗練させるのです。「OGB-Cube」タスクにおいて、この組み合わせは、旧システムと比較して成功率を14.2ポイント向上させました。

分かったこと（そして分からなかったこと）

研究者たちは、計画方法以外はすべて同じにした厳格なテストを実施しました。その結果、TD-JEPAはすべての環境において、従来の最高の手法（LeWMおよびRC-auxと呼ばれる手法）と同等、あるいはそれ以上の性能を維持していることが分かりました。

しかし、限界も見つかりました。複雑な「Push-T」タスクに対して、新しい時間ベースのコストのみを使用しようとしたところ、ロボットの成功率は（従来の幾何学的距離を用いた場合の86%に対し）69%にまで低下しました。なぜでしょうか？それは、ブロックを押す作業には、角度や接触点の微細なコントロールが必要だからです。「時間」の信号は、ロボットに「ゴールに近づいている」ことは教えてくれますが、「どのようにブロックに触れるべきか」という詳細な情報は与えません。ロボットが成功するためには、幾何学的な「形」の情報が必要だったのです。これは、時間を理解することが極めて重要である一方で、あらゆる状況において物理的な幾何学の理解に取って代わるものではないことを証明しています。

まとめ

この論文は、ロボットにデモンストレーションのログから出来事の順序をマイニングさせることで、追加の報酬や人間のフィードバックなしに、ビデオを見るだけで「時間の流れ」を理解させることができることを示しています。これにより、どの未来が本当に「ゴールに近い」のかを判断できるシステム、TD-JEJPAが誕生しました。TD-JEPAは、ロボットが学ぶことと、どのように計画するかという間の溝を埋めます。これは、あるタスクにおいては、ロボットが川の流れのように時間の流れに従うべきであり、また別のタスクにおいては、その流れを利用して物理的な形状の感覚を研ぎ澄ませるべきであることを示唆しています。その結果、部屋をナビゲートする場合でも、テーブルの上でブロックを動かす場合でも、現実世界でより良く計画を立てられる、より賢く適応力の高いロボットが実現するのです。

技術要約: Temporal-Distance JEPA (TD-JEPA)

問題提起

Joint-Embedding Predictive Architectures (JEPA) は、ピクセルを再構成するのではなく将来の表現を予測することを学習する、潜在的な世界モデル（latent world models）の強力なバックボーンとして台頭している。しかし、JEPA の学習目的と、モデル予測制御 (MPC) の要件との間には構造的な乖離が存在する。

訓練と計画のギャップ (The Train-Plan Gap): JEPA の学習は通常、短期間の潜在表現予測を最適化する。対照的に、プランニング（計画）には、目標への進捗に基づいた多段階の想像された未来をランク付けすることが求められる。
幾何学的制限 (The Geometry Limitation): 既存の JEPA プランナー（例：LeWM）は、デファクト・スタンダードとしてのプランニング・コストに潜在的なユークリッド距離を使用している。この幾何学は、ある文脈では進捗と相関する場合があるが、それは「目標までのステップ数」や「到達可能性」のために明示的に掘り起こされた信号ではなく、表現学習の副産物に過ぎない。
課題: 報酬のないオフラインのデモンストレーション・ログから、どのようにしてこの「訓練と計画のギャップ」を埋めるための時間的進捗構造を抽出できるのか？さらに、抽出された構造は、幾何学的プランニングのための表現を形成するために使用すべきなのか、それとも直接プランニング・コストとして展開すべきなのか？

手法: TD-JEPA

著者らは、LeWM のエンコーダ・プレディクタのバックボーンを維持しつつ、指向性のある時間的コスト抽出メカニズムを拡張した Temporal-Distance JEPA (TD-JEPA) を提案する。この手法は、以下の3つのコアコンポーネントで構成される。

1. バックボーンと予測

TD-JEPA は標準的な LeWM アーキテクチャを利用する。これは、観測を潜在状態に写像し、将来の埋め込みを予測する、アクション条件付きのエンコーダ ( $Enc_\theta$ ) とプレディクタ ( $Pred_\phi$ ) である。また、表現崩壊を防ぐための SIGReg 正則化と、標準的な 1 ステップ予測損失 ( $\mathcal{L}_{pred}$ ) を保持している。

2. 指向性時間的コストの抽出 (Directed Temporal Cost Mining)

TD-JE_PA は、ユークリッド距離のみに頼るのではなく、ソース潜在 $z_s$ からゴール潜在 $z_g$ に到達するためのコストを表す、指向性を持つ非負のエネルギ関数 $d_\psi(z_s, z_g)$ を学習する。

アーキテクチャ (MRN ヘッド): コストヘッドは、Metric-Residual Network (MRN) パラメトリゼーションを使用する。これは、コストを対称的な構成項と非対称な残差に分解する：
$d_\psi(z_s, z_g) = \|\phi_{sym}(z_s) - \phi_{sym}(z_g)\|_2 + \max_k \text{ReLU}(\phi_{asym, k}(z_s) - \phi_{asym, k}(z_g))$
この設計により、コストは非負であり、かつ本質的に非対称 ( $d_\psi(z_s, z_g) \neq d_\psi(z_g, z_s)$ ) となり、目標到達の指向性を反映する。
教師あり学習 (時間ラベル): モデルは、高密度な報酬がないオフラインのデモンストレーション・ログを用いて学習される。
- ポジティブ例: 同一軌道上のインデックス $i < j$ について、時間的ギャップ $\tau(i, j) = j - i$ が「サブゴールまでのステップ数」のプロキシ（代理指標）として機能する。モデルは $d_\psi(z_i, z_j)$ を $\tau(i, j)$ に回帰させる。
- ネガティブ例: 異なる軌道間のペアはヒューリスティックなネガティブ例として機能し、無関係な状態ペアに対して不当に低いコストを課さないよう、ヒンジ損失を通じて制御される。
ロールアウトの一貫性: プランナーで使用されるオープンループ・ホライゾンと学習されたコストを整合させ、 $H$ ステップのロールアウト中の累積誤差を低減するために、マルチステップの教師強制損失 ( $\mathcal{L}_{roll}$ ) が追加される。

3. プランニングと展開

テスト時、プランナー（Cross-Entropy Method または iCEM を使用）は、 $H$ ステップの潜在ロールアウト後の最終エネルギーを最小化するアクションシーケンスを探索する。

二重展開戦略 (Dual Deployment Strategy): 本論文では、タスクの構造に基づき、抽出された信号の2つの異なる役割を特定している：
1. トポロジー主導型タスク (例: ナビゲーション): 抽出された指向性コスト $d_\psi$ を、プランニング目的関数として直接展開する。
2. 接触が重要なタスク (例: マニピュレーション): 同じ時間的に訓練されたチェックポイントを使用するが、プランナーは潜在的なユークリッド距離 ( $\ell_2$ ) に依存する。ここでは、時間的教師あり学習が表現の信号として機能し、幾何学的プランニングの有効性を向上させる。

主な貢献

JEPA の訓練と計画のギャップの診断: 著者らは、予測的 JEPA がログからダイナミクスを学習する一方で、プランニングはしばしば未訓練の埋め込み幾何学に依存していることを示す。抽出されたコストを用いることで、このランキングの不一致が大幅に解消されることを実証した（Push-T において、ユークリッド距離の Spearman $\rho$ が 0.65 から 0.95 へ上昇）。
時間的距離抽出フレームワーク: TD-JEPA は、指向性のある時間的教師あり学習、クロス・トラジェクタリ・ネガティブ、およびホライゾンを一致させたロールアウト一貫性を用いて、報酬のないログから目標進捗構造を抽出する手法を導入した。
コストと展開の共同設計: 本論文は、プランニング・コスト（抽出された時間的コストか、幾何学的コストか）の選択が、タスク構造と共同設計される必要があるという証拠を提示している。時間的コストはトポロジカルなナビゲーションにおいて優れているが、接触が支配的なマニピュレーションにおいては、幾何学的コストの方が依然として優れている。

実験結果

本手法は、Two-Room (ナビゲーション)、Reacher (リーチング)、Push-T (マニピュレーション)、および OGB-Cube (接触が重要なマニピュレーション) の 4 つの環境で評価された。比較を公平に行うため、固定されたシード、チェックポイント、およびエピソード・マニフェストを用いた「ロック」プロトコル下で評価が行われた。

ナビゲーションとリーチング: 抽出されたコスト $d_\psi$ $d_{ψ}$ を展開することで、成功率が大幅に向上した。
- Two-Room: 100.0% の成功率を達成 (LeWM の 97.4% に対し)。
- Reacher: 97.0% の成功率を達成 (LeWM の 96.0% に対し)。
マニピュレーション: 接触が重要なタスクにおいて、時間的訓練は潜在表現を改善し、幾何学的プランニングに利益をもたらした。
- OGB-Cube: 時間的に訓練されたチェックポイントを $\ell_2$ プランニングで使用することで、LeWM より 14.2 パーセントポイント 成功率が向上した (82.2% vs. 68.0%)。
- Push-T: 83.6% (LeWM) から 86.0% へ向上。
アブレーション研究: 指向性残差（対称ヘッド）、クロス・トラジェクタリ・ネガティブ、またはロールアウト一貫性のいずれかを削除すると、いずれも性能低下を招き、各コンポーネントの必要性が確認された。
失敗分析: Push-T において、純粋な時間的コスト ( $d_\psi$ ) は幾何学的コスト ( $\ell_2$ ) よりも劣った。これは、失敗が主に接触後の位置合わせ中に発生しており、そこでは時間的進捗のランキングよりも局所的な幾何学がより重要であるためである。

意義と主張

本論文は、オフライン・ログから指向性のある時間的構造を発見し、コストの形式を展開時の設計と共同設計することで、JEPA の世界モデル・プランナーにおける訓練と計画のギャップを埋めることができると主張している。

控えめな主張: 著者らは、時間的コストが普遍的に幾何学的コストに取って代わるという主張はしていない。むしろ、条件付きの展開戦略を提唱している。すなわち、進捗がトポロジカルな場合は抽出された指向性コストを使用し、接触幾何学が支配的な場合はそれを幾何学的プランニングのための表現信号として使用すべきである。
実証的検証: ロックされた評価条件下で、TD-JEPA はすべての環境において LeWM および並行する RC-aux を上回るか、あるいは同等の性能を示しており、報酬なしの時間的抽出が、報酬モデルやオンライン相互作用を必要とせずに潜在的 MPC を改善するための実行可能な道であることを示している。

コードは提供されている GitHub リポジトリで公開されている。