🤖 AI

MoP-JEPA: Hard-Assigned Predictor Mixtures for Stochastic JEPA World Models

MoP-JEPAは、 $K$ 個のハード割り当てされたヘッドを持つコンテキストのみのルーターを採用することで、確率的なJEPA世界モデルにおける単一出力予測器の限界に対処しており、グラフ探索タスクにおける生の被覆率（raw coverage）と検証済みルートの成功率の両方において、標準的な回帰およびMDNアプローチを大幅に上回る性能を示している。

原著者： Zhi Song, Ximing Xing, Zhenchao Tang, hanbo Huang, Weilong Yan, Tianxu Lv, Minghao Yang, Zhongzheng Niu, Bing He, Lusheng Wang, Jianhua Yao

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhi Song, Ximing Xing, Zhenchao Tang, hanbo Huang, Weilong Yan, Tianxu Lv, Minghao Yang, Zhongzheng Niu, Bing He, Lusheng Wang, Jianhua Yao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに巨大で複雑な迷路をナビゲートする方法を教えようとしていると想像してください。そのロボットは、自分が一歩踏み出した後に何が起こるかを予測しようとする「水晶玉」（世界モデル）を持っています。

問題点：「平均」の罠
現在のほとんどのロボットは、非常に礼儀正しく、優柔不断な司書のように機能する水晶玉を使用しています。「もしここで左に行ったら、どこに辿り着くでしょうか？」と尋ねたとき、そこに2つの答え（例えば、テレポーターによってキッチンに送られるか、あるいは罠によって庭に送られるか）があったとしても、司書は2つの選択肢を提示することはありません。代わりに、司書はたった一つの答え、つまりキッチンと庭のちょうど中間地点を提示します。

現実の世界には、キッチンと庭の「中間」という場所は存在しません。ロボットがその中間地点に向かって歩こうとすると、どちらの現実にも存在しない壁に衝突してしまいます。論文では、これを「単一出力の制限（single-output restriction）」と呼んでいます。未来が混沌としていて複数の可能性（確率的）がある場合、たった一つの「平均的な」未来を予測しようとすることは、失敗へのレシピであると論じています。

解決策：「ハードアサイン型」のチーム
Zhi Song氏率いるTencentと香港城市大学のチームは、MoP-JEPAと呼ばれる新しいタイプの水晶玉を構築しました。これは、一人の司書の代わりに、K個の異なる専門家（ヘッド）からなるチームを雇うようなものです。

仕組みは以下の通りです：

ルーター（Router）： スマートなマネージャーが現在の状況を見て、どの専門家が活動しそうかを判断します。重要なのは、このマネージャーは現在のコンテキスト（文脈）しか見ておらず、将来何が実際に起きたかを知るために未来を覗き見ることはできないという点です。
エキスパート（Experts）： 各専門家は、特定の種類の未来を予測することに特化するように訓練されています。
候補セット（Candidate Set）： 新しい状況が発生したとき、システムはエキスパートたちの意見を一つの答えに混ぜ合わせるのではなく、活動しているエキスパートたちからの明確に区別された可能性のリストを出力します。

これにより、混ざり合った偽の平均ではなく、明確に区別された有効な可能性のリスト（候補セット）が作成されます。これは、旅行代理店に「パリと東京の中間地点」への地図を求めるのではなく、起こりうる目的地の一覧を求めるようなものです。

証拠：それは本当に機能するのか？
チームは、テレポテーションが発生したり、異なる経路へと繋ぎ合わされたりするトリッキーな迷路（OGBenchというデータセット）を用いてテストを行いました。

従来の方法： 標準的なロボットが、自身の「平均的な」予測を用いて経路を計画しようとしたとき、成功率はわずか 0.02から0.09（2%から9%）でした。ほとんどの場合、予測を外していました。
新しい方法： 明確に区別された可能性のリストを使用するMoP-JEPAロボットは、クエリの 0.85（85%）で成功しました。

しかし、著者たちは慎重でした。単に長い予測リストを持っていれば、運良く当たってしまうだけだということを彼らは知っていたからです。そのため、彼らは**「realroute」**という厳格なテストを追加しました。これは、ロボットの予測リストの中に、実際に歩行可能な「実在する遷移」で作られた経路が含まれているかどうかを確認するものです。

結果： MoP-JEPAはこの厳格なテストにおいて、3つの迷路すべてで合格しました。
比較： 「混合密度ネットワーク（MDN）」と呼ばれる別の手法は、多くのことを推測でき（高いカバレッジ）、しかしその推測の多くは、現実の迷路には存在しない偽のエッジ（境界）でした。MoP-JEPAの推測は、有用であり、かつ実在するものでした。

これが何を意味し、何を意味しないのか
この論文は、ロボットが不確実な世界をナビゲートするためには、「Aになるか、あるいはBになるか」と言えるシステムが必要であることを証明しています。

否定していること： 論文は、エキスパートを一つの出力へと混ぜ合わせてしまう「ゲート付き」の混合（M3-JEPAのようなもの）に対して明確に反対しています。内部に多くのエキスパートがいたとしても、もし彼らの答えを一つのベクトルに押しつぶしてしまえば、依然として「平均の罠」に陥ることになります。
示唆していること： 著者らは、この「ハードアサイン型」のアプローチが、現実世界の複雑でマルチパスな性質を扱うためのより優れた方法であることを示唆しています。
信頼性： 結果は特定の保持されたデータセット（OGBench）で測定されています。論文は、この新しい手法が、従来の「平均」予測器よりも圧倒的に優れていることを示しています。これは、あらゆるロボットのプランニングを解決したと主張しているのではなく、これらの特定の迷路のシナリオにおいて、明確で測定可能な勝利を示しているのです。

要約すると、もしあなたが、多くの可能性を持つ未来に向けて計画を立てるロボットを作りたいのであれば、平均を求めるのをやめなさい。スペシャリストのチームを与え、彼らに実在する選択肢のリストを作成させ、そのリストの中から最適な経路を選ばせるのです。

技術要約: MoP-JEPA

問題提起
JEPA（Joint Embedding Predictive Architecture）の世界モデルは、通常、単一の回帰器を用いて次の潜在状態を予測する。この手法は決定論的な環境では効果的であるが、単一のコンテキスト（状態と行動のペア）から複数の妥当な後続状態が生じ得る確率的な遷移においては失敗する。標準的な回帰目的関数（二乗誤差またはコサイン類似度）は、モデルに条件付き平均、あるいはその平均の正規化された方向を予測することを強いる。マルチモーダルな分布において、この「妥協」による出力は、しばしば存在しない状態（例：2つの異なる目的地の中間にある無効な地点）に対応してしまい、結果として、有効な未来の経路を列挙する必要があるプランニング・タスクにおいて予測器を役に立たないものにする。ゲート付きMixture-of-Experts（MoE）を重み付き和で融合させる手法や、単一ガウス変分分布といった既存の確率性の導入の試みも、依然としてコンテキストごとに単一の出力ベクトルへと収束してしまい、根本的な限界を保持している。

手法
本論文は、単一出力の予測器を、単一のフォワードパスで有限個の候補後続状態を生成できる構造に置き換えるMoP-JEPA（Mixture-of-Predictors JEPA）を提案している。

アーキテクチャ: モデルは標準的なJEPAのバックボーン（エンコーダ $f_\theta$ および EMA ターゲットエンコーダ $f_\xi$ ）を維持しつつ、単一出力の予測器 $g_\phi$ を $K$ 個の並列な予測器ヘッド $\{g_{\phi_k}\}_{k=1}^K$ に置き換える。
ルーター: コンテキストのみに基づくルーター $r_\psi$ は、コンテキスト $c = [z, a]$ （潜在状態と行動）を受け取り、 $K$ 個のヘッドに対する確率分布 $\pi$ を出力する。極めて重要な点は、ルーターがターゲットとなる未来の状態 $z^+$ を見ていないことであり、これにより、現在のコンテキストのみに基づいて妥当な後続状態を学習することを保証している。
ハード割り当て目的関数: 学習には、条件付きベクトル量子化に着想を得た「Winner-Take-All（WTA）」メカニックを利用する。各ターゲット $z^+_i$ $z_{i}^{+}$ に対して、最も近いヘッド $k^*_i$ $k_{i}^{*}$ を特定する。損失関数は以下の3つの項で構成される：
1. 予測損失（Prediction Loss）: 勝者となったヘッドの出力とターゲットとの距離。
2. ルーター損失（Router Loss）: 勝者のヘッドのインデックスを予測するようにルーターを訓練するためのクロスエントロピー。
3. 負荷分散（Load Balancing）: ルーターが単一のヘッドに崩壊するのを防ぎ、すべての $K$ 個のヘッドの利用を促すためのペナルティ。
推論: テスト時、モデルは関連するルーター確率 $\{\pi_k\}$ を伴う $K$ 個の候補潜在状態 $\{u_k\}$ を出力する。この有限集合は、デコーダや複数回のロールアウトを必要とすることなく、ダウンストリームのプランナー（例：BFS または MPC）のための遷移グラフとして機能する。

主な貢献

JEPAへの有限後続インターフェース: 本論文は、JEPAの単一出力の制限を有限の候補セットへと変換するメカニメントを導入し、マルチモーダルな遷移を明示的に表現することを可能にした。
崩壊の理論的特性付け: 著者らは、決定論的な予測器や融合されたMoEが、本質的に条件付き平均を最適化してしまうことを（命題1〜3を通じて）形式的に証明した。彼らは、ハード割り当てされたヘッドが、個別のモードをカバーできる一種の条件付きベクトル量子化であることを特定した。
検証済みルート評価プロトコル: 高いカバレッジは、無差別な予測（例：コンテキストに関わらずあらゆるエッジを予測すること）によっても達成可能であることを認識し、本論文では「realroute」指標を導入した。この指標は、提案された候補セットが、開始点からゴールまでの「実際の」遷移からなる有効な経路を含んでいるかどうかを評価し、コンテキスト依存の学習と、単なる広範なカバレッジを区別する。

結果
著者らは、OGBenchデータセット（テレポートやスティッチングを含むPointMazeおよびAntMazeのバリアントなど、マルチモーダルな遷移を誘発するもの）を用いてMoP-JEPAを評価した。

プランニング性能: ホールドアウトされたOGBenchの遷移において、単一出力の予測器を用いたグラフ探索の成功率はわずか0.02〜0.09であった。対照的に、MoP-JEPAは0.85の成功率を達成した。
モード回復: 潜在空間における可視化（図3および図4）は、高密度な予測器が分岐間の単一の無効な中間点に崩壊するのに対し、MoP-JEPAが各有効なブランチに対応する明確なピークを正常に回復していることを示している。
検証済みルートの成功: MoP-JEPAは、3つの迷路環境すべてにおいて「realroute」指標でリードしている。混合密度ネットワーク（MDN）は高い生の（raw）カバレッジを達成するが、多くの非存在するエッジを予測するため、検証済みルートのテストには失敗する。MoP-JEPAは、予測されたエッジが実際の遷移に対応することを保証しながら、高いカバレッジを維持している。
アブレーション: ルーターのゲーティングメカニズムは不可欠であることが示された。これがない場合、モデルはコンテキスト依存の妥当な遷移に対応しないヘッドを保持してしまう可能性がある。

意義と主張
本論文は、現在のJEPA世界モデルにおける主要な限界は、単一出力の制限にあり、それがプランニングが利用できないような「妥協」を強いていることであると主張している。ハード割り当てされたヘッドを導入することで、MoP-JEPAは、離散的な後続モードを平均化するのではなく、「列挙」することを可能にする。著者らは、自らの貢献は新しいエンコーダやアンチ・コラップス機構ではなく、プランニングレベルでの成功の証拠を可能にする、特定の予測器レベルのメカニズムであると強調している。本研究は、単一出力の予測がいかに確率的な状況下でのプランニングを劣化させるかについての経験的な説明を提供するとともに、有用なコンテキスト依存の後続状態と、単なる無差別なカバレッジを区別するためのプロトコルを提示している。

技術要約: MoP-JEPA

関連論文