🤖 AI

Traj-LeWM: Path-Aware World-Model Planning via Latent Trajectory Cost

Traj-LeWMは、軽量な視覚世界モデルであるLeWMに対し、学習とプランニングの両段階において、終端距離をパスに即した情報で補完するゴール条件付き潜在軌跡コストを導入することで、複数のロボット操作ベンチマークにおいて大幅な性能向上を実現している。

原著者： Xiaodi Huang, Ziyi Ding, Jingtian Wan, Yuchen Liu, Yuan Zhang, Xiao-Ping Zhang, Jiayu Chen, Zhang Zhang, Tao Huang

公開日 2026-08-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiaodi Huang, Ziyi Ding, Jingtian Wan, Yuchen Liu, Yuan Zhang, Xiao-Ping Zhang, Jiayu Chen, Zhang Zhang, Tao Huang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに迷路を通り抜けさせたり、ブロックを特定の場所に押し込んだりする方法を教えていると想像してみてください。人工知能の世界では、これはしばしば「世界モデル（world model）」と呼ばれるものを使って行われます。世界モデルとは、ロボットの内なる「空想家」のようなものです。今見えているものにただ反応するのではなく、ロボットはこの空想家を使って未来をシミュレーションします。「もし左腕を動かしたら、1秒後の世界はどう見えるだろうか？ 2秒後はどうだろうか？」といった具合に。

長い間、科学者たちはこの空想をより正確にする方法を模索してきました。LeWM（Lightweight World Model）と呼ばれる最近のアプローチは、大きな進歩をもたらしました。これは、複雑な3Dマップを必要とせず、カメラのピクセルから直接未来を予測することを学習しました。しかし、LeWMでさえも「盲点」を持っていました。それは、目的地だけを気にするGPSのようなものでした。利用可能なルートのリストを見て、最終的に目的地に最も近くなりそうなルートを選びますが、その道中の状況がどうなっているかは、本当にチェックしていませんでした。道中に落とし穴があったり、行き止まりがあったり、渋滞が発生していたりすることには気づかないのです。もし2つのルートが同じ場所に到達する場合でも、どちらのルートがより安全でスムーズであるかを、ロボットは判別できませんでした。この論文、Traj-LeWMは、ロボットに「ゴール」だけでなく「プロセス全体」を意識させることで、この盲点を修正しようとする試みです。

問題点：「ゴールライン」の罠

この論文の著者たちは、LeWMのようなロボットが行う意思決定における、奇妙な問題に気づきました。あなたがビデオゲームをプレイしていて、キャラクターを宝箱まで導かなければならない場面を想像してください。あなたには2つの道があります。

ルートA： 宝箱へ直接続く、真っ直ぐでクリアな道。
ルートB： 罠が仕掛けられた森の中を通る、曲がりくねった危険な道。ただし、この道も最終的には宝箱のすぐ横に到達します。

従来のAI（LeWMなど）は、両方のルートの終点を見て、どちらも宝箱に等しく近いと判断し、どちらか一方をランダムに選びます。ルートBが途中でキャラクターを木に衝突させてしまうかもしれないということに、気づかないのです。論文によれば、これはロボットが「終点距離（endpoint distance）」ばかりをチェックしているために起こります。つまり、「中間経路（intermediate path）」、すなわちアクションの最中に起きている、ややこしく厄介な出来事を無視しているのです。

研究者たちは、T字型の物体を押し進めたり、障害物のある部屋を通り抜けたりするような複雑なタスクにおいて、2つの異なるアクションシーケンスが全く同じ場所に到達するものの、一方は成功し、もう一方は無残に失敗するという現象があることを発見しました。従来のロボットは、ゴールに集中しすぎていたため、その違いを判別できなかったのです。

解決策：「全行程」のスコアカード

これを解決するために、チームはTraj-LeWMを導入しました。ロボットの未来を予測する能力は維持したまま、**潜在軌跡コスト（Latent Trajectory Cost: LTC）**と呼ばれる新しい「スコアカード」を追加しました。

LTCを、単にアスリートのゴール地点を見るだけでなく、レース全体を見守る厳しいコーチだと考えてみてください。

従来の方法： コーチは言います。「よくやった！ゴールラインから1メートルの位置で終了したぞ。」
新しい方法（Traj-LeWM）： コーチは言います。「ゴールラインから1メートルの位置で終了したが、君は3回つまずき、壁にぶつかり、変な回り道をした。これはダメな走りだ。同じ場所で終了したけれど、スムーズに走った別のランナーの方を試してみよう。」

新しいシステムは、あらゆる可能な経路に対して「コスト」を学習します。もし経路が壁にぶつかりそうだったり、変な方向へ向かったりする場合、コストは上がります。もし経路がスムーズで論理的であれば、コストは低く保たれます。ロボットは、この「スムーズさのスコア」を従来の「目的地までの距離」のスコアと組み合わせ、最適なアクションを選択します。

ロボットへの教え方

ロボットに「道のりの途中を気にかけること」を教えるのは難しい作業です。単に「壁にぶつかるな」と言っても、ロボットはまだ何が壁であるかを知らないからです。そこで、研究者たちは**選好学習（preference learning）**という巧妙なトリックを用いました。

彼らはロボットに、ペアになった「物語」を見せました。

良い物語： ロボットがブロックを目標へと見事に押し進める完璧な経路。
悪い物語： 見た目は似ているが、ミス（壁への衝突など）を含んでいたり、あるいは全く違うゴールに向かっていたりする経路。

ロボットには、どちらの物語がより優れているかを推測させました。何千もの「これはあれよりも良い」というレッスンを通じて、ロボットは良い経路には低いコストを、悪い経路には高いコストを割り当てることを学習しました。さらに、シミュレーション環境で計画を立てさせ、もしクラッシュした場合は、そのクラッシュを「悪い物語」として保存し、学習に利用しました。これは、ビデオゲームのプレイヤーが「崖から飛び降りたら死ぬ」ことを学んでいく過程に似ていますが、今回の場合は、ロボットが自分自身のシミュレーション上のミスから学んでいるのです。

得られた結果

チームは、4つの異なるシミュレーション環境でこの新しいロボットをテストしました。

Push-T： T字型の物体をターゲットへ押し進める。
OGBench-Cube： キューブを特定の場所に移動させる。
Reacher： ロボットアームがターゲットに到達する。
Two-Room： 2つの部屋がある迷路を通り抜ける。

これらのシミュレーションにおいて、新しいTraj-LeWMロボットは、従来のLeWMよりも大幅に優れた性能を示しました。

Cubeタスクでは、成功率が14パーセントポイント向上しました（74%から88%へ）。
Reacherでは、7パーセントポイント向上しました（86%から93%へ）。
Two-Roomでは、7パーセントポイント向上しました（87%から94%へ）。
Push-Tでは、3パーセントポイント向上しました（96%から99%へ）。

また、実世界の物理的なロボット（Franka FR3アーム）を用いたテストも行いました。20個の実世界のタスクにおいて、従来のロボットは10回成功（50%）しましたが、新しいTraj-LeWMは14回成功（70%）しました。これは小規模なテストではありますが、この手法がコンピュータのシミュレーションの外でも機能することを示唆しています。

なぜこれが重要なのか

この論文は、ロボットが真に賢くなるためには、単に目的地を見るだけでなく、そこに至るまでのプロセスを尊重しなければならないことを示しています。ロボットに、単に最終地点だけでなく、計画する「経路全体」を評価させることで、罠を回避し、複雑な環境をナビゲートする能力が格段に向上します。

研究者たちは、この改善が以下の2つの要素によるものであることを確認しました。

学習の質の向上： ロボットは、終点だけでなく経路全体を重視するように訓練されたことで、より優れた世界の内部マップを学習しました。
プランニングの向上： たとえロボットの未来予測が多少間違っていたとしても、「全行程」のスコアがより安全な選択肢を選ぶ助けとなりました。

要約すると、Traj-LeWMは、ロボットのプランニングの世界においては、「どこに到達するか」だけでなく、「どのように到達するか」が重要であることを証明しています。ロボットに、凸凹としたリスクの高い経路よりも、スムーズで安全な経路を好む能力を与えることで、著者たちは、ロボレットが複雑で予測不可能な現実世界を扱えるようにするための重要な一歩を踏み出したのです。

1. 問題提起

本論文は、目標指向のプランニングを行うためにピクセルから潜在ダイナミクスを学習する、結合埋め込み予測アーキテクチャ（JEPA）であるLeWM（Lightweight Visual World Model）における2つの具体的な限界に対処している。LeWMは単純なタスクでは高い性能を発揮するが、より複雑な環境（例：Push-Tでの96%からOGBench-Cubeでの74%へ）では成功率が大幅に低下する。著者らは、この劣化の根本的な原因として以下の2点を特定している：

軌跡レベルの監督情報の欠如： LeWMの学習目的関数は、次ステップの予測（局所的な遷移）と、表現の崩壊を防ぐための正則化項（SIGReg）に依存している。どちらのコンポーネントも、共有エンコーダに対して、タスクの目標に対する「完全な軌跡」に関する情報を保持することを明示的に要求していない。その結果、潜在空間は、候補となる完全な軌跡の質を直接評価するように訓練されていない。
終点のみのスコアリングによる感度の低さ： プランニング中、LeWMは予測された潜在的な終点と目標表現との間のユークリッド距離のみに基づいて、候補となるアクションシーケンスをランク付けする。このアプローチは、中間経路の情報を無視している。中間的な進化が異なる（一方は成功し、他方は失敗する）としても、終点が同一であれば、両方の軌跡は同じスコアを受け取ることになり、モデルの予測が実際の実行結果から乖離した場合に、最適な候補の選択を妨げる。

2. 手法：Traj-LeWM

著者らは、LeWM本来の局所ダイナミクス目的関数と終点スコアリングを維持しつつ、目標条件付き潜在軌跡コスト（LTC: Goal-Conditioned Latent Trajectory Cost）を導入したTraj-LeWMというフレームワークを提案している。この手法は3つの段階で動作する：

A. 目標条件付き潜在軌跡コスト (LTC)
核心となる革新は、完全な潜在軌跡 $\tau$ を与えられた目標 $g$ に対して評価する、学習可能なスカラーコスト関数 $S_\psi(\tau | g)$ である。エンドポイント距離とは異なり、LTCは経路全体の情報を集約する。これは以下のように定義される：
$S_\psi(\tau | g) = \frac{1}{T} \sum_{t=0}^{T-1} \ell_\psi(z_t, \Delta z_t, d^g_t, \eta_t)$
ここで：

$z_t$ : 現在の潜在状態。
$\Delta z_t$ : 局所的な進化（隣接する状態間の差）。
$d^g_t = z_g - z_t$ : 目標相対量（条件付け）。
$\eta_t$ : 正規化された時間位相。
$\ell_\psi$ : 学習可能な非負のステップごとの寄与関数。

この構造により、コストは単に「どこで終わるか」だけでなく、「どのように到達したか」に基づいて変化することが可能になる。

B. 軌跡嗜好度による監督
LTCを訓練し、共有エンコーダを形成するために、著者らはペアワイズ・ロジスティック損失を用いた嗜好ベースの学習メカニズムを導入している。システムは、「好ましい」（エキスパートに一致する）軌跡には低いコストを、「負の」軌跡には高いコストを割り当てるように学習する。負の例には2つのタイプが使用される：

合成的な嗜好（Synthetic Preferences）：
- 目標の不一致（Goal Mismatch）: エキスパートの軌跡に対し、関連のないシフトした目標を組み合わせたもの。
- 終点を維持した摂動（Endpoint-Preserving Perturbation）: 開始点と終了点は固定したまま、中間状態にノイズを加えたエキスパートの軌跡。これにより、モデルは終点が同一であっても、異なる中間経路を区別することを強制される。
クローズドループの失敗による嗜好（Closed-Loop Failure Preferences）：
- 現在のモデルが（LTCなしの）終点スコアリングのみを用いてプランニングを行い、環境内で実行する。
- 失敗した実行をマイニングし、同じ開始点と目標を持つエキスパートの軌跡とペアにする。
- これらの実世界での失敗は、エンドポイントのみの指標では特定できなかった負の例を提供し、モデル特有の失敗モードに対してLTCを較正する。

C. 共同訓練とプランニング

訓練： 全体の損失は、元のLeWM予測損失（ $L_{LeWM}$ ）、合成的な嗜好損失（ $L_{path}$ ）、およびマイニングされた失敗損失（ $L_{mined}$ ）を組み合わせたものである。合成ブランチはLTCと共有エンコーダの両方を更新するが、マイニングされたブランチは、予測器のダイナミクス学習を混乱させないよう、勾配をデタッチ（detach）してLTCのみを更新する。
プランニング： 候補は**結合スコア（Joint Score）**を用いてランク付けされる：
$C_\lambda(\hat{\tau}, g) = C_0(\hat{\tau}, g) + \lambda \tilde{S}_\psi(\hat{\tau} | g)$
ここで、 $C_0$ は元の終点距離であり、 $\tilde{S}_\psi$ は較正されたLTCスコアである。これにより、エンドポイントの予測が曖昧または不正確な場合に、プランナーは中間経路の情報を利用できるようになる。

3. 主な貢献

潜在軌跡コスト (LTC): 完全な予測軌跡を評価し、目標相対的な潜在進化を集約することで、経路に敏感なプランニング信号を提供する、学習可能な目標条件付きコストの導入。
軌跡嗜好学習: 合成的な負例（目標の不一致および中間摂動）と、マイニングされたクローズドループの失敗を用いて、元の予測器の目的関数を変更することなく、LTCを訓練し共有表現を形成するメカニズムの開発。
包括的な評価: 4つのシミュレーションタスク（Push-T, OGBench-Cube, Reacher, Two-Room）および物理的なFranka FR3ロボットを用いた広範なテストにより、ベースラインに対する改善を実証。

4. 実験結果

シミュレーション結果：
Traj-LeWMは、以下の通り、4つのタスクすべてにおいてLeWMを上回る性能を示した：

Push-T: +3% (96% $\to$ 99%)
OGBench-Cube: +14% (74% $\to$ 88%)
Reacher: +7% (86% $\to$ 93%)
Two-Room: +7% (87% $\to$ 94%)

実機ロボット評価：
20個の開始・目標タスクを用いた物理的なFranka FR3において、Traj-LeWMはLeWMの50% (10/20) に対し、70% の成功率 (14/20) を達成した。衝突による失敗は20%から10%に減少した。

制御実験およびアブレーション研究：

表現形成（Gap 1）: テスト時にLTCを除去した場合でも、Traj-LeWMの共有エンコーダ（軌跡の嗜好性で訓練されたもの）は、LeWMと比較して、成功と失敗を区別するためのエンドポイントスコアにおいて高いAUCを生成した。
経路への感度（Gap 2）: エンドポイントの予測が不正確な場合、LTCを追加することで候補の正しい順序付けが改善された。「エンドポイント制御」テスト（開始と終了の状態が同一の場合）において、LTCはReacherにおいて94%以上のケースで成功する軌跡と失敗する軌跡を正常に区別しており、中間経路の情報を利用していることが証明された。
相補性： アブレーション研究は、軌跡の監督（訓練）と明示的なLTCランキング（プランニング）が相補的であることを示している。結合スコアが最良の結果をもたらしており、これらは互換的なものではない。

5. 意義と主張

本論文は、Traj-LeWMが、軌跡レベルの情報を表現学習と候補ランキングの両方に統合することで、局所ダイナミクスのみのワールドモデルの限界を克服したと主張している。

控えめな主張： 著者らは、ペアリングされたタスクが20個と限定されているため、実機ロボットの結果は「決定的な性能優位性ではなく、実機での実現可能性を示す予備的な証拠」であると明記している。
核心的な洞察： 本研究は、複雑な環境において信頼性の高いプランニングを行うためには、エンドポイント距離だけでは不十分であることを示している。完全な潜在ロールアウトに対するコストを学習することで、モデルはエンドポイントの予測が不確実な場合に、候補をより効果的にランク付けするために中間経路のエビデンスを活用できる。
効率性： 本手法はモデルに100万パラメータ未満しか追加しておらず、挑戦的な操作やナビゲーションのタスクにおいて性能を大幅に向上させつつ、元のLeWMと同等の軽量なアーキテクチャを維持している。