🤖 AI

Latent Goal Prediction from Language for Model-Based Planning

本論文は、言語指示を統一された潜在空間内で中間的な潜在サブゴールと行動条件付きロールアウトへと動的に分解することで、視覚的ターゲットおよびノイズの多いクロスモーダル・アライメントの限界を克服し、堅牢な長期的モデルベース計画を可能にするフレームワークであるLAGOを導入するものである。

原著者： Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Samuel Barbeau, Simon Roy, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに複雑な迷路をナビゲートさせたり、部屋の中の物体を動かしたりすることを教えようとしています。しかし、あなたは「赤い点に向かって行って」や「立方体を引き出しに入れて」といった、普通の英語による指示しか与えることができません。

この論文は、LAGO（Latent Goal Prediction from Language：言語からの潜在目標予測）と呼ばれる新しいシステムを紹介しています。これは、ロボットがこれまでよりもずっと上手く、長く複雑な行程を計画するのを助けるものです。その仕組みを、シンプルな概念に分解して説明します。

問題点：「翻訳の齟齬」と「長い道のり」の問題

現在、先を見通して計画を立てようとするロボットは、主に2つの悩みに直面しています。

「遠すぎる」問題： もしロボットに非常に遠い場所へ行くよう頼むと、ロボットはその旅路全体を一足飛びに想像しようとします。しかし、今から1ヶ月後の天気を予測しようとするのと同様に、想像の中での小さなミスが積み重なり、出発する前に計画が崩れてしまいます。
「言葉 vs 画像」の問題：
- ロボットに目標の画像を与えると、どこへ行くべきかは正確に分かりますが、融通が利きません。新しい状況に簡単に対応することができません。
- ロボットに言葉を与えると、柔軟性はありますが、「村人のところへ行け」という言葉をロボットの脳にとって精密な座標へと翻訳するのは困難です。既存の手法では、混乱が生じたり、言葉を理解するために巨大で低速なコンピュータを必要としたりすることがよくあります。

解決策：LAGOの「立ち止まって確認する」戦略

LAGOは、地図を持ったハイカーと、一連のチェックポイントのように振る舞うことで、この問題を解決します。

旅路全体を一度に想像しようとするのではなく、LAGOは旅を小さく管理可能なステップに分解します。

「潜在的（Latent）」な地図： ロボットは、生のピクセル（カメラが見ているもの）や生の言葉で考えるのではありません。ロボットは、世界を表す「秘密のコード」（潜在空間）の中で思考します。
翻訳機： LAGOは、あなたの英語の文章（例：「村人のところへ行って」）を受け取り、それを即座に、その秘密のコード内における一連の目に見えないチェックポイントへと翻訳するように訓練されています。
プロセス：
1. あなたが「村人のところへ行って」と言います。
2. LAGOは単に「了解」と言うだけではありません。経路を予測します。「まず、ここにいることを想像する（チェックポイント1）、次にここ（チェックポイント2）、次にここ（チェックポイント3）……」というように、村人に至るまでを予測します。
3. ロボットは、最初のチェックポイントに到達するための次の動きを計画します。
4. その場所に到着すると、現在地を更新し、現在の位置に基づいた次の一連のチェックポイントを予測します。

比喩：「滑らかな谷」 vs 「険しい山」

この論文は、なぜこれがより効果的なのかを説明するために、素晴らしい視覚的な比喩を用いています。

従来の手法： ボールを転がして山の頂上へ行こうとする際、一度に全経路を推測しようとしている状態を想像してください。地形はデコボコで穴だらけです（エラー）。経路が長すぎたり複雑すぎたりするため、ボールは途中で止まったり、間違った方向に転がったりしてしまいます。
LAGO： 同じ山ですが、LAGOは頂上へと続く明確な踏み石（サブゴール）を備えた、滑らかで曲がりくねった谷を掘っています。ロボットはただ、一つの石から次の石へと飛び移るだけでよいのです。たとえ石を少し外したとしても、谷が軌道修正へと導いてくれます。ロボットは一度に山全体を見る必要はなく、次の石だけを見ればよいのです。

なぜこれが大きなニュースなのか

高速である： 言語を理解するために巨大で低速なAIモデルを使用する他のシステムとは異なり、LAGOは軽量で高速であり、リアルタイムの計画に適しています。
堅牢である： テストにおいて、目標までの距離が非常に長くなった場合、他の手法は完全に失敗（成功率0%）しましたが、LAGOは旅が困難であっても成功を維持しました。
溝を埋める： LAGOは、人間が使う言葉を理解する柔軟性と、視覚的なターゲットの精密さの両方の良いとこ取りをしています。

できること（およびできないこと）

できること： 言語による指示と世界の現在のビューを受け取り、目標に到達するための、ロボットの「思考」内での滑らかでステップバイステップの計画を生成します。これは、2Dマップのナビゲーション、ゲームのような世界でのナイト（駒）の移動、あるいはロボットアームによる立方体の押し出しなどのシミュレーション環境で機能します。
できないこと： この論文は、これがまだ現実世界の物理的なロボットで動作することを主張しているわけではなく、また、これらの特定のシミュレーションタスク以外の問題を解決することも主張していません。これは物理的なロボットそのものではなく、計画のためのフレームワークです。

要約すると、LAGOは、ロボットに対して「未来のすべてを一度に見よう」とするのではなく、代わりにあなたの言葉から予測された、一連の小さく明確なマイルストーンに集中することを教えます。これにより、長い旅が失敗する可能性を大幅に減らすことができるのです。

技術要約：言語からの潜在目標予測によるモデルベース・プランニング

問題定義

世界モデル（WM）を利用したモデルベース強化学習（RL）は、コンパクトな潜在空間内で将来の軌跡をシミュレートすることにより、サンプル効率の高い制御を実現する有望なパラダイムを提供します。しかし、これらのシステムは以下の2つの根本的なボトルネックに直面しています。

目標の仕様策定（Goal Specification）: 最適化可能な目標を定義することは困難です。画像による視覚的ターゲットは精密な局所勾配を提供しますが、遠方の目標に対するガイダンスとしては不十分であり、複雑なタスクにおいて取得することも実用的ではありません。言語は柔軟性を提供しますが、対照学習モデルにおけるクロスモーダルな整列のノイズや、モデルベース・プランニングに必要な高頻度のサンプリングには適さない大規模生成モデルの計算効率性の問題に悩まされます。
長期間のプランニング（Long-Horizon Planning）: 長いホライゾンにわたるプランニングは、予測誤差の累積によって阻害されます。潜在ダイナミクスにおける小さな不正確さがロールアウト中に蓄積し、想像された軌跡の信頼性を低下させます。既存の手法は、時間的抽象化（フレームスキップ）を導入するか、評価を短いホライゾンに限定することでこれに対処していますが、これは複雑で時間的に拡張されたタスクへの適用を制限します。

現在のアプローチは、画像ベースの目的関数が持つ精度と、言語ベースの仕様策定が持つ柔軟性を組み合わせつつ、長期間のホライゾンにおける予測誤差に対する堅牢性を維持することに苦慮しています。

手法：LAGO

著者らは、言語指示およびアクション条件付きのロールアウトから、同一の潜在空間内における中間目標状態のシーケンスを予測するように設計されたフレームワークであるLAGO (Latent Goal Prediction from Language) を提案します。

アーキテクチャ

LAGOは、共有の潜在空間で動作する**結合埋め込み予測アーキテクチャ（JEPA）**に基づいています。これは、単一の予測器 $\pi(\cdot)$ を通じて2つの動作モードをサポートします。

次ステップ遷移予測: 低レベルのアクションに条件付けられ、直後の潜在状態を予測します。
サブゴール予測: 言語指示と完了スカラー $\rho$ （タスクの進行度を推定するもの）に条件付けられ、中間的な潜在サブゴールを予測します。

主要コンポーネント:

ビジョンエンコーダ: 凍結されたDINOv2 ViTを使用して、RGB観測をパッチトークンにエンコードします。
マルチモーダル条件付け: 言語指示は埋め込まれ、共有の条件空間に投影されます。完了スカラー $\rho \in [0, 1]$ も同様に投影されます。モード固有の埋め込みが、アクション条件付けとサブゴール条件付けを区別します。
統一学習: モデルは、平均二乗誤差（MSE）目的関数を用いて共同で学習されます。これは、予測された次状態（アクション条件付けを使用）と、予測されたサブゴール状態（言語および $\rho$ 条件付けを使用）との間の誤差を最小化します。

プランニング戦略

LAGOは、長期間のプランニングを、局所的に扱いやすい目的関数のシーケンスへと変換します。

サブゴール生成: 現在の状態と言語指示が与えられると、LAGOは一様に配置された完了スカラー（ $\rho_k = k/K$ ）において、 $K$ 個の潜在サブゴールを生成します。極めて重要な点として、これらのサブゴールは現在の状態から独立して（非自己回帰的に）予測されるため、誤差の累積を回避できます。
オンライン再予測: サブゴールは、モデル予測制御（MPC）の各ステップで再予測されます。これにより、エージェントは自身の進化する状態に適応できます。
ソフト最小軌跡コスト（JLAGO）: 候補となるアクションシーケンスを評価するために、LAGOはソフト最小コスト関数を採用します。軌跡が特定の時刻に特定のサブゴールに到達することを要求する代わりに、各サブゴールとロールアウト内の任意のタイムステップとの間の最良の整合性を測定します。これは温度パラメータ $\tau$ によって制御され、離散的な完了基準ではなく、サブゴールへの滑らかな収束を可能にします。

主要な貢献

LAGOフレームワーク: 自らの潜在空間内のターゲット状態へ自然言語指示を直接マッピングするように訓練された世界モデルであり、視覚的な精度と言語的な柔軟性の間の溝を埋めます。
動的サブゴール分解: 目標予測を中間的な潜在サブゴールのシーケンス生成へと拡張したものです。このアプローチは、継続的なオンライン再予測とソフト最小軌跡コストを利用することで、明示的なサブゴール完了検知なしに、堅牢な長期間プランニングを可能にします。
距離ベースの評価プロトコル: 目標への距離に基づいてタスクの難易度を変化させる体系的な評価方法です。これにより、従来の手法が有効なプランニングホライゾンを超えると急激に性能が低下するのに対し、LAGOが堅牢性を維持していることが明らかになります。

実験結果

著者らは、4つの環境（TwoRoom（2Dナビゲーション）、Kingdom（動的なレイアウトと不可逆的なハザードを伴う2Dナビゲーション）、OGBench Cube（操作）、OGBench Scene（複雑な操作））にわたってLAGOを評価しました。

長期間の堅牢性: TwoRoom、Kingdom、および OGBench Cube 環境において、画像目標ベースライン（DINO-WM、Temporal Straightening、LeWM）は、タスクの難易度（距離）が増すにつれて完全に失敗しました（例：高い難易度で成功率が0%に低下）。対照的に、LAGOは高い成功率を維持しました（例：TwoRoomの難易度115において90%）。
言語 vs 視覚目標: LAGOはテキスト目標に基づく条件付けにおいて、言語目標ベースライン（LIV、PE-Core、Robo-Dopamine）を大幅に上回りました。例えば、Kingdomにおいて、LAGOはファインチューニングされたLIVベースラインの52.6%に対し、96.9%の成功率を達成しました。
効率性: LAGOは、大規模な生成報酬モデルであるRobo-Dopamine（約451ms）と比較して、高い推論効率（観測あたり約11ms）を示し、リアルタイムのMPCに適していることが証明されました。
アブレーション研究: パフォーマンスは $K \ge 4$ のサブゴールにおいて安定していました。ソフト最小の温度 $\tau$ は、合理的な範囲内で堅牢であることが判明しました。

意義と主張

本論文は、LAGOが画像ベースの目標の精度と、テキスト誘導制御の柔軟性の間のギャップをうまく埋めることを主張しています。言語を世界モデルの潜在空間に接地させ、タスクを中間的なサブゴールに分解することで、予測誤差の累積を軽減します。

著者らは、本研究が、プランニングホライズンが即時到達範囲を超えても、純粋に言語から堅牢かつ精密な長期間プランニングを行うことを可能にすると述べています。これは、プランニングフェーズにおいてアクションや報酬の監督を必要とせず、予測された潜在サブゴールの構造化されたガイダンスに依存することで実現されます。本研究は、単一の効率的なプランニングフレームワーク内で、視覚的および言語的モダリティの強みを組み合わせることにより、ますます複雑化するプランニングの課題に取り組むためのステップとして提示されています。