技術要約：長期的プランニングのための可変長潜在世界モデル（Variable-Length Latent World Models）

1. 問題提起

世界モデルは、環境のダイナミクスを予測するモデルを学習することで、知的なエージェントを構築するためのパラダイムとして台頭しています。近年の潜在世界モデル（JEPAスタイルのアーキテクチャなど）は、ピクセル空間での予測ではなく、コンパクトな表現空間で動作することにより効率的な代替案を提供していますが、**長期的なプランニング（long-horizon planning）**において重大な限界に直面しています。

特定された主な問題は以下の通りです：

• 誤差の累積（Compounding Errors）: 既存のモデルは通常、1ステップの予測（$t \to t+1$）に依存しています。長期的なタスクにおいて、これらのモデルは再帰的にロールアウトを行う必要があり、予測誤差が急速に蓄積され、時間的なドリフトや軌道の質の低下を引き起こします。
• 学習とプランニングの不一致（Training-Planning Mismatch）: ほとんどのモデルは、固定ステップの予測目的関数で学習されます。これは局所的な時間スケールにおいてのみ教師信号を提供するため、長期的な一貫性を明示的に最適化することには失敗します。その結果、学習シグナルが長期的なプランニング問題の性質と一致しなくなります。
• アーキテクチャの硬直性（Architectural Rigidity）: 現在の潜在世界モデルは、多くの場合、専用の条件付けメカニズム（FiLMレイヤーやクロスアテンションなど）を通じてアクションを組み込み、隠れ状態にアクションを融合させます。この設計は、モデルを固定されたアクションレイアウト（通常は1ステップにつき1つのアクション）に密結合させてしまい、複数のアクションの寄与を分離したり、可変長の行動シーケンスを自然に扱ったりすることを困難にします。

2. 手法：可変長潜在世界モデル（VLWM）

著者らは、単一のモデル内で複数の予測ホライゾンにわたって潜在的な環境ダイナミクスを学習するように設計されたフレームワークであるVLWMを提案しています。

2.1 可変長教師あり学習（Variable-Length Supervision）

即時の次ステップの予測に限定するのではなく、VLWMは単一の予測器 $g_\phi$ を用いて、任意の将来のオフセット $k \ge 1$ における潜在状態を予測するように学習します。学習目的関数は以下の通りです：
$$\mathcal{L}_{VLWM} = \mathbb{E}_{t, k \sim p(k)} \left[ \| g_\phi(s_t, a_{t:t+k-1}) - \bar{g}(\bar{f}_{\bar{\theta}}(o_{t+k})) \|_2^2 \right]$$
ここで、$s_t$ は現在の潜在状態、$a_{t:t+k-1}$ は長さ $k$ の可変長アクションセグメントであり、ターゲットは時刻 $t+k$ における潜在状態です。これにより、短期的なダイナミクスと長期的な意味的一貫性を単一の目的関数の下に統合します。

2.2 アクション・アズ・トークン（Action-as-Token）定式化

可変長のアクションシーケンスをネイティブにサポートするために、VLWMはレイヤー内部の条件付けから脱却します。代わりに、アクション埋め込みを第一級のトランスフォーマー・トークンとして扱います。

• 入力シーケンス: モデルは、履歴となる状態トークンのシーケンスに続き、可変個のアクション・トークン（$e_t, \dots, e_{t+k-1}$）を含むシーケンス $X$ を受け取ります。
• メカニズム: 状態トークンとアクション・トークンは、加算的なタイプ埋め込みによって区別されます。トランスフォーマーは因果的（causal）であり、予測された潜在状態 $\hat{s}_{t+k}$ は、シーケンス内の最後のトークンの出力から直接読み取られます。
• 利点: これにより、定義済みのアクション条件付けインターフェースが不要になり、アーキテクチャを変更することなく、任意数の過去のアクションに基づいて条件付けを行うことが可能になります。

2.3 カリキュラム学習戦略

大きな予測ホライゾンを用いて最初から直接学習することは、ノイズの多い勾配や最適化の失敗により不安定になります。そのため、VLWMはカリキュラム学習戦略を採用しています：

• 学習はステージに分割されます。ステージ $j$ において、ホライゾン $k$ は $\{1, 2, \dots, j\}$ から一様にサンプリングされます。
• モデルは $k=1$ から開始し、サンプリングされるホライゾンの範囲を最大値 $K_{max}$ まで漸進的に拡大していきます。
• これにより、長期的な意味内容が、十分に学習された短期的なダイナミクスの上に構築されるようになり、最適化が安定します。

2.4 可変長ジャンプによるプランニング

推論時、プランニングホライゾン $H$ は連続したチャンク $H = k_1 + k_2 + \dots + k_M$ に分割されます。プランナーは、再帰的な1ステップ予測ではなく、一連の可変長な潜在ジャンプとしてロールアウトを評価します。本論文では3つのプランニング戦略を提案しています：

1. P1 (固定だがタスク適応型): タスクごとに選択された一定のチャンクサイズ $k^*$ を使用します（微細な制御には小さく、長期的な目標には大きく設定）。
2. P2 (ランダムホライゾン・サンプリング): 各境界において、チャンクサイズを $\{1, \dots, K_{max}\}$ から一様にサンプリングします。
3. P3 (Long-to-Short): 長期的な構造をカバーするために大きなチャンクから開始し、終盤に向けてチャンクサイズを徐々に縮小して微細なダイナミクスを精緻化します（粗から密への探索）。

3. 主な貢献

1. 統一されたフレームワーク: 可変長のアクションシーケンスを「アクション・アズ・トークン」定式化によって自然にサポートし、複数のホライゾンにわたって潜在ダイナミクスを学習するフレームワークであるVLWMの導入。
2. 安定した学習とプランニング: 安定した可変長学習のためのスケーラブルなカリキュラム学習戦略と、単一のモデル内で異なる予測ホライゾンを適応的に活用する一連のプランニングアルゴリズムの提案。
3. 実証的検証: 長期的なプランニングのベンチマークにおいて、VLWMが固定ホライゾン型の世界モデル（具体的にはLeWM）を一貫して上回ることを実証し、長期的な予測可能性とダウンストリームの制御可能性の向上に関する分析を示したこと。

4. 実験結果

著者らは、3つのゴール条件付きプランニング環境（PushT（2D操作）、OGBench-Cube（3Dロボット操作）、TwoRoom（2Dナビゲーション））でVLWMを評価しました。

• 性能向上: VLWMは、全データセットにおいて、最先端のLeWMに対して平均13%の改善を達成しました。この向上は長期的なレジームにおいて最も顕著であり（例：TwoRoomのホライゾン100ステップにおいて、成功率はLeWMの36%からVLWMの68%へと向上）、長期的な目標達成能力が大幅に高まりました。
• 誤差の軽減: 可視化の結果、LeWMの再帰的なロールアウトはドリフトして環境の境界（ドアなど）を越えられなくなる一方で、VLWMのチャンク化された可変長ジャンプは、真の軌道に近い状態を維持していることが示されました。
• 表現の質: 固定エンコーダに対する線形プローブ評価により、VLWMはLeWMと比較して、物理的特性（ブロックの角度など）に対して高いピアソン相関を持つ潜在状態を生成していることが明らかになり、緩やかな意味的状態の変化をより良く捉えていることが示唆されました。
• カリキュラムの必要性: アブレーション研究により、特に長期的なプランニングを必要とするタスクにおいて、カリキュラム学習戦略が安定した可変長学習のために不可ントであることを確認しました。

5. 意義と主張

本論文は、VLWMが潜在世界モデルにおける長期的な予測とプランニングを改善するための、シンプルかつ効果的なパラダイムを提供すると主張しています。

• エンジニアリングを超えて: 著者らは、長期的なプランニングにおける苦戦は単なるエンジニアリングの問題ではなく、学習目的関数の結果であると主張しています。固定ステップから可変長教師あり学習へと移行することで、VLWMは学習シグナルを長期的な推論の要件に適合させています。
• 統一されたインターフェース: 本フレームワークは、単一の学習済みモデル内に、広範な固定および階層的ホライゾン戦略を包含しており、別途のハイレベルおよびローレベルのポリシーや補助モジュールを必要としません。
• 今後の方向性: これらの結果は、可変長教師あり学習が、より堅牢なプランニングアルゴリズムに向けた基礎的なステップであり、プランナーがタスクの特定のニーズに合わせて予測の粒度を適応できる柔軟なインターフェースを提供することを示唆しています。