🤖 AI

Why We Need World Models for AGI: Where LLMs Fail and How World Models May Outperform

本論文は、大規模言語モデルが潜在的な環境ダイナミクスとの目的の不一致により、長期的な計画と因果推論に苦慮していることを主張し、「Flux」環境における実証を通じて、潜在的な状態遷移への明示的なアクセスを有するエージェントが、安定した長期的意思決定において大規模言語モデルを大幅に凌駕することを示す。

原著者： Feisal Alaswad, Batoul Aljaddouh, Maher Alrahhal, Poovammal E, Talal Bonny

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Feisal Alaswad, Batoul Aljaddouh, Maher Alrahhal, Poovammal E, Talal Bonny

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文を簡単な言葉と日常的な比喩を用いて解説します。

大きなアイデア：台本を読むこと対、ゲームをプレイすること

複雑なボードゲームの遊び方を学ぼうとしていると想像してください。学ぶ方法は二つあります。

「台本読者」（現在の AI/LLM）: 何千人もの人々がゲームをプレイした書き起こしテキストを読みます。物語の中で次の単語が何になるかを推測することに非常に長けています。誰かが「歩兵を……」と言ったとすると、「……中央のマスに」と自信を持って予測できます。言語のパターンを知っているため、あなたは専門家のように聞こえます。
「ゲームマスター」（世界モデル）: 書き起こしテキストを読むだけでなく、頭の中で実際にゲーム盤を構築します。ルール、すべての駒の位置、駒を動かしたときに何が起こるかを理解しています。次の単語を推測するだけでなく、ゲームの次の「状態」をシミュレートします。

論文の主張:
現在の AI（大規模言語モデル、または LLM）は素晴らしい「台本読者」です。完璧に聞こえる物語、コード、回答を書くことができます。しかし、著者らは、これらの AI が長期的な計画や因果関係の推論（原因と結果を突き止めること）を必要とすることを試みると、失敗し始めることを論じています。彼らは世界の実際の「状態」を追跡するのではなく、単に文の次の単語を予測しているだけなので、見失ってしまいます。

この論文は、真に知的な機械（AGI）を構築するためには、単語の予測だけでなく、時間の経過とともに世界がどのように変化するかを追跡する「世界モデル」となる内部シミュレーションを構築する必要があると提案しています。

核心的な問題：「幻覚」の罠

著者らは、LLM が特定の種類の混乱に苦しんでいることを説明しています。次の単語を確率に基づいて予測するように訓練されているため、彼らは実際に真実であることよりももっともらしく聞こえることを優先します。

比喩: 図書館のすべての本を読んだ物語を語る人がいると想像してください。「グラスを落としたらどうなる？」と尋ねると、物語でよくあることなので、「割れる」と答えるかもしれません。しかし、「今さっき落とした重い箱を持っている間にグラスを落としたらどうなる？」と尋ねると、物語を語る人は混乱するかもしれません。彼らは直前の単語しか見ておらず、物理的な状況全体を見ていないため、3 文前に箱を落としたことを忘れてしまう可能性があります。
結果: AI は事実を捏造したり（幻覚）、盤から駒が取り除かれたことを見失ったり（ゲームの状態を見失う）します。それは、記述している現実の永続的な「心的モデル」を維持していないからです。

解決策：潜在ダイナミクス推論（LDI）

著者らは、潜在ダイナミクス推論（LDI） という新しい考え方を提案しています。

メタファー: 言語を、実際の出来事のぼやけた低解像度の写真だと考えてください。
- 写真（言語）: 車事故を示しています。「車が木に衝突した」と伝えます。
- 現実（潜在状態）: 実際の物理現象です。車の速度、衝突の角度、くしゃくしゃになった金属などです。
- 現在の AI はその写真を見て、次の文を推測しようとします。
- LDI は、その写真を見て、その背後にある実際の物理現象を再構築しようとします。「この写真を引き起こすために、車の速度と位置はどうであったはずか？」と問いかけます。

言葉の背後にある隠れた「物理現象」（潜在状態）を再構築しようとすることで、AI は因果関係についてはるかに優れた推論を行うことができます。

実験：「FLUX」ゲーム

これを証明するために、著者らはFLUXというシンプルなゲームを作成しました。

ルール: ゲームのルールはすべて平易な英語で書かれていました（例：「セルがゼロに達したら、それは除去される」）。
設定: これらの英語のルールを、厳密な数学的コンピュータシミュレーター（「世界モデル」）に変換しました。
対決: 二種類のプレイヤーを互いに対戦させました。
1. LLM プレイヤー: 英語のルールと現在のゲーム状態をテキストとして読みました。次の単語を予測することで次の手を推測しなければなりませんでした。
2. RL プレイヤー（強化学習）: 数学的シミュレーター内で直接訓練されました。テキストだけでなく、実際の数値と状態変化を「見て」いました。

結果:

RL プレイヤー（世界モデル） は約 79% のゲームで勝利しました。
LLM プレイヤー は約 11% のゲームしか勝利できませんでした。

なぜ LLM は負けたのか？
論文は、LLM が失敗した三つの具体的な方法を発見しました。これらは「台本読者」のバグのようなものです。

合計の盲目性: LLM はポイントの累計を忘れていました。テキストの中だけで数字を追跡し、頭の中では追跡していなかったため、スコアが制限を超えて即座に負けになるような手を繰り返し打ってしまいました。
行の長さの誤計数: 駒が取り除かれるにつれてゲーム盤は縮小しました。LLM は盤の現在の形状を見失っていたため、もはや存在しない駒を動かそうとしました。
近視眼: LLM は次のターンには良く見えるが、10 ターン後のゲームにとってはひどい手を打っていました。将来の帰結を「見る」ことができませんでした。

結論：これが AI に意味すること

この論文は、次の単語を予測するだけでは、真に知的なエージェントを構築するには不十分であると結論付けています。

現在の AI は、台本を完璧に暗唱できるが、プロットを理解していない天才的な俳優のようです。
将来の AI（世界モデル） は、プロット、登場人物の動機、そして物語がどのように発展するかを理解する監督のようである必要があります。

著者らは、人工汎用知能（AGI） に到達するためには、AI を大きくするだけ（より多くのデータ、より多くのパラメータ）ではいけないと論じています。代わりに、学習の方法を変える必要があります。AI に次の単語を推測するのをやめ、それらの単語を生成する隠れた「世界」を推論させるように教える必要があります。

要約すると: 賢くなるためには、AI は台本を読むのをやめ、ゲームをプレイし始める必要があります。

技術的サマリー：AGI にとってなぜ世界モデルが必要か

問題定義

大規模言語モデル（LLM）がシーケンス予測、知識集約型タスク、コード生成において顕著な成功を収めているにもかかわらず、因果推論、永続的な状態追跡、長視野の計画を必要とする領域では、体系的な限界を示している。著者らは、これらの限界が根本的な目的レベルの不一致に起因すると主張する。すなわち、LLM は観測空間（ $X$ ）内の観測（トークン系列）の予測に最適化されているのに対し、動的環境における堅牢な知能には、潜在的な状態遷移（ $S$ ）と因果ダイナミクスをモデル化することが必要である。

現在の自己回帰的アプローチは、事実の裏付けや因果的一貫性よりも統計的尤度を優先する。その結果、LLM は制約された環境下では世界モデルの振る舞いを近似する可能性があるものの、変化する世界の一貫した内部モデルを維持するための構造的メカニズムを欠いており、幻覚、状態追跡エラー、長視野タスクにおける「視野の短視性」といった失敗モードを引き起こす。

手法：潜在ダイナミクス推論（LDI）と FLUX

この仮説を検証するため、著者らは**潜在ダイナミクス推論（Latent Dynamics Inference: LDI）**を導入した。これは、言語やマルチモーダル観測を、孤立した記号系列ではなく、環境ダイナミクスの部分的で損失のある証拠として解釈する概念的枠組みである。LDI において、学習目標は次のトークンの予測（ $P(x_t | x_{<t})$ ）から、観測を生成した潜在状態軌道（ $S$ ）と遷移関数（ $f_\theta$ ）の推論へとシフトする。

観測空間（ $X$ ）における推論と潜在状態空間（ $S$ ）における推論の差異を実証的に検証するため、著者らは以下の特性を持つ新規の逐次推論環境FLUXを構築した。

仕様: ゲームのルールは自然言語で完全に定義され、観測空間 $X$ を表す。
メカニクス: 整数セルの列を用いた二人対戦ゲームであり、「AMPLIFY（ $\times 2$ ）」と「DRAIN（ $\lfloor \div 2 \rfloor$ ）」の操作を含む。勝敗条件は非対称（Shrinker は列が 1 セルに減少すれば勝利、Amplifier は合計が 20 を超えれば勝利）であり、15 手目で引き分けとなる。
コンパイル: 自然言語のルールは LLM によって、決定論的で明示的な状態遷移シミュレーター（世界モデル）にコンパイルされ、潜在状態空間 $S$ と遷移関数 $f_\theta$ が定義される。

実験設計

本研究では、同一の FLUX 環境内で動作する 2 種類のエージェントを比較する。

LLM エージェント: 純粋に $X$ 内で動作する。現在の状態の自然言語記述を受け取り、次のトークン予測を通じて行動を選択する。状態追跡には会話コンテキストに依存する。
強化学習（RL）エージェント: 直接 $S$ 内で動作する。コンパイルされたシミュレーター内で表形式の Q-learning エージェントを訓練し、明示的な遷移ダイナミクスと相互作用させて最適方策を学習する。

評価には、ベースライン比較（ランダム対ヒューリスティック対 RL）のために 1,000 エピソード、および GPT-4o、DeepSeek-R1、Gemini 1.5 Pro を用いたモデルごとの訓練済み RL エージェントに対する 200 ゲームが含まれた。

主要な貢献

不一致の形式化: 本論文は、観測分布の近似である自己回帰的シーケンスモデリングと、潜在状態ダイナミクスの近似である潜在状態世界モデリングを形式的に区別し、これを単なる規模ベースの限界ではなく構造的な限界として特定した。
潜在ダイナミクス推論（LDI）: 言語を潜在ダイナミカルプロセスの圧縮された観測チャネルとして扱う新たな視点であり、学習を空間間推論問題（ $X \to S$ ）として再構成する。
FLUX 環境: 自然言語で指定されつつ、明示的な世界モデルを通じて実行される概念実証環境であり、観測空間推論と潜在状態計画の制御された比較を可能にする。
実証的証拠: 明示的に潜在状態遷移へのアクセスを持つエージェントが、シーケンス予測のみに依存するエージェントに比べて、はるかに安定した長視野の振る舞いを示すことを示す制御されたケーススタディ。

結果

実験結果は、 $S$ で動作するエージェントと $X$ で動作するエージェントの間に明確な性能差を浮き彫りにした。

勝率: 全体として、世界モデル（RL）エージェントは LLM エージェントに対して79% の勝率を達成したのに対し、LLM の勝率は**11%**に留まった。残りの約 10% は LLM による無効な移動に起因する。
ベースライン性能: 世界モデル内で訓練された RL エージェントは、ランダムプレイに対して勝率を 46.2 ポイント向上させた（Shrinker 役において 89.5% 対 43.3%）。
失敗モード: LLM の失敗の定性的分析により、3 つの一貫したパターンが明らかになった。
- 合計の盲点: 永続的な累積合計を維持できず、即座に敗北条件に至る。
- 列長の誤計数: 列の縮小後に存在しなくなったセルインデックスを参照しており、潜在状態追跡の崩壊を示している。
- 視野の短視性: 長視野の勝利条件（例：2 手後に Shrinker の勝利条件をトリガーすること）を予見できない、局所的に最適な移動を行う。
無効な移動: LLM は約 10% の割合で無効な行動（範囲外のインデックス、不正な操作）を生成した。これは、維持された世界状態を照会するのではなく、会話パターンから外挿する「潜在状態の崩壊」と一貫した振る舞いである。

意義と主張

著者らは、この研究を LLM の劣位性の一般的な証明ではなく、制御されたケーススタディとして位置づけている。主な意義は、以下の点を示すことにある。

抽出の実現可能性: 純粋な自然言語仕様（ $X$ ）から機能的で明示的な世界モデル（ $S$ ）を抽出することが可能である。
アーキテクチャの必要性: 永続的な状態追跡と多段階の因果推論を必要とするタスクにおいて、明示的な状態進化のメカニズムなしには、シーケンス予測のみでは不十分であることを性能差が示唆している。
学習の再方向付け: 本論文は、AI 研究を次のトークン予測の最適化から、潜在ダイナミクスの回復の最適化へとシフトさせることを主張する。将来的な知能システムは、世界ダイナミクスの間接的証拠としてコーパスを扱い、知覚エンコーダー、明示的な世界モデル（潜在ダイナミクス）、および状態空間で動作する計画モジュールを含むハイブリッドアーキテクチャを利用すべきであると提案する。

著者らは結論として、LLM は世界知識の強力なエンコーダーではあるが、その知識を動的に実行するための「物理エンジン」を欠いていると述べる。彼らが示唆する AGI への道筋は、言語の広範さを、世界モデルの因果的かつ状態を有する構造と統合することにある。