🤖 AI

Internalizing the Future: A Unified Agentic Training Paradigm for World Model Planning

本論文は、潜在的な予測能力を注入し、次にフォーマット誘導型の教師あり学習を通じてそれらを構造化し、最後に先見性を条件とした強化学習によってその較正を洗練させることで、LLMエージェントに未来を意識したプランニングを内面化させる統一された3段階の学習パラダイムを提案し、これによりリアクティブなエージェントの限界を克服し、根拠に基づいた長期的な意思決定を実現するものである。

原著者： Xuan Zhang, Zhijian Zhou, Lingfeng Qiao, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

公開日 2026-06-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xuan Zhang, Zhijian Zhou, Lingfeng Qiao, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いロボットに、インターネットから特定の事実を見つけ出したり、難しい数学の問題を解いたりするような複雑なパズルを解く方法を教えていると想像してください。

現在、ほとんどのロボットは**「反応的なドライバー（reactive driver）」**のように動いています。信号が赤になったのを見てブレーキを踏む、質問を見てすぐに回答を入力するといった具合です。これらは高速ですが、あまり「先を考えて」はいません。もし道を間違えても、衝突するまでそれに気づかないことがよくあります。

この論文の研究者たちは、これらのロボットに、より**「人間のドライバー」**に近い動きをするよう教えたいと考えました。人間はただ反応するだけではありません。私たちは「メンタル・シミュレーション（脳内シミュレーション）」を行います。ハンドルを切る前に、「もしここで左に曲がったら、あのトラックにぶつかるだろうか？もし直進したら、渋滞に巻き込まれるだろうか？」と自問自答します。実際に動く前に、頭の中でさまざまな経路を試してみるのです。

論文では、現在のAIエージェントには、この「メンタル・シミュレーション」や**「内部世界モデル（internal world model）」**が欠けていると主張しています。彼らは、自分の行動が将来どのような結果をもたらすかを、真に想像することができないのです。

問題点：「形だけ整えて成功した気になる」罠

研究者たちはまず、単純な解決策を試してみました。それは、AIに対して「回答する前に、次に何が起こると予想されるかについての計画を書きなさい」と指示することでした。

そこで彼らは、**「フォーマットと能力のギャップ（Format-Capability Gap）」**と呼ぶ問題を発見しました。

これは、生徒に映画の脚本を書くよう教えている場面に似ています。もし単に「ヒーロー、悪役、そしてどんでん返しを含む脚本を書いてください」と指示したとしても、彼らは紙の上では完璧に見える脚本を書くかもしれません。しかし、実際にそのシーンを演じてみるよう頼むと、キャラクターの動き方や話し方を本当に理解していないために、つまずいてしまうかもしれません。彼らは計画という「形式」を模倣しているだけで、未来を予測する実際の「能力」を持っていないのです。

AIの場合、見た目は立派だが中身はデタラメ（ハルシネーション／幻覚）な「計画」を書き始めました。「Xを検索し、次にYを見つける」と書いていても、実際にはXを検索することがYにつながるのかどうか、AIは分かっていませんでした。それは単なる推測に過ぎなかったのです。

解決策：3段階のトレーニングキャンプ

この問題を解決するために、研究者たちは、AIに「先を考える」方法を教え、その思考に基づいて行動させるための特別な3段階のトレーニングプログラムを作成しました。彼らはこれを**「ワールドモデル・エージェンティック・トレーニング（World Model Agentic Training）」**と呼んでいます。

ステージ1：「メンタル・ジム」（ワールドモデル・エージェンティック・ミッドトレーニング）

AIが計画について語るようになる前に、まず計画を「持つ」方法を学ぶ必要があります。

比喩： パイロットがフライトシミュレーターで訓練を受ける場面を想像してください。彼らは単にマニュアルを読むのではありません。仮想の飛行機を何千時間も操縦し、スティックを引きすぎてしまったり、嵐の中に突入したりしたときに何が起こるかを体験します。
論文で行ったこと： 彼らは、未来がすでに判明している膨大なデータを用いて、AIに学習させました。現在の状況を見せ、その後に現実の世界で実際に何が起こったかの要約と、信頼度スコア（例：「この検索によって答えが見つかる確率が85%である」）を記述するように強制しました。
結果： AIは単なる推測をやめ、因果関係に関する真の、内部的な理解を構築し始めました。タスクの「物理法則」を学んだのです。

ステージ2：「脚本家」（フォーマット誘導型SFT）

今やAIは未来を予測する「能力」を手に入れましたが、次はそれを「示す」方法を学ぶ必要があります。

比喩： パイロットは飛行の仕方は知っていますが、管制塔に伝わるように正しい形式でフライトプランを提出する方法を学ぶ必要があります。
論文で行ったこと： 彼らはAIに、従うべき特定の構造を教えました。行動を起こす前に、「予測される経路、探しているキーワード、および信頼レベル」を記述する「ワールドモデル・ブロック」を出力しなければならないようにしました。
結果： AIは、自分の「想像」と「行動」を切り離して、内部の思考を明確に言語化することを学びました。

ステージ3：「ストップウォッチを持ったコーチ」（先読み条件付き強化学習）

最後に、AIの予測が誠実で有用なものであることを確認する必要があります。

比喩： コーチがパイロットを見守っている場面を想像してください。もしパイロットが「ハリケーンの中でも100%着陸できる自信がある」と言いながら墜落した場合、コーチはペナルティを与えます。逆に、「50%の自信しかないが、やってみる」と言って安全に着陸できた場合は、報酬を与えます。
論文で行ったこと： 彼らは、次の2点をチェックする報酬システムを使用しました。
1. グラウンディング（接地性）： AIが予測したことが実際に起こったか？（特定の名前を見つけると予測した場合、実際にそれを見つけたか？）
2. キャリブレーション（較正）： AIの信頼度スコアは正確だったか？（「90%の自信がある」と言って間違っていた場合は罰を与え、「50%の自信がある」と言って正解した場合は報酬を与えた。）
結果： AIは、確信がないときは謙虚になり、確信があるときは自信を持つことを学びました。無謀な推測をしなくなったのです。

結果：より賢く、より安全なエージェント

研究者たちは、この新しいトレーニング手法を2種類のタスクでテストしました。

検索： 複数の情報を調べる必要がある複雑な質問に対する答えを見つけること。
数学： 難解な数学の問題を解くこと。

結果は明白でした：

この3段階のメソッドで訓練されたAIは、標準的な方法で訓練されたAIよりも、これらの問題を解く能力が大幅に高いことが示されました。
特にマルチステップの推論（多くのステップを必要とするタスク）において優れていました。プロセスの途中で迷子になることがありませんでした。
最も重要なことは、AIの信頼度スコアが信頼できるものになったことです。「90%の自信がある」と言ったとき、それは大抵の場合、正解していました。「10%しか自信がない」と言ったときは、通常、苦戦しているか、ミスを犯そうとしていました。

まとめ

この論文は、単にAIに「先を考えなさい」と指示するだけでは不十分であることを示しています。まず、未来をシミュレートする方法を教え（ステージ1）、次にその思考を書き出す方法を教え（ステージ2）、最後に、自分がどれほど確信しているかについて正直であることを教える（ステージ3）必要があります。これを行うことで、彼らは単に世界に反応するだけでなく、人間と同じように未来に向けて計画を立てることができるAIエージェントを作り上げたのです。

技術要約：ワールドモデル・エージェント学習

問題提起

大規模言語モデル（LLM）エージェントは、逐次的な意思決定において習熟を示しているが、長期間のタスクにおいては根本的に反応的（reactive）な性質に留まっている。将来の結果をシミュレートして実行前に計画を評価する「もし〜ならば」という推論を用いる人間のプランナーとは異なり、標準的なエージェントには、将来を予測するための内部メカニ結構が欠如している。Chain-of-Thought（CoT）のような手法は問題の分解を改善するが、それ自体が将来の状態をシミュレートする内部的なワールドモデルを本質的に備えているわけではない。

著者らは、現在のポストトレーニングにおける**フォーマットと能力のギャップ（format-capability gap）**を特定している。単に先読みのトレース（例：将来の計画を出力するように指示する）を用いてエージェントをファインチューニングすることは、先見性を模倣する「構造」を教えるだけであり、基礎となる「予測能力」を獲得させるものではない。その結果、エージェントはもっともらしいが、根拠のない、あるいは接地性のない、あるいは較正（キャリブレーション）されていないシミュレーションを生成し、有用なガイダンスではなくノイズを生み出してしまう。

手法

このフォーマットと能力のギャップを埋めるために、本論文では、単一の自己回帰型ポリシー内に将来を意識したプランニングを内在化させるための、統一された3段階のトレーニング・パラダイムである**ワールドモデル・エージェント学習（World Model Agentic Training）を提案する。このアプローチは、外部のシミュレーターや専用の価値ヘッド（value head）を使用せず、代わりにモデルが展望的な状態ロールアウト（prospective state rollout）**と、計画に条件付けられた成功推定値（テキストによるQ値の類似物）の両方を言語化するように学習させるものである。

3つのステージは以下の通りである：

1. ワールドモデル・エージェント中間学習 (WM-AMT)

このステージは、標準的なポストトレーニングの前に、ポリシーに対して潜在的な予測能力を注入する。

メカニズム: 大規模なエージェントの軌跡データに対し、ランダムなステップで構造化された「ワールドモデル・ブロック」（ $z_t$ ）を挿入することで拡張を行う。
内容: 各ブロック $z_t$ $z_{t}$ は以下を含む：
- $z^{(traj)}_t$ : シミュレートされた将来の抽象化されたロードマップ（凝縮された経験の要約）。
- $z^{(eval)}_t$ : セマンティックなギャップ分析と、成功の確率（ $q \in [0, 100]\%$ ）を推定する信頼度スコア。
目的: モデルは、標準的な自己回帰的な負の対数尤量（NLL）を用いて、これらのブロックを厳密に履歴のコンテキストに条件付けて再構成するように学習される。これにより、モデルは先見性を単なる表面的なフォーマットの演習としてではなく、因果予測と価値評価の一部として学習することを強制される。

2. フォーマット誘導型教師ありファインチューニング (FE-SFT)

WM-AMTによって能力は確立されるが、モデルが推論中にそれを確実に呼び出すための構造的スキーマを欠いている場合がある。

メカニズム: 内部のワールドモデルが、構造化されたフォーマット（例：<imaginary>, <keyword>, <analysis>, <confidence>）を用いて明示的に外部化されるように精選されたデータセットを用いて、モデルをファインチューニングする。
目的: このステージは、エージェントがいつ、どのように潜在的な先見性を言語化すべきかを教え、ゼロからの学習に伴う典型的なハルシネーションを引き起こすことなく、生成されるブロックが一貫し、構造的に整合していることを保証する。

3. 先見性に条件付けられた強化学習 (FC-RL)

このステージは、内部のワールドモデルとポリシーを共同で最適化し、接地性と較正を確保する。

ワールドモデルの最適化:
- 接地報酬 ( $R_{ground}$ ): 予測されたキーワード（マイルストーン）が、実際の実行軌跡の中に実際に現れるかどうかを検証する。
- 較正報酬 ( $R_{calib}$ ): 最終的な結果（成功または失敗）に基づき、信頼度推定値（ $q_t$ ）に対してブライア・スコアによるペナルティを適用し、エージェントの自己評価された信頼度を経験的な成功率に一致させるよう強制する。
ポリシーの最適化:
- ポリシーは、グループベースのRLアルゴリズム（GRPO）を用いて更新される。
- アドバンテージ関数は、グローバルなタスク報酬と、較正された信頼度スコア（ $q_t$ ）から導出されるローカルなステップレベルのアドバンテージを組み合わせ、タスクの成功と先見性の質のバランスをとる。

主な貢献

フォーマットと能力のギャップの特定: 本論文は、先読みのフォーマットのみを用いたポストトレーニングは、先見性の表面的な模倣に終わり、接地された将来予測を実現できないことを示している。
統一された3段階のパラダイム: 著者らは、能力を優先するパイプライン（WM-AMT $\to$ FE-SFT $\to$ FC-RL）を提案し、外部モジュールなしで、将来のロールアウトとQ値の推定値の両方を言語化する単一の自己回帰モデル内にワールドモデル・プランニングを内在化させている。
実証的検証: このアプローチは、検索（マルチホップQA）および数学的推論タスクにおいて検証されており、内部のワールドモデル構築には、較正された先見性を達成するための特定の学習経路が必要であることを示している。

実験結果

本手法は、2Bパラメータモデル（Youtu-LLM-2B）を用いて、2つのドメインで評価された：

検索タスク (7つのQAデータセット):
- フルパイプライン（WM-AMT + FE-SFT + FC-RL）は平均スコア 50.6 を達成し、最良のベースライン（中間学習を伴う状態のみの予測 + RL）のスコア 48.7 を上回った。
- 改善は、長期的なプランニングが極めて重要なマルチホップ推論タスク（例：HotpotQA, MuSiQue）において特に顕著であった。
数学的推論 (AIME 2024/2025/2026):
- 提案手法は pass@30 で 60.0、mean@30 で 29.5 を達成し、ベースライン（例：状態のみの予測 + RL は pass@30 で 56.7）を大幅に上回った。
アブレーション研究:
- 3つのステージのいずれかを削除すると性能が低下し、フルパイプラインの必要性が確認された。
- WM-AMTなしで先読みフォーマットに対してのみ（SFT/RL）ポストトレーニングを行ったモデルは、一貫した計画を生成できず、フォーマットと能力のギャップを示した。
- モデルが生成した信頼度スコアは、実際のタスク成功率と強い相関を示しており（正解に対しては高信頼度、誤答や複雑なパスに対しては低信頼度）、言語化されたQ値の較正が検証された。

意義と主張

本論文は、LLMエージェントにおける効果的な内部ワールドモデルは、フォーマットの監督だけでは達成できないと主張している。代わりに、以下のプロセスを含む能力優先のトレーニングパイプラインを必要とする：

中間学習（WM-AMT）による予測的プライアの注入。
これらのプライアの構造化された言語化の誘導（FE-SFTによる）。
報酬に整合した最適化（FC-RL）による、シミュレーションの較正と有用性の洗練。

著者らは、このアプローチにより、エージェントが人間のような推論と同様の「計画に条件付けられた将来シミュレーション」と「メンタル評価」を実行できるようになり、反応的なエージェントよりも、サブオプティマルなパスを排除し、長期間のタスクをより堅牢に処理できると主張している。本研究は、接地され較正された先見性を達成することは、エージェントが先読み推論を効果的に利用できるようになる前に対処すべき、明確に異なるトレーニング上の課題であることを強調している。