🤖 AI

Mind-Studio: Executable World Models with Lookahead Evaluation for Partially Observable Games

Mind-Studioは、大規模言語モデルを利用して相互作用の軌跡から実行可能なpygameスタイルのワールドモデルを合成するフレームワークであり、部分観測的なAtariゲームにおいて、従来の手法と比較して次状態予測およびブランチレベルの忠実度が大幅に向上していることを示している。

原著者： Yifei Dong, Mingen Zheng, Linquan Wu, Jeff Z. Pan, Jiaxin Bai

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yifei Dong, Mingen Zheng, Linquan Wu, Jeff Z. Pan, Jiaxin Bai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに『モンテズマの復讐（Montezuma's Revenge）』や『スキー（Skiing）』のようなビデオゲームの遊び方を教えようとしていると想像してください。ロボットは画面を見ることができますが、世界の「ルール」については理解していません。ハシゴから飛び降りると落下することや、ドクロに触れるとライフを失うといったことは知りません。

通常、AIは以前見たものに基づいて「次に何が起こるか」を推測することで学習しようとします。それは、車のハンドルやブレーキの仕組みを理解することなく、前の車だけを見て、その車がどこへ行くかを推測しながら運転を学ぼうとするようなものです。

Mind-Studioは、このゲームの流れを変える新しいシステムです。単に推測する代わりに、コンピュータの中に**「小さな、動作するビデオゲームエンジン」**を構築します。このエンジンは、AIが実際に動く前に、未来を「夢見たり（シミュレーションしたり）」するために使用できる、実際に実行可能なプログラムです。

仕組みは以下の通りです。簡単な比喩を用いて説明します。

1. 「ゲームマニュアル」（スキルファイル）

AIが学習を開始する前に、「チートシート」や**「ゲームマニュアル」**を受け取ります。これは人間が書いた完全なルールブックではなく、AIがゲーム画面から抽出した事実のコンパクトなリストです。

知っていること： 「プレイヤーがいる」「ハシゴがある」「ロープがある」「プレイヤーは左右に移動したり、ジャンプしたりできる」など。
魔法のような仕組み： たとえゲームの内部コードが隠されていたとしても（これらの古いゲームではよくあることです）、Mind-Studioは画像（ピクセル）を見て、自分自身でこのマニュアルを書き出すことができます。これは、エンジンの仕組みを見たことがなくても、車の写真を見て「これは4つの車輪とハンドルを持っている」と書き留めるようなものです。

2. 「探偵」（エントロピー選択）

AIはプレイヤーがゲームをプレイする様子を観察し、あらゆる動きを記録します。しかし、すべてを記録するわけではありません。すべてを記録すると、データが膨大になりすぎるからです。

比喩： あなたが機械の仕組みを解明しようとしている探偵だと想像してください。機械が静止している様子を1時間眺め続ける必要はありません。何かが変化したり、予期せぬことが起きたりした瞬間だけを見ればよいのです。
仕組み： Mind-Studioは「探偵の直感」（エントロピー・スコアリングと呼ばれます）を使用して、最も興味深い瞬間を選び出します。プレイヤーが壁にぶつかった時、敵が出現した時、あるいはロープが揺れた時などです。何も起きていない退屈な部分は無視します。これにより、AIは最も「情報の密度が高い」レッスンを得ることができます。

3. 「設計者」（LLMシンセサイザー）

AIが「ゲームマニュアル」と「探偵のメモ」を手に入れたら、強力なAIライター（大規模言語モデル）にゲームエンジンを構築するよう依頼します。

タスク： AIライターには次のように指示されます。「ここにあるオブジェクトのリスト、興味深い瞬間、そして目標があります。これらをシミュレートするPythonプログラムを書いてください。」
結果： AIは単なる説明を書くのではなく、実際のコードを書きます。このコードは、ゲームのミニチュア版となります。もし「右」を押せばプレイヤーは右に動き、もしドクロに当たればプレイヤーは死ぬ、ということを理解しています。これは、コンピュータ上で実際に実行できる「ワールドモデル（世界モデル）」なのです。

4. 「リハーサル」（先読み評価）

これで、AIにはこの動作するシミュレーションが備わりました。ゲーム内で実際の動きを行う前に、AIはこのシミュレーションを使ってリハーサルを行います。

比喩： チェスのプレイヤーが、駒に触れる前に頭の中で次の8手先を視覚化する様子を考えてみてください。Mind-Studioはビデオゲームにおいてこれを行います。「今ジャンプしたら、8秒後の画面はどうなっているか？左に行ったらどうなるか？」と問いかけるのです。
テスト： システムはこのシミュレーションを実行し、その結果を実際のゲームと比較します。もしシミュレーションが「プレイヤーはプラットフォームに着地する」と予測し、実際のゲームでもプレイヤーがそこに着地していれば、そのシミュレーションは「忠実である」と言えます。

なぜこれが重要なのか？

この論文では、4つの難しいアタリ（Atari）ゲームでテストを行いました。結果は以下の通りです。

精度の向上： 『モンテズマの復讐』において、従来の手法は次の動きを予測できる確率がわずか**0.3%でした。しかし、Mind-Studioはそれを48.7%**まで向上させました。これは「ほとんど不可能」から「ほぼ半分」への劇的な飛躍です。
パズルの解決： シミュレーションが非常に優れているため、AIプランナーはより多くのゲーム部分を解決できました。『モンテズマの復讐』において、AIは8つの主要なチェックポイント（サブゴール）のうち5つに到達することに成功しました。これは、他の手法が苦戦していた部分です。
人間のように機能する： このシステムは、人間が新しいゲームを学ぶプロセスを模倣しています。
1. 世界を観察する。
2. ルール（コード）を理解する。
3. 頭の中でそのルールをテストする（シミュレーション）。
4. 動く。

結論

Mind-Studioは、ビデオゲームを**「実行可能なスクリプト」**へと変貌させます。単に次に何が起こるかを推測するのではなく、世界の小さな、動作するバージョンを構築し、その結果をシミュレーションして、それから意思決定を行うのです。これは、ゲームを観察し、そのルールをコンピュータプログラムとして記述させることで、AIにゲームの「物理法則」を理解させることができるということを証明しました。

制限事項に関する注記： この論文は、これがまだ完璧ではないことも認めています。非常に複雑でランダムなイベント（敵がどこからともなく現れるなど）や、トリッキーな幾何学的構造（ドクロを避けながらロープを登るなど）に対しては苦戦します。しかし、これは「実行可能なワールドモデル」を構築することが、AIの先読みを助ける強力な方法であることを示しています。

技術要約: Mind-Studio

問題の定式化

本論文は、部分観測環境（特にOC-Atari：オブジェクト中心型Atariゲーム）における、**実行可能な世界モデル（executable world models）**を合成するという課題に取り組んでいる。既存の記号的アプローチの多くは、観測された遷移をフィッティングしたり、局所的なルールの混合物を作成したりすることには長けているが、実際の環境から独立して動作できる完全なスタンドアロンの実行可能プログラムを生成することには頻繁に失敗する。

部分観測設定（POMDP）においては、同じ可視状態であっても、異なる内部条件（例：隠れた変数、確率的なリスポーン、あるいは優先度に基づく衝突ルールなど）が潜んでいる場合がある。LLM（大規模言語モデル）に基づく手法を含む現在の手法は、遷移中心（transition-centric）である傾向がある。つまり、入出力の振る舞いを再現したり、局所的なルール・エキスパートを組み合わせたりすることはできるが、遷移が「どのように」生成されるのかを説明する一貫したメカニズムを必ずしも合成できるわけではない。著者らは、有用な世界モデルとは、異なる状態から実行された際にも一貫性を保つために、オブジェクトの同一性、静的なシーン制約、アクションのセマンティクス、および更新順序を保持していなければならないと主張している。

手法: Mind-Studio フレームワーク

Mind-Studioは、状態・アクション・次状態の軌跡（trajectories）から、LLMを用いてpygameスタイルの実行可能な世界モデルを合成するために設計されたフレームワークである。プロセスは、**合成（Synthesis）とプランニング／評価（Planning/Evaluation）**の2つの主要なステージに分かれている。

1. 合成ステージ

合成パイプラインは、4つの主要なステップを通じて、生のインタラクション・データを実行可能なPythonプログラムへと変換する。

データ抽出（Data Extraction）: 生の観測結果は、OC-Atari RAMパーサーを用いて、オブジェクト中心の記号的状態（ $s_t$ ）に変換される。これらの状態は、ゲームオブジェクト（プレイヤー、敵、アイテム）を、型付けされた属性スロット（位置、サイズ、ステータス）と共に表現する。
エントロピーに基づく選択（Entropy-Based Selection）: すべての遷移を使用する代わりに、本フレームワークは、エントロピーに基づくスコアリング関数 $H(r_i)$ を用いて、ルールを包含する遷移のサブセット（$eT$）を選択する。このヒューリスティックは、一般的な反復運動よりも、オブジェクト属性の変化、関係的な遷移、および離散的なゲームイベント（例：衝突、スポーン）を示す行を優先する。これにより、LLMのコンテキストが、メカニズムを明らかにする情報量の多い例で満たされることを保証する。
圧縮とスキルファイルの統合（Compression and Skill File Integration）: 選択されたトレースは、以下の要素からなるプロンプトに適した形式へと圧縮される：
- 静的インターフェース ( $P$ ): 永続的なオブジェクトスロットとシーンのレイアウト（例：迷路の壁）。
- ステップごとのデルタ ( $\Delta P$ ): 各ステップで変化した属性のみ。
- ゲーム・スキルファイル ( $S_{game}$ ): オブジェクトの型、有効なアクション、ドメインの慣習、および静的なシーンレイアウトをエンコードしたファイル。決定的なのは、RAM由来の状態に欠落している静的なレイアウトのエントリを、ピクセルレベルのシーン抽出によって補完できる点であり、これにより、内部状態が利用できない場合でもこの手法が機能することを可能にしている。
LLM合成（LLM Synthesis）: LLMシンセサイザー ( $g_\phi$ ) は、スキルファイルと圧縮されたトレースをプロンプトとして受け取り、実行可能なPythonプログラム ( $M$ ) を生成する。得られるプログラムは、オブジェクトの状態を更新し、予測されたシーンを描画するスタンドアロンのシミュレータである。

2. 評価およびプランニング・ステージ

合成されたモデルは、Kステップ・ルックアヘッド（先読み）忠実度プロトコルを用いて評価される。

ルックアヘッド・メカニズム: 与えられた状態と候補アクションに対して、世界モデル ( $M$ ) と実環境（Real-ALE）を $K$ フレーム分ロールアウトする（ $K$ はゲーム固有であり、例として8または16）。
忠実度指標（Fidelity Metrics）:
- 次状態予測（NSP）: モデルの予測と実環境の間における、制御可能なキャラクターのバウンディングボックスの中心の、正確なピクセルレベルの一致度を測定する。
- 分岐NSP（Branch NSP）: プランナーに提示されるすべての候補アクションにわたる忠実度の平均。
- 選択されたアクションのNSP（Chosen-Action NSP）: 実際にプランナーによってコミットされたアクションに対するのみの忠実度の平均。
プランナーとしてのLLM（LLM-as-Planner）: 合成された世界モデルは、LLMプランナー ( $\pi_{LLM}$ ) のルックアヘッドソースとして機能する。プランナーは、現在の状態、検証済みのサブゴール、およびアクションごとの世界モデルのプレビュー・テーブルを受け取り、次のアクションを選択する。ロールバック・メカニズムは、ターミナル状態へのリセットや進捗の欠如を処理する。

主な貢献

本論文は、主に4つの貢献を述べている：

シングルパス合成パイプライン: 静的なレイアウトとアクションのセマンティクスをエンコードしたゲーム・スキルファイルによって導かれる手法。これにより、RAMベースの状態が利用できない場合でも、ピクセルレベルのシーン抽出に依存することでシステムを機能させることができる。
エントロピーに基づくセレクター: 隠れた変数やコンテキストの優先度ルールを露出させる遷移を選択するためのヒューリスティックであり、単なる一般的な動きではなく、多様なゲームメカニクスをカバーするようにトレーニングデータを保証する。
オブジェクト中心のプログラム表現: 単一のプログラム内において、隠れたルールを実行可能な制御フローとしてエンコードする、明示的な優先順位を持つ表現。これは、重み付きエキスパートの混合としてではなく、実現される。
Kステップ・ルックアヘッド評価プロトコル: 制御された条件下で、異なるルックアヘッドソース（合成されたモデル、PoE-World、直接的なLLM-as-WMを含む）を比較するための、共有されたLLM-as-Plannerを用いた標準化されたハーネス。

実験結果

フレームワークは、4つのOC-Atariゲーム（Montezuma's Revenge, Alien, Assault, Skiing）で評価された。

Montezuma's Revenge: Mind-Studioは、chosen-action NSPをPoE-Worldの0.3%から48.7%へと大幅に向上させた。また、異なるプランナー・バックボーンにわたって5/8のサブゴールを検証し、最高のベースラインの性能に匹敵しながら、より高い忠実度のアクションプレビューを提供した。
確率的ゲーム (Alien, Assault, Skiing): Mind-Studioは、学習されたルックアヘッドソースと比較して、より強力な分岐レベルの忠実度を示した。
- Assault において、Qwen3-Coderプランナーを用い、最も高いchosen-action NSP (0.95) および branch NSP (0.87) を達成し、PoE-WorldおよびLLM-as-WMを上回った。
- Alien においては、競争力のある結果を示したが、プランナーのバックボーンによって性能の変動が見られた。
- Skiing においては、忠実度は競争力があったものの、累積的な方向コスト（例：オーバーステアリング）を捉えるためのK-holdプロトコルの難しさにより、タスクの成功は限定的であった。
アブレーション研究: 圧縮ステップを取り除いた場合（デルタではなくフルトレースを使用）、性能が急激に低下した。これは、コンパクトな経験形式の重要性を裏付けている。また、ゲーム・スキルファイルもQwen3-Coderのようなモデルにとって極めて重要であることが示された。
プランナーの独立性: 合成されたプログラムは、異なるプランナーLLM（Qwen, DeepSeek, Llama, Claude, Gemini）にわたって効果的であり続け、世界モデルの品質がプランナーのフォーマット効果から分離可能であることを示した。

意義と主張

本論文は、Mind-Studioがエージェントの内部的な「世界のイメージ」を実行可能なプログラムへと変えることに成功したと主張している。その意義は、エントロピー選択された記号的トレースに対するシングルパスLLM合成が、部分観測設定におけるプランニングを意味のある形でサポートする実行可能な世界モデルを生成するのに十分であることを示した点にある。

主なポイントは以下の通り：

実行可能性 vs 予測: 単に次状態を予測したり、重み付きルールのアンサンブルを使用したりする手法とは異なり、Mind-Studioは実行、描画、および検査が可能な単一の制御フロー・プログラムを生成する。
視覚と記号の架け橋: ピクセルレベルの抽出からシードできるスキルファイルの使用は、生の視覚的観測と、合成に必要な構造化されたダイナミクス知識との間のギャップを埋める。
効率性: このアプローチにより、LLMプランナーは、従来のBFSプランナーよりも1桁小さいウォールタイム・予算内で、より多くのサブゴールに到達できる。
限界: 著者らは、幾何学的に敏感なコンテキスト（例：複雑なロープやスカルの相互作用）においてエラーが残っていること、およびタスクの成功が依然として探索の質に依存していることを謙虚に述べている。現在の範囲は、離散的なアクションと少数のオブジェクトタイプを持つAtari 2600ゲームに限定されている。

本論文は、この設計（スキルファイルに導かれたシングルパス合成、およびKステップ・ルックアヘッド忠実度による評価）が、オブジェクトレベルの観測と離散的なアクションが利用可能な領域において、軽量で解釈可能な世界モデルを構築するための再利用可能なブループリントを提供すると結論づけている。