🤖 AI

Persistent Computational State: A Session-Centric Runtime for Generative World Models

本論文は、現在の生成型ワールドモデルがステートフルなシミュレーション・タスクをサポートできていない原因は、アーキテクチャの限界ではなく、永続的な計算状態を破棄してしまうリクエスト中心のランタイム設計にあると論じ、効率的なバイト単位で同一のワールドモデルのロールアウトを促進するために、非再計算可能な状態の即時的なチェックポインティングと復元を可能にするセッション中心のランタイムを提案するものである。

原著者： Zhen Lin

公開日 2026-07-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhen Lin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、単にスクリプトを再生するだけでなく、実際に「生きている」ビデオゲームを構築していると想像してください。この種のゲームでは、あなたがキャンプファイアから立ち去っても、火は燃え続けます。坂道を転がるボールを放置すれば、それは転がり続けます。これは「生成的な世界モデル（generative world models）」の夢です。つまり、単に綺麗な絵を生成するだけでなく、一貫した、生きている現実をシミュレートできるAIシステムです。しかし、ここに落とし穴があります。この世界を生かし続けるためには、プレイヤーが目を離して再び見たときでも、コンピュータは極めて微細な詳細に至るまで、何が起きたのかを正確に覚えておく必要があるのです。

長い間、科学者たちは、これらのAIモデルが失敗しているのは、AIが「物忘れが激しい」あるいは「記憶力が悪い」からだと考えてきました。彼らは、AIの脳が物語全体を保持するには容量が足りないのだと想定していました。しかし、この論文は異なる問いを投げかけます。もし、問題がAIにあるのではないとしたら？もし、問題がゲームを実行しているコンピュータ・システムの方にあり、プレイヤーが休憩を取るたびに、AIのメモをコンピュータが勝手に捨ててしまっているとしたらどうでしょうか？著者たちは、世界の一貫性を保つためにAIが必要とする「記憶」とは、魔法のような超能力ではなく、コンピュータ・システムが誤って削除していた、いくつかの特定のデータに過ぎないことを発見しました。

「忘れたの？」という大ミステリー

AIビデオ生成の世界には、もどかしいグリッチ（不具合）が存在します。AIに「ベッドの上でジャンプする猫」を見せるよう指示し、次に「その猫が歩いて離れていく様子」を見せるとします。そして次に、「猫がベッドに戻ってくる様子」を見せるよう頼みます。完璧な世界であれば、猫は全く同じ場所に、毛並みも同じように乱れた状態で着地するはずです。しかし、2026年、研究者たちが14種類の異なるモデル（MBenchというテストを使用）と23種類の異なるモデル（WRBenchを使用）を用いてこれをテストしたところ、同じ悲しい結果が出ました。猫は正しく戻ってこなかったのです。世界は「ドリフト（漂流）」していました。ベッドの見た目は変わり、猫の位置は狂い、物理法則は壊れていました。

専門家たちはこれらの壊れた世界を見て、「AIモデルが弱すぎる。新しいトレーニングや、より大きな脳、そして記憶する方法を学ぶための特別なメモリ・モジュールが必要だ」と指摘しました。彼らは、問題はモデルの「脳」の中にあると考えていたのです。

しかし、Zhen Lin氏率いるこの論文の著者たちは、探偵のように動くことに決めました。彼らは、犯人はAIの脳ではなく、AIを実行しているコンピュータ・システム、すなわち「ランタイム（実行環境）」ではないかと疑ったのです。

探偵の実験：「タイムトラベル」テスト

彼らの理論を証明するために、研究者たちは巧妙な実験をセットアップしました。彼らは動作しているAIモデルを取り上げ、シーンを生成させました。そして、シーンが複雑になる直前、コンピュータが保持している2つの非常に具体的なものの「スナップショット」を撮りました。

AIが最後に見た「最後の画像」（単純な数値のリストとして保存）。
「乱数生成器（RNG）」の状態。これは、AIの内部的な「サイコロのロール」のようなものです。AIが決定を下したり、新しい詳細を作成したりするたびに、デジタルなサイコロを振ります。もし、サイコロがどの数字に落ちたかを正確に保存しなければ、次のロールは異なるものになり、世界は変化してしまいます。

このスナップショットを撮った後、研究者たちはAIに「旅」を強制しました。AIが持とうとしている「暗黙的な」記憶を完全にかき乱すほど、長く、荒 WILD な一連のイベントを生成させたのです。その後、彼らは旅を停止し、コンピュータが保持していたすべてを破棄し、スナップショットを復元しました。

結果は衝撃的でした。AIがスナップショットから継続して生成したビデオは、AIが一度も離れていなかった場合に生成されるビデオと、バイト単位で完全に一致したのです。完璧でした。猫は全く同じ場所に、着地しました。ピクセルは同一でした。

これは、AIがすべてを完璧に記憶できることを証明しました。問題はAIが物忘れをしたことではなく、AIがそれを使用する前に、コンピュータ・システムがメモ（スナップショット）を捨ててしまっていたことだったのです。

「リクエスト」対「セッション」の混同

なぜコンピュータはメモを捨ててしまったのでしょうか？実は、コンピュータはチャットボット（宿題のために会話をするようなもの）向けに設計されたルールに従っていたことが分かりました。チャットボットは「リクエスト」単位で動作します。あなたが質問をし、コンピュータが答え、その後、次の人の準備をするためにデスクを片付けます。これはチャットボットにとっては素晴らしいことです。なぜなら、文脈を忘れてしまっても、コンピュータは以前の言葉を読み直して理解できるからです。

しかし、世界モデルは異なります。これらは「セッション」単位で動作します。セッションとは、連続した物語です。もし物語を一時停止して後で戻ってきた場合、あなたは本を読み直してほしいのではなく、まさに中断した場所から再開してほしいはずです。

著者たちは、欠けているデータのピースを**永続的計算状態（Persistent Computational State: PCS）**と呼んでいます。これは、世界の一貫性を保つために「必ず」保存しなければならない、ごく小さな必須データのリストです。

単純なモデルの場合、PCSは単なる最後の画像とサイコロのロール（約1.38 MB）です。
「メモリバンク」を持つより複雑なモデルの場合、それはそのバンクとサイコロのロール（約185 KB）です。
過去のデータを使用する「ウィンドウ」を持つモデルの場合、それはそのウィンドウとサイコロのロール（約1.67 GB）です。

この論文は、すべてを保存する必要はない（それは巨大で低速になるため）ことを示しています。ただPCSを保存すればよいのです。さらに素晴らしいことに、このデータを保存・復元するのにかかる時間はわずか0.012ミリ秒です。これは、ビデオの1ステップを生成するのにかかる時間（1.85秒）よりも5桁も速いのです。実質的に「無料」と言えます。

「関連性」対「新しさ」のひねり

また、論文は、コンピュータのメモリがいっぱいになったときに、どのようにメモリを管理すべきかについて、驚くべき発見をしました。チャットボットでは、コンピュータは通常「新しさ（Recency）」のルールを使用します。つまり、新しいものを作るために、最も古いメッセージを捨てます。しかし、世界モデルにとって、これは災難です。

あなたが映画を見ていると想像してください。コンピュータが「古い」という理由で10分前のシーンを捨て、1分前のシーンだけを残すと決めたとします。もしその映画が、結末を理解するために10分前の出来事を覚えている必要があるとしたら、映画は成立しません。

著者たちは、メモリ管理のさまざまな方法をテストしました。そして、世界モデルにおいては、「関連性（Relevance）」のルールが必要であることを発見しました。たとえ古かったとしても、カメラが「戻ってくる」瞬間（リターン）にとって重要な部分を保持しておくべきなのです。

コンピュータがメモリを非常に節約しなければならない状況（利用可能なメモリが2 MBのみ）において、「新しさ」のルールでは16の世界のうち6つしか保存できませんでした。
一方、「関連性」のルールは、16の世界すべてを保存しました。

これは大きな転換です。世界を生かし続けるためには、チャットボットのように考えるのをやめ、どのプロットポイントが最も重要であるかを知っている「ストーリーテラー」のように考えなければならないということです。

大きな教訓

この論文は、AI世界モデルの「物忘れ」は、AIの脳のバグではないと結論付けています。それは、コンピュータ・システムの「家事（管理）」のバグなのです。AIは覚える準備ができていましたが、システムがメモをゴミ箱に放り込み続けていたのです。

「永続的計算状態（スナップショットとサイコロのロール）」を保存するようにシステムを変更し、メモリが不足した際に何を保持するかを判断するよりスマートな方法を用いることで、研究者たちは以下のことを示しました：

世界を完璧に復元できる。 AIは、長い旅の後であっても、以前と全く同じ状態に戻ることができる。
コストはほとんどかからない。 この状態を保存するのにかかる時間はマイクロ秒単位である。
より多くのセッションを実行できる。 コンピュータは、重たいメモリ全体を高速なグラフィックスカード上に保持し続ける必要がないため、メモを通常のハードドライブに保存できる。これにより、単一のグラフィックスカードで、以前よりも約2,300倍多くのアクティブなセッションを処理できるようになる。

著者たちは、単にメモリを修正する方法を見つけたのではありません。彼らは、その「修正」が、実はコンピュータの時間と空間の管理方法における単純な変更であったことを見出したのです。世界は失われていたのではなく、ただ待っていただけなのです。

技術要約：生成型ワールドモデルにおける持続的計算状態（Persistent Computational State）

1. 問題提起

2026年中盤までに、大規模ベンチマーク（MBenchおよびWRBench）は、生成ビデオ・ワールドモデルが「視点の離脱（viewpoint excursions）」（例：カメラがシーンから離れて戻ってくる動き）において一貫性を維持できないことを確立した。モデルに一時停止や分岐の後の軌跡を再開させるよう求めると、戻ってきたシーンは事前の構成と一致しないことが多く、視界から消えたオブジェクトが整合性を持って戻ってこない。

この分野における支配的な診断は、この失敗をモデル自体の問題に帰属させている。つまり、現在のアーキテクチャには隠れた変化を記録するための「what-memory（何が起きたかの記憶）」が不足しているか、あるいは学習目的関数が終端の永続性を監督できていないという示唆である。その結果、提案される救済策は、高価なアーキテクチャ変更、新しいメモリモジュール、および大規模な再学習を伴うものである。

本論文による反論的診断：
本論文は、多くのモデルクラスにおいて、その診断は不完全であり、しばれて誤っていると主張する。この失敗はモデルの能力不足ではなく、ランタイムの失敗である。すなわち、サービング層が、世界の継続に必要な「非再計算可能な状態（non-recomputable state）」を破棄してしまっているのである。現代の生成サービングは「リクエスト中心」であり、LLMのサービングから継承された「すべての有用な状態は再計算可能である」という仮定に基づき、リクエストの境界で状態を回収（reclaim）している。しかし、ワールドモデルにとってこの仮定は偽である。なぜなら、彼らの状態は非再計算可能なカーネル（例：乱数生成器（RNG）のストリームや回帰的メモリの活性化）を保持しており、これは入力を再実行しても再構築できないからである。この状態が破棄されるとき、世界が失われるのは、モデルがそれを生成できないからではなく、ランタイムが「シード（種）」を捨ててしまったからである。

2. 方法論とコア抽象化

リストア実験（The Restore Experiment）

著者らは、「モデルの欠陥」仮説を論破するために構成的な実験を行う。彼らはワールドモデルを取り、ロールアウトを生成し、特定のランタイムオブジェクト（観測、RNG状態、またはメモリバンク）のスナップショットを作成する。次に、モデルを真の視点離脱（明示的な連続性を破壊するもの）へと駆動させ、スナップショットを復元し、継続させる。

結果： 継続された軌跡は、離脱しなかった場合の軌跡とバイト単位で同一であった（DINOv2類似度 1.0、ピクセル誤差 0.0）。
アブレーション： スナップショットからRNGを取り除くと結果が劣化することから、このスナップショットが「ロードベアリング（負荷を担う重要な要素）」であり、無視されるものではないことが証明された。
結論： 能力は存在していた。ランタイムが必要な状態を捨てていたのである。

持続的計算状態（Persistent Computational State: PCS）

本論文では、**持続的計算状態（PCS）**を、意味的な継続を保証するために生存しなければならない、最小限の非再計算可能な状態として定義する。

形式的定義： $PCS(M) = \arg \min_S \{ |S| : D(restore(S), oracle) \le \epsilon \}$ $P C S (M) = ar g min_{S} {∣ S ∣ : D (r es t or e (S), or a c l e) \leq ϵ}$
- ここで、 $S$ はフルランタイム状態 $H$ の部分集合であり、 $D$ は意味的距離指標、 $\epsilon$ は許容誤差（ビット完全性の場合は0）である。
特性：
1. 最小性（Minimality）： 真の部分集合では不十分であり、すべての要素がロードベアリングである。
2. 復元可能性（Recoverability）： 余剰部分 $H \setminus PCS$ は導出可能（再計算可能）であり、保存する必要はない。
3. モデル依存性（Model-Dependence）： PCSの構成はアーキテクチャによって異なる（例：マルコフ的なモデルにおけるフラットな観測＋RNG vs 非マルコフ的なモデルにおける成長するメモリバンク）。

PCSコントラクト

本論文は、セッション中心のランタイムのためのコントラクトを規定する：

API： checkpoint(s), restore(c), fork(c), delete(c)。
不変条件（Invariants）：
- ラウンドトリップ： 復元は、元の状態と意味的に等価な状態をもたらす。
- 耐久性： チェックポイントはプロセスの死やプロセス境界を越えて生存する。
- フォーク独立性： 子の継続は、親の継続から意味的に独立している。
- スナップショットの完全性： チェックポイントは正確にPCSのみを捉え、導出可能なものは何も含まない。

測定による発見（フィンガープリント法）

状態リストを手動で設計する代わりに、本論文はモデルに依存しないフィンガープリント手順を提案する：

必要性テスト： ランタイムバッファを系統的にアブレーションする。バッファの除去が、許容誤差を超えて戻り一貫性を劣化させる場合、それは「必要」である。
十分性テスト： 必要な集合のみを復元する。指標が許容誤差内であれば、その集合がPCSである。
冗長性のフォールバック： 相関のあるバッファについては、貪欲選択（greedy selection）によって処理する。
この手順により、異なるモデルクラスに対して、構造的に異なるPCS構成（フラット、成長型、またはウィンドウ型）を、アーキテクチャの仮定なしに自動的に発見できる。

セッション中心のランタイム

著者らは、サービングの単位を「リクエスト」ではなく「セッション」とするランタイムを構築する。

アーキテクチャ： GPUは一つのアクティブなセッションを保持し、他のすべてのセッションのPCSはホスト（CPUメモリ）上に存在する。
エビクション（退避）ポリシー： LLMが最新性（LRU）に基づいてエビクションを行うのに対し、ワールドモデルは**関連性キー付きのエビクション（relevance-keyed eviction）**を必要とする。「戻り（アンカー）」に関連するフレームは保持されなければならない一方で、離脱中の直近のフレームは破棄できる。
検証： **戻り一貫性適合性テスト（Return-Consistency Conformance Test）**が使用される。これはビット完全性（間違った状態でもパスしてしまう可能性がある）とは異なり、復元された世界がアンカーと意味的に一貫していることを検証し、「もっともらしいがドリフトした」世界を拒絶する。

3. 主な結果

実験設定

単一のA800 GPUを使用し、3つの異なるモデルクラスで評価を行った：

Cosmos3-Nano: 行動条件付き拡散モデルを用いたマルコフ的モデル。
WorldMem: 明示的なメモリバンクを持つ非マルコフ的モデル。
Matrix-Game 2.0: アドレス指定可能なKVコンテキストを持つ自己回帰的因果拡散モデル。

パフォーマンスとスケーリング

バイト単位の復元： 3つのモデルすべてが、クロスプロセス復元後にビット単位で同一の継続（またはMatrix-Gameにおける潜在変数単位での同一性）を達成し、「ランタイム破棄仮説」を裏付けた。
コスト： チェックポイント/復元操作は約0.012 msであり、これは生成ステップ（1.85 s）よりも5桁高速である。状態管理が消費するウォールタイムは約0.00035%である。
セッションのスケーリング：
- デバイスメモリ： 稼働中のセッション数に関わらず一定（約4.7 GB）である。なぜなら、一つのセッションのみが常駐しているからである。
- ホストメモリ： セッション数に応じて線形にスケールする。
- 容量： セッション中心のランタイムは、リクエスト中心のランタイム（すべてのセッションのワーキングセットをデバイス上に保持しなければならない）よりも、約2,300倍多い常駐セッションをサポートできる。
エビクションの効率性： メモリ圧迫下において、関連性キー付きのエビクション（アンカーフレームを保持する）は、最新性ベース（LRU）のエビクションを大幅に上回る。厳しい予算下では、関連性ベースの保持は16/16の世界を保持したが、LRUは6/16しか保持できなかった。
プランナーのワークロード： モンテカルロ木探索（MCTS）プランナーのシナリオにおいて、最新性ベースのエビクションは探索木を崩壊させ（フォークを孤立させた）、関連性ベースのエビクションは、失われた戻りゼロで探索を完了させた。

機能しなかったもの

予測的エビクション： メモリが拘束される前（sessions bind）にセッションを縮小することは、リアクティブなエビクションよりも一貫して悪かった。これは、セッションを保持フロアへ早期に押し込み、後のドロップを増大させるためである。
予測的アドミッション： 予測需要に基づいてセッションを拒否することは有害であった。これは、リアクティブなベースライン下で成功したはずのワールドを拒絶してしまうためである。

4. 意義と主張

本論文は、生成モデルにおける「世界の喪失」は、多くの場合、モデルの欠陥ではなくサービングのギャップであると主張している。

パラダイムシフト： サービングの単位を「リクエスト」から「セッション」へと移行し、**持続的計算状態（PCS）**をプリミティブとして導入することを提唱している。
測定可能性： 永続性に必要な最小限の状態は、手動で設計されるのではなく、測定によって発見できることを示している。
正しさ vs 効率性： 標準的なLLMサービングの仮定（再計算可能性）が、ワールドモデルにとっては誤りであることを強調している。ワールドモデルに対して再計算キャッシュに依存するランタイムは、「もっともらしい」が間違った世界を返し、PCSを持つセッション中心のランタイムは、正確な世界を返す。
謙虚さ： 著者らは、すべてのアーキテクチャ（例：回帰的潜在状態モデルはテストされていない）に対して普遍性を主張しているわけではないことを明記している。また、「正確性」の結果は、観測またはメモリバンクが可視状態を完全に捉えているモデルに特有のものであることも明確にしている。さらに、彼らの貢献はアーキテクチャそのものではなく、抽象化とサービング層であることを強調している。

核心となる結論は、世界を保持することはマイクロ秒単位のコストで済むサービング・プリミティブであり、その失敗はモデルの容量不足ではなく、非再計算可能な状態を破棄している結果であるということである。