🤖 machine learning

Addressable Memory for Video World Models

本論文は、圧縮されたメモリ・スロットに個別の仮想的な位置を割り当てることで、時間的回転位置埋め込み（Rotary Positional Embeddings）の限界を克服し、新しいLoopBenchベンチマークにおいて時間的一貫性とエピソード想起の両方を大幅に向上させる、学習不要のフレームワークであるWorldTraceを導入するものである。

原著者： Xindi Wu, Sven Elflein, James Lucas, Olga Russakovsky, Laura Leal-Taixé, Despoina Paschalidou, Jonathan Lorraine, Aljoša Ošep

公開日 2026-08-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xindi Wu, Sven Elflein, James Lucas, Olga Russakovsky, Laura Leal-Taixé, Despoina Paschalidou, Jonathan Lorraine, Aljoša Ošep

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、単に世界を見せるだけでなく、プレイしている最中にその世界を「夢見る」ことができるビデオゲームエンジンを構築していると想像してください。前へ進むと、ゲームが次の景色のフレームを生成します。角を曲がると、新しい廊下を編み出します。これは「ビデオ・ワールドモデル」の魔法です。しかし、一つ問題があります。これらのデジタルな夢想家たちは、非常に短い注意力しか持っていません。彼らは、ゲームの最後の数秒間に起きたことしか覚えていられないのです。もしあなたが巨大な円を描いて歩き、10分後に元の場所に戻ってきたとしても、ゲームは出発点がどのような見た目だったかを忘れてしまいます。少し違う木が見えたり、壁がずれたり、色が完全に変わっていたりするかもしれません。それは、物語の始まりは覚えているものの、中盤に達する頃には主人公の名前を忘れてしまい、似たような名前の別の誰かを捏造してしまう語り部のようなものです。

これを解決するために、科学者たちは通常、コンピューターに目にしたものすべてを書き留めるためのより大きな「ノート」を与えようとします。しかし、ここには問題があります。そのノートには魔法のルールがあります。遠くに書き留めれば書き留めるほど、自分の筆跡を読むのが難しくなるというルールです。これらのAIモデルの世界では、その「筆跡」とは、いつ何が起きたかをモデルに伝える「位置エンコーディング（具体的にはRoPE）」と呼ばれる特別なコードです。もし固定サイズのノートにあまりに多くの歴史を詰め込もうとすると、コードが乱れてしまいます。モデルはメモを見ることはできますが、どのメモがどの瞬間に属するものなのかを判別できなくなるのです。それは、日付が消された日記を読もうとしているようなものです。ビーチについて書いたことは分かりますが、それが昨日だったのか、それとも去年だったのかが分からないのです。この論文は、まさにこの頭痛の種に取り組んでいます。つまり、プレイヤーが長く回り道をした後でも、どのようにしてビデオゲームの世界を一貫させ、認識可能な状態に保つかという課題です。

NVIDIAや複数の大学と協力して研究を行っているこのチームは、WorldTraceと呼ばれる巧妙な新システムを提案しています。彼らは、これらのAIモデルが忘れてしまう理由は、単に容量が足りなくなるからではなく、保存された記憶を「見つけ出す」能力を失うからであることを見出しました。想像してみてください。膨大な本の山を持っているけれど、カタログシステムを持っていない司書を。もしあなたが10年前の本を求めたとしても、司書はその本が山の中にあることは知っているかもしれませんが、ラベルが色褪せていたり現在の日付と一致しなかったりするため、棚から取り出すことができません。

チームは、主に2つの不具合を発見しました。第一に、ゲームがモデルの学習時よりも長く実行されると、記憶の「ラベル」が乱れてしまうことです。第二に、スペースを節約するために古い記憶を圧縮しようとすると（例えば、章全体を一文に要約するように）、誤ってイベントの「日付」が混ざり合ってしまい、その要約が互いに互換性のない情報の混乱した塊になってしまうことです。

これを解決するために、WorldTraceは、特別なファイリングシステムを備えた超整理された司書のように振る舞います。記憶の「日付ラベル」が未知の領域へと漂流してしまうのを防ぐ代わりに、このシステムはすべての記憶に、モデルがどれほど長くゲームを実行していても読み取ることができる、固定された安全なアドレスを割り当てます。これは、図書館が大きくなっても、すべての本に変わることのない永久的な棚番号を与えるようなものです。

この新しいファイリングシステムの中で、研究チームは「何を書き留めるか」を決めるために、2つの異なる方法を試しました。

WorldTrace-Field（滑らかな要約）: この手法は、長く曲がりくねったロードトリップを行い、旅の全般的な「雰囲気」を捉えた、滑らかで連続的なジャーナル（日記）を書くようなものです。物語が自然に流れるように、詳細は平均化されます。これにより、空の色が突然変わったり、地面がガタついたりすることなく、ゲームの整合性と安定性が保たれます。テストにおいて、このアプローチは従来の手法と比較して、ビデオの滑らかさを**15.5%**向上させました。
WorldTrace-Landmark（フォトアルバム）: この手法は、スクラップブックのようなものです。すべてを要約する代わりに、角を曲がった瞬間やユニークな建物を見た瞬間など、特定の重要な瞬間を選び出し、そのシーンの完璧で凍結されたスナップショットを保存します。プレイヤーが後でその場所に再び戻ってきたとき、モデルはその「写真」をスクラップブックから正確に取り出します。これは、「エピソード的回想」、つまり特定の場所を記憶することにおいて極めて重要です。テストにおいて、この手法は長い回り道の後にシーンを思い出す能力を**19.5%**向上させました。

彼らのアイデアが機能することを証明するために、チームはLoopBenchと呼ばれる新しいテストを考案しました。想像してみてください、あなたが正方形や三角形を描くように歩き、さまざまな場所を訪れ、そして出発点に戻るゲームを。このテストは、ゲームが出発点がどのような見た目であったかを覚えているかどうかをチェックします。結果は、WorldTraceがない場合、ゲームはしばしば元のシーンを再現できず、ぼやけた、あるいは間違ったバージョンを表示してしまうことを示しました。しかし、WorldTraceがあれば、ゲームは長い旅の後でも元のシーンを確実に再構築することができました。

この論文は、これらのAIの世界をリアルで永続的なものにする鍵は、単に「より多くのデータ」を保存することではなく、それが「検索可能な状態」であり続ける方法で保存することにあると示唆しています。記憶の「アドレス」を修正し、適切な種類の要約（滑らかな物語か、鋭いスナップショットか）を選択することで、WorldTraceはデジタル世界をより長く一貫した状態に保ち、短編のビデオクリップを、世界があなたを記憶し続ける終わりのない探索可能な冒険へと変える可能性を秘めています。

=== 要約 ===

技術的要約：ビデオ・ワールドモデルのためのアドレス可能メモリ（WorldTrace）

1. 問題提起

自己回帰的なビデオ・ワールドモデルは、エージェントが環境を探索し、場所を再訪できるインタラクティブな環境をシミュレートすることを目指しており、そこでは視覚的持続性（visual persistence）——以前に見たシーンを一貫して再生する能力——が求められます。しかし、これらのモデルは、生成がトレーニング時のコンテキスト・ホライゾンを超えて延長されると、視覚的持続性が急速に劣化するという課題を抱えています。

本論文では、この失敗を引き起こす、互いに結合した2つのボトルネックを特定しています：

アドレス可能性の失敗（Addressability Failure）： 生成ホライゾンが延びるにつれ、現在のクエリとキャッシュされたキーとの時間的オフセットが、トレーニング中に見られた範囲を超えてしまいます。これらのモデルは**回転位置埋め込み（RoPE）**に依存しているため、分布外（OOD）のオフセットでクエリを行うと、モデルは実際のコンテンツではなく「位置ノイズ」に注意を向けてしまい、蓄積されたメモリが事実上読み取り不能になります。
情報性の失敗（Informativeness Failure）： RoPEが回転した空間における標準的な圧縮戦略（例：キーの平均化）は、**位相の打ち消し合い（phase cancellation）**を引き起こします。遠隔のタイムスタンプからのキーを平均化すると、それらの異なるRoPE回転角が逆方向を向き、信号を打ち消し合って、圧縮されたサマリーを破損させてしまいます。

既存の手法は、これらの一方の問題（例：オフセットの制限やコンテンツの圧縮）のみに対処することが多いですが、結合された問題の両方を解決することはできず、結果として「アドレス不可能なメモリ」または「情報性の低いサマリー」のいずれかを招いています。

2. 手法：WorldTrace

著者らは、基礎となるワールドモデルを再学習させることなく、圧縮されたメモリをアドレス可能かつ情報的に保つための、トレーニングフリーのメモリフレームワークであるWorldTraceを提案します。

コア・メカニズム

WorldTraceは、アテンション・ウィンドウを直近のウィンドウ（逐次フレーム）とサマリー・キャッシュ（圧縮された履歴）に分割します。そして、以下の2つのボトルネックを解決します：

スロット・ランク仮想ポジショニング（アドレス可能性）：
絶対的なタイムスタンプを使用したり、オフセットを制限したりする（これにより異なるスロットが同じ位置に崩壊してしまう）代わりに、WorldTraceは各サマリー・スロットに、キャッシュ内でのランク（ $s$ ）に基づく固定された、分布内の仮想位置を割り当てます。
- 仮想位置 $t^v_s$ は、 $q - (L_{attn} - 1 - s)$ として計算されます（ここで $q$ は現在のクエリ位置）。
- これにより、すべてのサマリー・スロットがRoPEオフセットのトレーニング境界内の範囲内に留まり、総生成長に関わらず、トークンが個別にアドレス可能であることを保証します。
カノニカル・キー・ストレージ（情報性）：
圧縮中の位相の打ち消し合いを防ぐため、キーは平均化または保存される前に、その**非回転（unrotated）**状態であるカノニカル表現へと戻されます。
- 非回転（Unrotation）： $K_{canonical} = R(-\theta_f t_m) K_f^{t_m}$
- 再回転（Re-rotation）： 圧縮されたキーは、アテンションが行われる瞬間にのみ、スロット固有の仮想位置へと再回転されます。
- これにより、平均化が回転不変な空間で行われるようになり、ソースフレームの平均的なアテンション・スコアが保持されます。

2つのバリアント

WorldTraceは、異なるクエリ・パターンに合わせて設計された、2つの補完的な「コンテンツ・ライター（投影行列）」を提供します。

WorldTrace-Field（時間的コヒーレンス）：
- 戦略： 各サマリー・スロットに割り当てられた連続するフレームのグループを、カノニカル空間で一様に平均化します。
- 目的： 過去の情報である「粗いフィールド（coarse field）」を保持し、未来のアテンションが履歴に対して滑らかに広がる、滑らかな時間的継続性に最適化します。
- 実装： 情報の不可逆的な損失を避けるため、ホストメモリ内でソースフレームの移動平均を維持し、各ステップでスロットの平均を再計算します。
WorldTrace-Landmark（エピソード的想起）：
- 戦略： 平均化されたものではなく、**逐次的な（verbatim）**高価値フレーム（シーンのエントリ）を保存します。
- 選択： カノニカル・キーにおけるコサイン距離のスパイクを通じて、シーン・エントリ・イベントを検出します。
- 最適化： 凍結されたカノニカル・キーを使用します。ランドマークが選択されると、そのカノニカル・キーは一度だけ計算され、保存されます。その後のスロットのシフトはキーを再回転させないため、浮動小数点数のドリフトを排除し、正確なシーン・トレースを保持します。
- 目的： エージェントが特定の顕著な過去のシーンを再構成する必要がある、エピソード的想起に最適化します。

3. 主な貢献

長期ホライゾンの失敗の診断： 本論文は、長期ホライゾンの失敗が、根本的にアドレス可能性（RoPEによるOODオフセットに起因）と情報性（RoPEの位相打ち消し合いに起因）の問題であることを特定しました。
WorldTraceフレームワーク： 位置割り当てとコンテンツ圧縮を分離した、トレーニングフリーのアプローチを提案。アドレス可能性を維持するためのスロット・ランク仮想位置と、情報性を維持するためのカノニカル・キー・ストレージを導入しました。
LoopBench： 自己回帰的なワールドモデルにおけるエピソード的想起を評価するための新しいベンチマーク。外部の参照画像なしに、圧縮されたキャッシュが以前に訪れたシーンを再構成できるかどうかをテストします（例：ABA、ABCA、ABCDA ループ）。
実証的検証： WorldTraceが有効なメモリ・ホライゾンを拡張し、スライディング・ウィンドウのベースラインや他の圧縮手法を大幅に上回る、時間的一貫性とシーン再構成の両方において優れた性能を示すことを実証しました。

4. 実験結果

評価には、Matrix-Game-2 (MG2) ワールドモデル（1.3B パラメータ）と LoopBench ベンチマークを使用しています。

時間的コヒーレンス (WorldTrace-Field):
- 長期ロールアウト（ $N=48$ チャンク）において、WorldTrace-Fieldはスライディング・ウィンドウ・ベースラインと比較してTemporal SSIMを+15.5%向上させました。
- ベースライン（Block-relative, Centroid-linear）が $N=18$ 以降でドリフトし始め、不整合なジオメトリを生成し始めたのに対し、WorldTrace-Fieldはシーンのコヒーレンスを維持しました。
- アブレーション研究により、位置割り当てが拘束条件であることが確認されました。イン分布の仮想位置がなければ、圧縮による恩恵は得られません。
エピソード的想起 (WorldTrace-Landmark):
- LoopBenchのABA再訪において、WorldTrace-Landmarkはスライディング・ウィンドウ・ベースラインに対してエピソード的想起（Position-Aligned CLIP, PACによって測定）を+19.5%向上させました。
- ベースラインがシーン構造の回復に失敗した一方で、様々なトポロジー（ABA, ABCA, ABCDA）およびカメラの向きにおいて、元のシーンの外観を再構成することに成功しました。
- 拡張されたホライゾン（ $N=256$ ）において、バーティン（逐次的）なランドマーク想起のみが高いPACスコア（ $\approx 0.99$ ）を維持し、ランドマークなしのcanonical-Kアンカリングは大幅に低下しました。
アブレーションの洞察:
- 位置 vs コンテンツ： 正しい位置割り当て（WorldTrace）は、圧縮を機能させるために必要です。正しい位置を用いた標準的な平均化は、カノニカル平均化と比較して依然として下回ります。
- 位相の打ち消し合い： カノニカル平均化は、特に $N_s=4$ のサマリー・スロットにおいて、標準的なRoPE空間での平均化と比較してLatentDiffを25.3%減少させました。これは、低周波コンテンツを保持するためにキーを非回転させることが極めて重要であることを証明しています。

5. 重要性と主張

本論文は、ビデオ・ワールドモデルにおける視覚的持続性は、単に多くのコンテンツを保存することではなく、コンテンツがアドレス可能であり、かつ忠実に圧縮されていることを確実にすることであると主張しています。

理論的洞察： 著者らは、ビデオ・ワールドモデルのメモリ設計は、「メモリがどこに配置されるか（RoPEを通じてアドレス可能にするため）」と「何が保存されるか（情報性を確保するため）」という2つの問いに答えなければならないと論じています。
実用的影響： WorldTraceは、ベースモデルを再学習させることなく、数秒から分単位の原点回帰ロールアウトに至るまでの、視覚的に持続的な生成を可能にします。
限界： 著者らは、WorldTraceが固定のKVキャッシュ予算を持つ、時間的RoPE自己回帰モデル向けに設計されていることを謙虚に述べています。現在のコンテンツ・ライター（FieldおよびLandmark）は単純な構造化投影であり、将来のシステム、特にエージェントが変化する視点から場所を再訪するインタラクティブな設定においては、より適応的な投影の選択が必要になる可能性があります。

要約すると、WorldTraceは、RoPEベースのアテンション・メカニズムに固有のアドレス可能性と情報性のボトルネックを解決することで、ビデオ・ワールドモデルの有効なメモリ・ホライゾンを拡張するメカニズムを提供します。