MemoBench: Benchmarking World Modeling in Dynamically Changing Environments
本論文は、動的に変化する環境下で遮蔽された際に物理的な変化を遂げる物体に対して、ビデオ生成モデルがメモリ一貫性を維持する能力を評価するための、360個の正解クリップと多角的な評価スイートからなる診断ベンチマークであるMemoBenchを導入する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、手品師がカーテンの後ろでウサギを消すマジックを見ているところだと想像してください。ウサギが隠れている間、手品師はそれにニンジンを与え、散髪をし、ジャグリングを教えます。再びカーテンが上がったとき、ウサギが飛び出してきます。もしそのウサギが、依然としてただのふわふわした白いウサギのままで、ニンジンもジャグリングのスキルも持っていなければ、その手品は失敗です。観客は、ウサギが隠れていた間に起きたことを覚えていることを期待します。これが「ワールドモデリング（世界モデル）」における核心的な課題です。AI研究者たちは、単に綺麗な画像を繋ぎ合わせるだけでなく、現実の世界がどのように機能するかを理解する「脳」のように振る舞うビデオ生成AIを作ろうとしています。彼らは、これらのAIによる「世界」が、例えばコップがテーブルから落ちてソファの後ろに転がったとき、それが空中に消えてなくなるのではなく、まだそこに存在し、おそらくコーヒーをこぼした状態で、再び見えるのを待っているということを理解することを望んでいます。視界から外れたものを見失わないこの能力は「物体永続性（object permanence）」と呼ばれ、人間の赤ちゃんが早い段階で学ぶスキルです。しかし、AIにとって、カメラが動き回っている間に変化する世界を把握し続けることは、非常に困難なことです。
そこで、AIがこの記憶ゲームにおいてどれほど優れているかをテストするために設計された新しい「成績表」、MemoBenchが登場しました。研究者たちは、AIが物体の状態をどれほど正確に記憶しているかをテストする特別なテストを作成しました。AIには、物体（溶けていく氷や歩いているロボットなど）のビデオを見せた後、カメラがパンして物体を消させます。物体が隠れている間、それは溶ける、歩く、粉を注ぐといった変化を続けます。その後、カメラが再びパンして戻ってきます。ここで大きな疑問が生じます。AIは、隠れていた間に何が起きたかを覚えているでしょうか？論文によると、現在のAIモデルはこれに関して非常に稚拙です。最も賢いモデルであっても、物体の新しい状態を思い出すことに失敗します。物体を再び表示させることはできても、形が違っていたり、色が違っていたり、あるいは見た目が似ているだけの全く別の物体になっていたりすることがよくあります。この研究は、単にAIにカメラの向きを指示するだけでは不十分であり、AIには、誰も見ていない間に起こる変化を追跡するための、より優れた内部的な「メモリ（記憶）」が必要であることを示唆しています。
セットアップ：AIとのかくれんぼ
ハーバード大学、MIT、その他のトップ機関の研究者たちによって率いられたこのチームは、ビデオ生成AIのための巨大で厳格な「かくれんぼ」であるMemoBenchというベンチマークを構築しました。彼らは、モデルをテストするために360個のビデオクリップを作成しました。これらのクリップの半分は超リアルなビデオゲームエンジン（Unreal Engine 5）で作成され、もう半分は実際のカメラを使用して現実世界で撮影されました。
このゲームは、厳格な3部構成のスクリプトに従います：
- 可視（Visible）: カメラがターゲットとなる物体（ロボットや溶けているキャンドルなど）を見せます。
- 消失（Disappear）: カメラが背を向けます。物体は今や隠れていますが、それは自身の動作（溶ける、歩く、注ぐなど）を継続します。
- 再出現（Reappear）: カメラが再び戻ります。物体は再び見えます。
AIの仕事は、「消失」と「再出現」の部分のビデオを生成することです。AIは、物体がしばらく隠れている間にどのような状態になったかを推測しなければなりません。もし物体が溶けていたなら、AIは再出現時に、より小さく、水たまりのようなバージョンを見せなければなりません。もし歩いていたなら、AIはそれを元の場所ではなく、新しい場所に表示しなければなりません。
結果：AIは集中力が続かない
研究チームは、このベンチマークを用いて10種類の最先端AIモデルをテストしました。その結果は、一種の警鐘となりました。
「静止」によるトリック:
一部のモデルは、ズルをしようとしました。実際にカメラを動かして物体を追跡する代わりに、ビデオをほとんど動かさないようにしたのです。ビデオに変化がほとんどなかったため、これらのモデルは「滑らかさ」や「一貫性」の指標で高いスコアを獲得しました。これは、テスト中に席を立たないことで迷うことはないものの、何も学んでいない学生のようなものです。論文では、LTX-Videoのようなモデルは、カメラをほとんど動かさなかったために、見た目上は素晴らしく見えましたが、テストの精神には反していると指摘しています。
記憶のギャップ:
実際にカメラを動かし、指示に従おうとしたモデルでさえ、ひどく苦戦しました。最も重要なスコースである**物体再出現スコア（Object Reappearance Score: ORS）**は、AIが「正しい物体」を「新しい状態」で正しく再出現させられた頻度を測定します。
- 結果: どのモデルも、完璧な1.0のうち0.6を超えるスコアを出せませんでした。
- 意味すること: 最も優れたモデルであっても、物体を正しく記憶できたのは60%未満でした。多くの場合、物体は全く異なる形になって再出現したり、あるいは完全に消えてしまい、代わりに「幻覚（ハルシネーション）」による別の物体が現れたりしていました。
「カメラ制御」の錯覚:
研究では、カメラの動きに関する明示的な指示（例：「左にパンして、それから右に曲がる」）を与えられたモデルについても調査が行われました。指示書（マップ）を与えることでAIが記憶しやすくなるのではないかと考えられます。しかし、論文によれば、これらのモデルはカメラの経路に従う能力は向上したものの、物体の状態を記憶することに関しては依然として同様に劣っていました。これは、目的地までのルートを正確に教えてくれるGPSを持っていても、角を曲がった瞬間に車のエンジンが直前の状況を忘れてしまうようなものです。
どのように測定したか
単なる推測ではないことを確実にするため、チームは2種類の採点方法を用いました。
- 自動化されたメトリクス: コンピュータがAIのビデオと実際のビデオを比較し、ピクセル単位の一致度や3Dジオメトリをチェックしました。
- VQA（視覚的質問応答）: 彼らはスマートなAI判定員（LLM）を使用し、AIにビデオを見せて、「ロボットは同じ方向に歩き続けましたか？」や「キャンドルは隠れている間に溶けましたか？」といったYes/No形式の質問に答えさせました。この人間のようなチェックにより、単純なピクセル比較では捉えきれないエラー、例えば物体のアイデンティティの変化や、影が逆方向に動くといった物理法則の崩壊などを検出できました。
まとめ
論文は、AIが綺麗で滑らかなビデオを作ることは非常に得意になりつつある一方で、**「記憶」**については依然として非常に未熟であることを結論づけています。AIは世界を、連続した物語としてではなく、断片的なスナップショットの連続として扱っています。物体が画面外に消えると、AIはその存在を「忘れる」か、あるいは新しいバージョンの物体を捏造してしまうことがよくあります。
著者らは、AIが真の「ワールドシミュレーター（世界シミュレーター）」として機能するためには（これは自動運転車や、実際の部屋をナビゲートする必要があるロボットにとって極めて重要です）、単にビデオを美しく見せるだけでなく、見ていない間に何が起きたかを実際に記憶させる方法を学ぶ必要があると示唆しています。「消失と再出現」のテストは、現在のAIワールドモデルがいかに記憶力が短いかを示す、シンプルかつ強力な方法なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。