Solaris: Building a Multiplayer Video World Model in Minecraft

この論文は、協調的なマルチエージェント相互作用と同期された動画・行動データの収集を可能にする新たなデータシステムを開発し、段階的な学習パイプラインと「チェックポイント付き自己強制（Checkpointed Self Forcing）」手法を用いて、一貫したマルチビュー観測をシミュレートするマルチプレイヤー動画世界モデル「Solaris」を構築し、既存のベースラインを上回る性能を実証したものである。

要約

この論文は、「Solaris（ソラリス）」という、マインクラフトのようなゲームの世界で、「複数のプレイヤーが一緒に遊ぶ様子」を AI が予測して作り出す新しい技術について書かれています。

これまでの AI は、一人称視点（自分だけがどう動くか）しか考えられませんでした。しかし、現実の世界やゲームでは、複数の人が同時に動き回り、お互いに影響し合っています。この論文は、その「複数の視点」を同時に理解し、予測する AI を作りました。

わかりやすくするために、いくつかの比喩を使って説明します。

1. 従来の AI と「一人のカメラマン」

これまでの動画生成 AI は、**「一人のカメラマン」**しか雇っていませんでした。

• できること: 「自分が前に進んでブロックを置く」という行動を、自分の視点だけで予測して動画を作る。
• できないこと: 「隣の人が同時にブロックを置いたら、自分の画面にはどう映るのか？」という、他者の視点との整合性が取れません。
• 結果: 複数の人がいる場面を再現しようとすると、お互いの位置関係がおかしくなったり、消えたりしてしまいます。

2. Solaris の「複数のカメラマンと指揮者」

Solaris は、**「複数のカメラマン」を同時に雇い、彼らを「指揮者（AI）」**が統括するシステムです。

• プレイヤー 1 の視点とプレイヤー 2 の視点を同時に作ります。
• プレイヤー 1 が「ブロックを置いた」という行動をとると、AI は即座に「プレイヤー 2 の画面にも、そのブロックが映り込むはずだ」と計算し、両方の動画を完全に同期させて作ります。
• これにより、まるで実際のゲームのように、お互いの動きがリアルタイムで反映された動画が生成されます。

3. 巨大なデータ収集工場「SolarisEngine」

この AI を教えるためには、膨大な「複数の人が一緒に遊ぶデータ」が必要ですが、そんなデータは世の中に存在しませんでした。
そこで、研究者たちは**「SolarisEngine」**という、自動でデータを集める巨大な工場を作りました。

• ロボット兵士: 中身はプログラムされたロボット（ボット）ですが、人間のように「鉱石を掘る」「家を建てる」「敵と戦う」などの複雑な行動を、2 人組で協力して行います。
• 自動撮影: これらのロボットが遊ぶ様子を、2 台のカメラ（それぞれの視点）で同時に撮影し、1200 万枚以上の画像データを収集しました。
• これまで「一人遊び」のデータしかなかったため、この「協力プレイのデータ集め」自体が大きな功績です。

4. 記憶と学習の魔法「チェックポイント付き自己強制学習」

長い動画を作るのは AI にとって非常に難しく、時間が経つと「あれ？このブロック、どこに置いたっけ？」と記憶が飛んでしまいがちです。
Solaris は、**「チェックポイント付き自己強制学習（Checkpointed Self Forcing）」**という工夫でこれを解決しました。

• 比喩: 長い小説を書くとき、毎回最初から読み直して「前の章の続きを書く」のは時間とメモリ（脳の容量）を大量に消費します。
• Solaris の方法:
  1. まず、メモ帳に「あらすじ（中間結果）」をメモだけ残して、一旦書き込みを止めます（メモリ節約）。
  2. その後、そのメモを頼りに、必要な部分だけ思い出して書き直します（再計算）。
  3. これにより、「長い物語（長い動画）」を、少ないメモリで、かつ前後のつながりが崩れないように作れるようになりました。

5. 何がすごいのか？（評価テスト）

この AI は、単にきれいな動画を作るだけでなく、以下のことを正しく理解しているかテストされました。

• 移動: 相手が動くと、自分の視点でも相手が動くように見えるか？
• 記憶: 一度見えない場所に行っても、相手の位置を覚えているか？
• 建築: 相手が壁を作ると、自分の視点でも壁が見えるか？
• 視点の一致: 2 人が同じ方を見たら、見える景色が同じか？

結果、Solaris は既存の技術よりもはるかに高い精度で、**「複数の人間が同じ世界で相互作用している」**ようなリアルな動画を生成することに成功しました。

まとめ

この研究は、**「AI が一人の視点だけでなく、複数の視点から世界を理解し、予測する」**という、新しい段階への一歩です。

• 従来の AI: 「私はこう動く」
• Solaris: 「私がこう動くと、あなただってこう見えるよね？そして、あなたがそう動けば、私にもこう映るはずだ」

この技術は、将来的に複数の AI が協力して複雑なタスクをこなしたり、よりリアルなバーチャルワールドを作ったりする基盤になると期待されています。まるで、AI が「他者の視点」を理解できるようになった瞬間のような画期的な成果です。

技術概要

Solaris: マルチプレイヤー・ビデオ・ワールドモデルの構築（Minecraft における）

この論文は、既存のアクション条件付きビデオ生成モデル（ワールドモデル）が単一エージェントの視点に限定されており、現実世界の多エージェント相互作用を捉えられないという課題を解決するため、Solaris と呼ばれるマルチプレイヤー・ビデオ・ワールドモデルを提案しています。Minecraft という環境を用いて、複数のプレイヤーの視点から一貫性のある未来の観測を生成する技術について詳述しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

現在のビデオ・ワールドモデルは、過去観測とアクションに基づいて未来の観測を生成する能力を持っていますが、単一エージェントの視点のみをシミュレートすることに限定されています。しかし、現実世界や複雑なゲーム環境は本質的に多エージェントであり、あるエージェントの行動（移動やブロック設置など）が、他のすべてのエージェントの視点に同時に反映される必要があります。
既存の手法では、時間的な一貫性だけでなく、エージェント間の視点の一貫性（あるプレイヤーが見ているものが、他のプレイヤーの視点でも論理的に一致していること）を維持することが極めて困難でした。特に、Minecraft のような 3D オープンワールド環境では、視点の整合性、遮蔽処理、空間的記憶、および環境の動的変化を同時に扱う必要があり、これは単一プレイヤーモデルよりも遥かに複雑な課題です。

2. 手法 (Methodology)

2.1 データ収集システム：SolarisEngine

既存の Minecraft AI フレームワーク（Malmo, MineRL, MineDojo など）は、マルチプレイヤー協調プレイの視覚データ収集には不向きでした。そこで、著者らはSolarisEngineを開発しました。

• アーキテクチャ: Docker コンテナをオーケストレーションし、制御用ボット（Mineflayer ベース）とカメラボット（GPU 加速レンダリング付き）を同期させます。
• 機能: プリミティブなスキルライブラリ（採掘、戦闘、建築、移動など）と通信層を組み合わせ、人間のような協調プレイをシミュレートします。
• データセット: このシステムを用いて、1,264 万フレーム（プレイヤー 1 人あたり 632 万フレーム）のマルチプレイヤーデータを収集しました。これは、アクション注釈付きのマルチプレイヤー Minecraft データセットとしては世界初です。

2.2 モデル設計：Solaris

Solaris は、単一エージェント用に事前学習されたビデオ Diffusion Transformer (DiT) をベースに、マルチプレイヤー対応へ適応させたモデルです。

• アーキテクチャ: 既存の「Matrix Game 2.0」を基盤とし、プレイヤー間の情報交換のためにマルチプレイヤー・セルフ・アテンション層を導入しました。各プレイヤーのトークンにプレイヤー ID 埋め込みを追加し、共有アテンションメカニズムを通じて視点間の情報を統合します。
• 学習パイプライン: 単一プレイヤーからマルチプレイヤーへ段階的に移行する 4 つのステージで構成されます。
  1. Bidirectional Single-Player: 単一プレイヤーデータ（VPT データセット）で微調整し、基本動作を学習。
  2. Bidirectional Multiplayer: 収集したマルチプレイヤーデータで双方向アテンションを用いて学習。
  3. Causal Multiplayer: 自己回帰生成を可能にするため、因果マスク（Diffusion Forcing）を用いて学習。
  4. Self Forcing: 長期生成の安定性を向上させるため、教師モデル自身の生成結果を教師信号として利用する手法を採用。

2.3 技術的革新：Checkpointed Self Forcing

長期の自己回帰生成において、従来の「Self Forcing」をスライディングウィンドウで適用すると、メモリ使用量が爆発的に増大する問題（$O(L_t \cdot L_s)$）がありました。

• 解決策: 著者らはCheckpointed Self Forcingを提案しました。これは勾配チェックポイント（Gradient Checkpointing）の概念を応用したもので、自己回帰ロールアウト時に中間ノイズフレームを勾配計算なしでキャッシュし、その後、バックプロパゲーションを有効にして並列的に再計算を行う手法です。
• 効果: これによりメモリ使用量を $O(L_t)$ に削減し、より長いコンテキストを持つ教師モデルから学生モデルを効率的に学習させることを可能にしました。

3. 主要な貢献 (Key Contributions)

1. SolarisEngine の開発: 大規模でロバストなマルチプレイヤー Minecraft データ収集システム。協調プレイ、視覚とアクションの同期、エラー耐性を実現。
2. 大規模マルチプレイヤーデータセット: 1,264 万フレームのアクション注釈付きマルチプレイヤーデータ。
3. Solaris モデル: 単一プレイヤーの事前学習モデルをマルチプレイヤー視点へ適応させた新しい DiT アーキテクチャ。
4. Checkpointed Self Forcing: メモリ効率の良い長期自己回帰学習を可能にする新しいトレーニング手法。
5. 評価ベンチマーク: 移動、グラウンディング（位置関係の理解）、記憶、建築、視点一貫性の 5 つのタスクでモデルを評価する新しいフレームワーク。

4. 結果 (Results)

• 定性的評価: Solaris は、建築、採掘、戦闘、PvP など、複雑なマルチプレイヤー Gameplay を一貫して生成できます。特に、複数のプレイヤーの視点で同時に雨が降る、インベントリが同期する、建築アニメーションが正確であるなど、環境のグローバルな整合性を保つ能力を示しました。
• 定量的評価:
  • FID (Fréchet Inception Distance): 既存のフレーム連結法（Multiverse など）や単一プレイヤー事前学習なしのモデルと比較して、全タスクで低い FID 値（高画質）を達成。
  • VLM 評価: 生成されたビデオのセマンティックな正確性を Vision-Language Model (VLM) に判定させた結果、建築や視点一貫性などの難易度の高いタスクで他手法を大きく上回るスコアを記録しました。
  • アブレーション研究: 「Checkpointed Self Forcing」における KV キャッシュへのバックプロパゲーションを有効にすることで、視覚品質がさらに向上することが確認されました。また、CausVid などの複雑な初期化手法なしに、単純な因果微調整で十分な性能が得られることも示されました。

5. 意義と将来展望 (Significance)

• マルチエージェント世界モデルの基盤: 単一エージェントを超え、複数のエージェントが共有する世界をシミュレートする最初の包括的なアプローチの一つです。
• Embodied AI への応用: 生成されたデータは、ビジョン・ランゲージ・アクション（VLA）モデルのトレーニングや、自律エージェントの計画・推論能力の向上に利用可能です。
• オープンソース: システム、モデル、データセット、評価コードのすべてをオープンソース化しており、研究コミュニティにおけるマルチエージェント世界モデルの発展を加速させることが期待されます。

限界と今後の課題:
現在のデータは完全に合成されたものであり、実世界の人間プレイとの分布ギャップが存在します。また、モデルには永続的なメモリがなく、プレイヤーが互いの視界から外れると文脈の追跡が困難になるという制限があります。将来的には、より大規模な単一プレイヤーデータとの統合や、世界の状態を維持するメカニズムの導入が課題となります。

総じて、Solaris は、マルチエージェント環境における視覚的・構造的な理解を深めるための重要なステップであり、次世代の AI エージェント研究の基盤となる可能性を秘めています。