技術要約：人口規模に依存しないマルチエージェント・ワールドモデル（Khora）

1. 問題提起

既存のワールドモデルは、単一エージェントまたは固定された集団における視覚的予測やインタラクティブな生成において大きな進歩を遂げてきた。しかし、これらのモデルをマルチエージェント環境へと拡張する際には、根本的なスケーラビリティの課題が生じる。現在のアプローチは一般に、学習時と推論時の両方において固定されたエージェント数を想定している。この仮定は、モデルを既定のエージェント数に縛り付け、推論時のスケーラビリティを制限することになる。

具体的には、既存の手法には以下の2つの問題がある：

1. 高密度な相互作用（Dense Interactions）: 一部の手法は、ビデオジェネレーターの内部でエージェント間のクロス通信を直接導入しており、観測ストリーム間の相互作用が密になる。これにより、集団が増加するにつれて計算コストが二次関数的（$O(N^2)$）に増大する。
2. 固定されたレイアウト（Fixed Layouts）: 他の手法は共有された潜在表現を維持するものの、あらかじめ定義された数のビュー（視点）スロットを中心に生成を行う。推論時にエージェントを追加する場合、再学習やアーキテクチャの変更、あるいは固定されたビューレイアウトが必要となる。

本論文は、物理世界の支配的なルールは**集団に依存しない（population-agnostic）**ものであると主張する。基礎となるダイナミクスは、エンティティの数に関わらず同じ物理法則に従うべきであり、集団の拡大は固定されたモデルコンポーネントを通じてエンコードされるのではなく、推論時の操作としてサポートされるべきである。

2. 手法：Khora

著者らは、オープンワールド・シミュレーション向けに設計された、スケーラブルなマルチエージェント・ワールドモデルであるKhoraを提案する。核心となる洞察は、**ワールド状態の進化（world-state evolution）と視覚的レンダリング（visual rendering）**を切り離すことにある。エージェントのストリーム間で高密度な相互作用を通じてビデオを生成するのではなく、Khoraは独立して進化する共有のワールド状態を維持し、エージェントはその状態をクエリすることで自身の特定の観測を生成する。

Khoraは主に以下の3つのコンポーネントで構成される：

A. STBoard（時空間ボード）

STBoardは、集団に依存しない、永続的かつ共有されたワールド表現として機能する。これには以下が含まれる：

• 静的シーンメモリ（Static Scene Memory）: 環境の永続的なコンテキスト（例：点群表現）を表す粗い静的プライア（事前分布）。シーンプライアから初期化され、視覚的軌跡を通じて洗練される。
• 動的エンティティ・テーブル（Dynamic Entity Table）: 共有ワールド座標系におけるアクティブなエージェントの状態を格納する、動的にサイズ変更可能なテーブル。各エントリには、アイデンティティ、ポーズ、速度、方位、占有率、およびタスク依存の状態などの属性が含まれる。
• 機能: これはエージェントがアクションと観測を書き込むための通信チャネルとして機能する。決定的なことは、ワールド状態の維持とカメラレイアウトを分離しているため、複数のビューがレンダラー内での直接的な通信なしに、進化する同一の状態をクエリできる点である。

B. アクション条件付きワールド進化（Action-Conditioned World Evolution）

このコンポーネントは、将来のエージェントポーズを予測し、入力されるアクションストリームに基づいて共有動的状態を更新する。プロセスは以下の通りである：

1. 決定論的な運動提案（Deterministic Motion Proposal）: 運動学モデル $K$ が、現在のポーズとアクションに基づきポーズの変化を予測する（ $\hat{p}_{t+1} = K(p_t, a_t)$ ）。
2. 学習された残差（Learned Residual）: 学習された関数 $\Delta$ が、共有ワールド状態と静的シーンコンテキストを用いてこの提案を補正し、アクションのみからは推論できない複雑なダイナミクス（衝突、地形の影響、相互作用）を考慮する。
3. 状態更新: 予測されたポーズとアクションは、更新関数 $U$ を介して共有動的状態 $S_{t+1}$ を更新するために使用される。

視覚合成の前にポーズと状態の進化を明示的にモデリングすることで、レンダラーへの負荷を軽減し、物理的一貫性を確保する。

C. 幾何学ガイド付きビュー合成（Geometry-Guided View Synthesis）

ワールド状態が更新されると、要求された各ビューに対して個別の観測が合成される：

1. 投影（Projection）: 対象となるエージェントに対し、共有状態内の潜在的に可視なすべてのエンティティを、予測されたカメラポーズを用いて対象カメラの画像平面に投影する。
2. ラスタライズ（Rasterization）: 投影されたエンティティは、固定解像度の空間条件マップ（$C_{t+1}$）にラスタライズされる。このマップは構造化された属性（占有率、深度、方位、アイデンティティ）をエンコードしており、アクティブなエージェントの数に関わらず固定の空間形状を持つ。
3. レンダリング（Rendering）: 共有ニューラルレンダラー（拡散トランスフォーマー・アーキテクチャに基づく）が、条件マップ、更新されたワールド状態、およびカメラポーズを処理し、対象の観測を生成する。

スケーラビリティのメカニズム: レンダラーは各ビューに対して独立して呼び出され、条件マップは固定の次元数を持つため、ニューラルレンダラーの計算コストはエージェント数に対して二次関数的ではなく、ビューの数に対して線形（$O(N_v)$）にスケールする。幾何学的投影のコストは $O(N_a N_v)$ であるが、テストされた範囲内では総レイテンシの8%未満を占める。

3. 主な貢献

1. 推論時のスケーラビリティの定式化: アーキテクチャの変更や再学習なしに、動的に変化するエージェント集団をサポートする能力を、マルチエージェント・ワールドモデルの核となる目的として明示的に定式化した。
2. Khoraアーキテクチャ: 永続的な共有STBoardと、投影ベースのビューごとのレンダリングインターフェースを介して、ワールド状態の進化と視覚的レンダリングを分離するスケーラブルなアーキテクチャの導入。
3. 実証的検証: Khoraが、視覚的品質、マルチビューの一貫性、およびアクションの一貫性を維持しながら、未知の数のエージェントに対して汎化できることを示した。本システムは、主要なレンダリングコストがクエリされたビューの数に対して線形にスケールする、スケーラブルなリアルタイム・シミュレーションを実現している。

4. 結果

著者らは、制御された定性的評価とインタラクティブなシステムプロトタイプを通じてKhoraを評価した：

• 視覚的品質: 定量的指標（PSNR, SSIM, LPIPS, FID, FVD）は、Khoraが競争力のあるビューごとの視覚的品質を保持していることを示している。エージェント間の相互作用をレンダラーから共有状態へと移行しても、忠実度は損なわれない。
• マルチエージェントの一貫性: ユーザー調査により、クロスビュー・アクションの一貫性（アクションの結果の適合性）と、クロスビュー・ワールドの一貫性（エンティティの状態、幾何学、持続性に関する合意）を評価した。Khoraは、クロスエージェント状態共有のないバリアント（Khora w/o Cross-Agent State）と比較して、両方のカテゴリにおいて大幅に優れた性能を示し、共有STBoardの重要性を裏付けた。
• スケーラビリティ:
  • レイテンシ: エージェント集団が1から80に増加しても、総計算レイテンシは緩やかにしか増加しなかった（1ステップあたり約107msから約117msへ）。
  • スループット: ビューをGPU間で分散した場合、集約スループットは線形に増加した（1エージェント時の37.3 view-fpsから、80エージェント時の2741.3 view-fpsへ）。
  • メモリ: 集団が増加しても、GPUあたりのピークVRAM使用量はほぼ一定に保たれた。
• 動的な集団: 実験により、エージェントが再学習なしに単一の自己回帰的ロールアウトに参加したり離脱したりできることが示された。新しいエージェントは最初の観測から初期化されてSTBoardに追加され、離脱するエージェントは削除されるが、遷移モデルとレンダラーは変更されない。

5. 意義と主張

本論文は、Khoraが、大量の相互作用するエージェントをサポートできるスケーラブルなオープンワールド・シミュレータへの実用的な一歩であると主張している。

• パラダイムシフト: 著者らは、マルチエージェント・ワールドモデルは、同期されたビデオストリームの集合体としてではなく、永続的な共有世界として評価されるべきであると主張している。これは、焦点の対象をクロスビュー生成から、同時並行的な相互作用と視点の一貫性をサポートする、一貫したワールド状態の維持へとシフトさせるものである。
• 推論時の柔軟性: 一貫性を共有状態のモデリングとして再定義することで、Khoraは再学習なしに推論時に新しいエージェントを導入することを可能にし、現在の固定集団モデルの重大な限界に対処している。
• 効率性: このアーキテクチャは、高価なニューラルレンダラーから二次関数的な相互作用コストを取り除くことに成功し、クエリされたビューの数に対して実質的に線形なスケーリングを実現している。

認められた限界:
論文では、Khoraが現在、各環境に対して粗い静的プライアを必要としており、完全に未知の環境へのゼロショット展開はまだサポートしていないことが述べられている。また、ニューラルレンダリングのコストは線形であるが、幾何学的投影のコストは最悪の場合 $O(N_a N_v)$ の複雑さを持ち、大幅に大規模な集団においては問題になる可能性がある。評価は主に定性的であり、包括的なベンチマークを確立することではなく、システムの挙動を示すことを目的としている。