RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space

本論文は、3D 幾何学的事前知識に依存せず、相対的なプランカ線位置符号化に基づく等方時空間表現と二重因果的自己回帰フレームワークを採用することで、多視点動画生成において最先端の性能と高い汎用性を達成する「RAYNOVA」と呼ばれる世界モデルを提案しています。

要約

この論文は、**「RAYNOVA（レイノバ）」という、新しいタイプの AI について書かれています。これを一言で言うと、「現実世界の動きを、物理法則に従って自由にシミュレーションできる、超高性能な『未来予測カメラ』」**のようなものです。

自動運転やゲーム、映画の制作など、あらゆる「動く映像」を作るために使われる技術ですが、従来の方法にはいくつかの「壁」がありました。RAYNOVA はその壁を壊し、もっと自由で賢い映像を作れるようにしました。

わかりやすくするために、3 つの重要なポイントに絞って、日常の例えを使って説明しますね。

---

1. 「ブロック積み」ではなく「レイ（光線）の世界」

（従来の方法 vs RAYNOVA）

• 従来の方法（3D 模型を作る人）：
  昔の AI は、映像を作るためにまず「3D の模型（点の集まりや立体図）」を頭の中で必死に作ろうとしていました。まるで、レゴブロックで城を組んでから、その周りをカメラで回って写真を撮るようなイメージです。
  しかし、カメラの位置が変わったり、急に曲がったりすると、「あ、この角度のブロックは持ってないな…」となって、映像が崩れてしまったり、新しい角度の映像が作れなかったりしました。

• RAYNOVA の方法（光の線を描く人）：
  RAYNOVA は「3D 模型」を作ろうとしません。代わりに、**「カメラから見える『光の線（レイ）』」**そのものを直接扱います。
  想像してみてください。あなたが暗闇で懐中電灯を振っているとき、光が当たったものが見えますよね。RAYNOVA は「光の線がどこを通っているか」という関係性だけを学んでいます。

  • メリット： 模型（3D データ）がないので、カメラをどこに置いても、どんな角度からでも「光の線」を繋ぎ合わせて映像を作れます。まるで、魔法の懐中電灯で、どんな角度からでもリアルな世界を描き出せるようなものです。

2. 「時間」と「大きさ」を同時に考える（二重の因果関係）

（どうやって映像を滑らかにするか）

映像を作るには、「時間（次の瞬間）」と「大きさ（細部）」の 2 つを同時に考える必要があります。RAYNOVA はこれを**「二重の因果関係」**という仕組みで解決しました。

• 大きさの順序（スケール）：
  まず、絵を描くときのように、「まず大まかな輪郭（スケール 1）」を描き、次に「少し細かい部分（スケール 2）」、そして**「最後の細部（スケール 3）」**という順に、段階的に映像を完成させていきます。

  • 例え： 遠くから見える山をまず描き、近づいて木を描き、最後に葉っぱの一枚一枚を描くような感じです。

• 時間の順序（タイム）：
  次に、**「過去の映像」をヒントにして、「未来の映像」**を作ります。

  • 例え： 昨日の天気予報を見て、明日の天気を予測するような感じです。

RAYNOVA はこの「大きさの段階」と「時間の流れ」を同時に、かつ自然に組み合わせて映像を作るので、急にカメラが動いても、映像がカクカクしたり崩れたりしません。まるで、熟練のアニメーターが、一瞬一瞬の動きを完璧に計算して描いているかのようです。

3. 「練習」と「本番」のギャップを埋める（再帰的トレーニング）

（長い映像を作るコツ）

長い動画を作ると、AI は「練習では正解を見ながらやったけど、本番では前のフレームの間違いが積み重なって、最後にはボロボロになる」という問題に直面します。これを**「分布のズレ」**と呼びます。

• RAYNOVA の解決策：
  RAYNOVA は、練習の段階で**「あえて少し間違えてみる」**というトレーニングを行います。
  • 例え： 楽器の練習で、先生が「あえて間違った音を混ぜて弾いてごらん」と言うようなものです。そうすることで、本番で少し間違えても、すぐに修正して正しいリズムに戻れるように脳（AI）を鍛えます。
    これのおかげで、1 秒だけでなく、10 秒、20 秒という長い動画でも、最初から最後まで品質が落ちずに生成できるようになりました。

---

何がすごいのか？（まとめ）

この技術が実現すると、以下のようなことが可能になります。

1. どんなカメラでも OK： 車に 6 つカメラがついていようが、8 つだろうが、あるいは無人機（ドローン）のカメラだろうが、AI は「光の線」のルールさえ理解していれば、そのカメラの視点でリアルな映像を即座に作れます。
2. 未来のシミュレーション： 「もしこのまま曲がったらどうなる？」「雨が降ったらどうなる？」という問いに、物理的に正しい映像で答えることができます。自動運転のテストや、危険な状況のシミュレーションに役立ちます。
3. 自由自在な視点： すでに撮った映像から、カメラを「左に 1 メートル移動」させたり、「30 度回転」させたりして、「実際には撮っていない視点」の映像をゼロから作り出すことができます（ゼロショット合成）。

結論：
RAYNOVA は、複雑な 3D 模型を無理やり作ろうとするのではなく、「光と時間の流れ」そのものを理解することで、現実世界を忠実に、かつ自由にシミュレーションできる新しい時代の「世界モデル」です。まるで、AI が現実世界の「物理法則」を飲み込んで、どんな視点からも新しい世界を描き出せるようになったようなものです。

技術概要

RAYNOVA: レイ空間におけるスケール・時間的自己回帰ワールドモデリング

1. 問題設定と背景

自律走行や物理シミュレーションにおいて、「ワールドファウンデーションモデル（WFM）」は、物理法則に従って現実世界の進化をシミュレートし、特定の位置と時刻で撮影された画像や動画を生成することを目的としています。

既存の手法には以下の限界がありました：

• 空間と時間の分離処理: 多くの手法は、空間的相関（複数視点間）と時間的相関（フレーム間）を別々に処理しており、柔軟なセンサー設定や急激なカメラ移動への対応が困難です。
• 強い幾何学的事前知識への依存: 3D ポイントクラウドや BEV（Bird's Eye View）特徴量など、明示的な 3D 表現を強制するアプローチは、訓練データの分布に限定されやすく、オープンワールド環境への汎化が難しいという課題があります。
• カメラ設定への固定: 特定のカメラ配置や重なりを前提とした設計は、未知のセンサー構成へのゼロショット適用を阻害します。

これらの課題を解決し、物理的な妥当性を保ちつつ、最小限の帰納的バイアス（事前知識）で汎用的な世界モデルを構築することが本研究の目的です。

2. 提案手法：RAYNOVA

RAYNOVA は、スケール（解像度）と時間の両方に対して二重の因果的（Dual-Causal）自己回帰フレームワークを採用した、幾何学的に非依存（Geometry-Agnostic）なマルチビュー世界モデルです。

2.1. 二重因果的自己回帰（Dual-Causal Autoregression）

従来の「次のトークン予測」ではなく、「次のスケール予測（Next-Scale Prediction）」戦略を拡張し、以下の 2 つの因果関係を統合します。

1. スケール因果性: 低解像度（粗い抽象度）のトークンマップから高解像度（詳細）へと順次生成します。これにより、多層的な視覚パターンを捉えます。
2. 時間因果性: 過去のすべてのフレームとすべての視点からの情報を条件として、現在のフレームを生成します。
   • 従来の手法とは異なり、同じカメラからのフレーム間には強い依存関係を仮定せず、**「過去の全視点」**を条件として扱うことで、複雑な自己運動（エゴモーション）や視点変化に対応可能です。

2.2. 等方性の時空間表現（Isotropic Spatio-Temporal Representation）

RAYNOVA の中核となる革新は、カメラレイ空間（Camera Ray Space）における相対的なプラーカー（Plücker）位置エンコーディングです。

• 相対位置エンコーディング: 絶対座標ではなく、カメラレイ間の相対位置（プラーカー座標：方向ベクトルとモーメント）に基づいて位置を符号化します。
• 等方性: この表現は連続的な 4D 時空間において等方的であり、特定のカメラ設定、運動パターン、視点の重なりへの依存を排除します。
• 汎化能力: 相対位置を扱うため、訓練分布を超えた外挿（Extrapolation）が可能となり、未知のカメラ配置や解像度、フレームレートにも対応できます。

2.3. アーキテクチャ

• トランスフォーマーベース: 事前学習された画像生成モデル（Infinity など）を基盤とし、画像ごとの自己注意、時空間整合性を高めるグローバル自己注意、条件付忠実度のためのクロス注意を組み合わせたブロック構造を採用しています。
• グローバル注意: すべての視点とフレームのトークンが、スケールと時間のトポロジカル順序に従って相互に注意を払うことで、一貫した時空間推論を実現します。

2.4. 再帰的トレーニング（Recurrent Training）

長尺動画生成における分布のドリフト（訓練時と推論時の乖離）を軽減するため、再帰的トレーニング手法を導入しています。

• 長いシーケンスに対してフレームごとに順方向・逆方向の伝播を行い、勾配を蓄積してモデルを最適化します。
• 推論時の誤差蓄積をシミュレートするため、訓練中にビート単位のランダムなノイズ（誤り）をトークン入力に注入します。

3. 主要な貢献

1. 汎用ワールドファウンデーションモデル: 単一のモデルで、テキスト、物体、マップ、画像など多様な入力条件に対応し、視点・解像度・フレームレートを柔軟に出力できます。
2. スケーラブルなデータ駆動フレームワーク: 深度マップやポイントクラウドなどの補助的な教師信号を必要とせず、異なるセンサー構成を持つ異種データから学習可能です。
3. 拡張可能な位置エンコーディング: レイ空間の相対位置エンコーディングにより、理論上無限の空間的範囲への外挿を可能にし、未知のカメラ設定へのゼロショット対応を実現しました。
4. 効率的な動画生成: 階層的なマルチスケール表現により、粗い抽象から詳細へ迅速に進展し、既存の自己回帰モデルの高速化技術と統合可能です。

4. 実験結果

データセット: nuScenes および nuPlan を統合し、統一フォーマットで学習。
評価指標: FID（画像品質）、FVD（動画の時間的整合性）、NDS/mIoU（条件への忠実度）。

• マルチビュー動画生成: nuScenes 検証セットにおいて、既存の最優秀モデル（MagicDrive, Panacea など）を凌駕する FID（10.5）と FVD（91）を達成しました。また、生成スループットは 1.96 画像/秒と、拡散モデルベースの手法よりも大幅に高速です。
• 条件への忠実度: 物体（NDS 41.9）やマップ（mIoU 34.9）の条件付生成において、既存手法よりも高い精度を維持し、現実的な動画を生成しました。
• 新規視点合成（Novel View Synthesis）: 訓練データに含まれていないカメラの移動（1m〜4m シフト）や回転に対して、3D 事前知識なしで高品質な合成が可能であることを示しました（FID/FVD の低下が極めて小さい）。
• 物理的妥当性: 生成された動画を用いたエンドツーエンドの運転計画（VAD）において、実データと同等の行動決定が可能であることを確認しました。

5. 意義と結論

RAYNOVA は、明示的な 3D 幾何学表現や強い帰納的バイアスに依存することなく、カメラレイ空間の相対位置エンコーディングを用いて、物理的に妥当なマルチビュー動画生成を実現しました。

• 自律走行シミュレーションへの応用: 多様なセンサー設定や未知の環境への適応性が高いため、現実世界の自律走行シミュレーションやテストベッドとしての実用性が極めて高いです。
• 世界モデルのパラダイムシフト: 空間と時間を分離せず、4D 連続空間として統一的に扱うアプローチは、オープンワールド環境における世界モデルの構築において重要な指針となります。

本論文は、計算効率、制御性、汎化能力のバランスが取れた、次世代のワールドファウンデーションモデルの確立に寄与するものです。