GTASA: 時空間分析、評価、およびビデオモデルのトレーニングのための真の基準アノテーション

本論文は、GTASA（Ground Truth Annotations for Spatiotemporal Analysis, Evaluation and Training of Video Models）を提案し、これを実現するためのシステムGEST-Engineを紹介するものです。ゲームエンジン（GTA San Andreas）の明示的な 3D 世界モデルを活用し、物理的に妥当で意味的に整合性の取れたマルチアクター動画と、フレームごとの完全な時空間アノテーションを生成する手法を確立しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

現在のビデオ生成および理解モデルには、以下の重大な課題が存在します。

• 物理的妥当性と意味的整合性の欠如: 最先端のニューラルビデオ生成モデル（Sora, VEO 3, Wan など）は視覚的にリアルな動画を生成できますが、物理法則に反する挙動（物体の突然の出現・消滅、非論理的な変形）や、プロンプトと一致しない意味的なエラー（アクターの入れ替わり、順序の混乱）を頻繁に起こします。
• 真の基準（Ground Truth）データの不足: 既存の大規模ビデオデータセットは、テキスト記述や粗い時間ラベルのみを提供しており、物理的妥当性の検証や、詳細な空間関係（3D 位置、相対距離、方向など）の推論には不十分です。一方、高密度に注釈されたデータセットは人手コストが高く、スケーラビリティに欠けます。
• モデルの内部表現の不明瞭さ: 現在のビデオエンコーダが、3D 空間におけるエンティティの配置や、時間経過に伴う空間関係の動的変化をどのように学習しているか（「世界モデル」として機能しているか）を評価するための、正確な 3D 空間基準データが存在しません。

2. 手法 (Methodology)

著者らは、ゲームエンジンの強みを活かしたGEST-Engineを開発しました。このシステムは、ニューラル生成モデルの視覚的リアリズムと競合するのではなく、それらが生成できない「構造化された完全なアノテーション」を提供することを目的としています。

• GEST 表現 (Graph of Events in Space and Time):
  • 登場人物、動作、物体、およびそれらの時間的・空間的制約をグラフ形式で定義します。
  • アレンの時間関係（Allen's temporal relations）や Floyd-Warshall 法に基づく制約充足を用いて、複数のアクター間の複雑な時間的調整を可能にします。
• 生成パイプライン:
  1. 手続き的グラフ生成: 命令書（プロンプト）に基づき、実行可能なイベントグラフを自動生成します。
  2. シミュレーション実行: MTA (Multi Theft Auto) 上で GTA San Andreas を動作させ、グラフを決定論的に実行します。
  3. アノテーション収集: 各フレームにおいて、すべてのエンティティの 3D 位置・回転を取得し、ペアごとの空間関係（距離、方向、角度）と、イベントとフレームの厳密な対応関係を記録します。
  4. テキスト生成: グラフをプロト言語に変換し、LLM を通じて自然な説明文を生成します。
• データセット (GTASA):
  • 938 件のマルチアクター物語（28.2K クリップ、14.3 時間）を生成。
  • 892M 件のペア空間関係、29.6K 件のイベント - フレーム対応マップを含む。
  • 生成された動画は、VEO 3.1 や WAN 2.2 などのニューラルモデルで生成された動画と比較評価に使用されます。

3. 主要な貢献 (Key Contributions)

1. 完全な時空間アノテーション付きのオープンソースシステム: 制約を満たす形式化された時間調整を備え、スケーラブルにマルチアクター物語動画を生成するシステム。
2. 大規模な GTASA データセット: 938 件のプロシージャル生成動画と、それに付随する完全な真の基準アノテーション（3D 位置、空間関係、時間マッピング）を公開。
3. 包括的な実験的検証:
   • Q1 (生成評価): 人間による評価で、物理的妥当性と意味的整合性の観点から、ゲームエンジン生成動画がニューラル生成モデルを凌駕することを証明。
   • Q2 (トレーニング): 合成データ（GEST）を事前学習に用いることで、ビデオキャプションモデルの性能向上を実証（視覚的なドメインギャップがあるにもかかわらず）。
   • Q3 (プロービング): 11 の時空間推論タスクを用いて、凍結されたビデオエンコーダの内部表現を評価。自己教師ありエンコーダが VLM 視覚エンコーダよりも空間構造を優れて符号化していることを発見。

4. 実験結果 (Results)

Q1: 人間によるビデオ生成評価

• 物理的妥当性: GEST-Engine は**69%**の妥当性率を達成したのに対し、VEO 3.1 は 18%、WAN 2.2 は 13% にとどまりました。ニューラルモデルは物理的に不可能な現象を頻繁に生成します。
• 意味的整合性: GEST-Engine は 5 段階評価で平均4.09（VEO 2.50, WAN 1.75）を獲得し、入力テキストとの一致度が圧倒的に高かった。
• VLM の限界: 最先端の VLM（GPT-5.2 Pro, Gemini 3.1 Pro 等）に「物理的に無効な動画」を識別させる実験を行ったところ、精度は約 56%（偶然に近いレベル）であり、物体の消滅や変形などの非整合性を検出できない「盲点」があることが判明しました。

Q2: ビデオキャプションモデルのトレーニング

• 2 つの異なるアーキテクチャ（VideoLLaMA3, Qwen3-VL）を用いたファインチューニング実験において、「GEST 合成データ → 実データ」の順序で学習させた場合（G）、「実データのみ」（R）や**「VEO 合成データ → 実データ」**（V）よりも高い性能を示しました。
• LLM ジャリー（GPT-5.2 Pro 等）による評価でも、GEST を用いたモデルが VEO を用いたモデルよりも優れていることが確認されました。これは、合成データの「質（意味的整合性）」が重要であることを示唆しています。

Q3: ビデオエンコーダの時空間プロービング

• 11 のタスク（アクター数推定、距離推定、相対運動など）において、自己教師ありエンコーダ（V-JEPA 2, VideoMAE V2）は、言語教師ありのVLM 視覚エンコーダ（Qwen3-VL）よりも空間構造の符号化において有意に優れていました（平均正解率：60.6% vs 52.4%）。
• 特に「運動の存在」や「接近/後退」などの動的タスクにおいて、自己教師ありモデルの優位性が顕著でした。
• 一方、VideoLLaMA3 は「アクター数推定」タスクにおいて他を圧倒的に上回る性能を示しました。
• 現在のエンコーダは、エンティティ間の微細な方向性（コンパス方向）の推論には依然として苦戦していることが判明しました。

5. 意義と結論 (Significance)

本論文の意義は以下の点に集約されます。

• 評価基準の確立: 物理的妥当性と意味的整合性を厳密に評価するための、真の基準（Ground Truth）付きデータセットと評価手法を提供しました。これにより、ニューラル生成モデルの「幻覚（ハルシネーション）」を定量的に測定可能になりました。
• 合成データの有効性: 視覚的にリアルではない（2004 年製の GTA San Andreas 画質）としても、構造的に正確な合成データは、ビデオ理解モデルのトレーニングや、モデルが何を学習しているかの診断（プロービング）に極めて有効であることを示しました。
• モデルの限界の解明: 自己教師あり学習と言語教師あり学習のエンコーダが空間情報をどのように異なる形で符号化しているかを明らかにし、特に VLM が物理的整合性の検出や動的空間推論において脆弱であることを浮き彫りにしました。

将来的には、GTA V への移行による視覚品質の向上や、Unity/Unreal Engine 等への拡張を通じて、大規模な合成動画トレーニングインフラの構築を目指すとしています。