技術サマリー: GeoT2V-Bench

問題提起

テキスト動画生成（T2V）モデルは、仮想的なカメラキャプチャを合成するために、カメラの動きに関する指示（例：「彫像の周囲を回る」、「部屋の中をドリーで進む」）を用いてプロンプトされることが増えています。既存のベンチマークは、視覚的な妥当性、時間的な滑らかさ、およびテキストとの整合性を評価していますが、生成されたフレームが単一の静的な3Dシーンに対する一貫したマルチビューのエビデンス（証拠）を構成しているかどうかを検証できていません。視覚的に妥当なビデオであっても、テクスチャのドリフト、2Dパララックス（視差）の模倣、あるいは非物理的なシーンの変形を示すことで、グローバルな3D一貫性を損なう可能性があります。さらに、再構成に基づく評価は本質的に脆弱です。カメラポーズ推定は弱いパララックスによって失敗することがあり、また、静的な3D再構成は、フレームが安定したシーンに対応していない場合に失敗することがあります。現在の指標は、ビデオ生成の失敗と再構成バックエンドの失敗を混同したり、局所的な幾何学的一貫性（例：GeCo）に依存したりすることが多いですが、これらはグローバルな静的シーンの解説可能性を保証するものではありません。

手法: GeoT2V-Bench

著者らは、カメラ指示付きのT2V出力を「合成された静的シーンの取得物」として評価する、再構成ベースの診断ベンチマークであるGeoT2V-Benchを導入しています。このベンチマークは、単なるスカラー値によるパス/フェイル（合格/不合格）ラベルを生成するのではなく、連続的な再構成プロファイルを生成します。

パイプラインの概要

評価パイプラインは、生成されたビデオ $V$ とプロンプト $p$ を以下のステージを通じて処理します。

1. カメラ推定 (VGGT):
   システムは、フィードフォワード型の幾何学エスティメータであるVGGT [33] を使用して、フレームごとのカメラ内部パラメータ ($K_t$) とポーズ ($T_t$) を推定します。これにより、候補となるカメラ軌跡が確立されます。パイプラインはまず、「アクティブな取得エビデンス」（十分な見かけ上の動きと一貫した軌跡）をチェックし、ビデオが自明に静止していないことを確認します。

2. 柔軟な適合 (DeformableGS):
   推定されたカメラを使用して、過剰パラメータ化された DeformableGS [40] 表現を適合させます。この柔軟な4Dモデルは、不一致（例：視点依存の再描画、非物理的なドリフト）を時間的な変動として吸収することができます。この適合におけるレンダリング誤差 ($E_{fit}$) は、任意の時間変化する幾何学によってビデオがどの程度説明できるかの基準となります。

3. 静的プロキシ (MedianGS):
   静的シーンの解説可能性をテストするために、システムは DeformableGS のパラメータ（位置、回転、スケールオフセット）に対して時間中央値集約を適用することで、MedianGS プロキシ ($G_{med}$) を導出します。これにより、シーケンスの時系列的に安定した成分を表す静的な3D表現が作成されます。

4. 同一カメラによる比較:
   MedianGS プロキシを、元の VGGT 推定カメラパスに沿ってレンダリングします。システムは、この静的レンダリングを生成されたビデオと比較し、静的なシーンが観測結果をどの程度説明できるかを測定します。

主要な指標

ベンチマークは、連続的な診断プロファイルを報告します：

• $E_{LPIPS}^{med}$ (MedianGS 静的レンダリング誤差): 生成されたビデオと静的な MedianGS レンダリングとの間のフレームごとの外観の差を測定します。
• CEMR (Camera-Explained Motion Ratio): 生成されたビデオのオプティカルフローと、静的な MedianGS レンダリングによって誘発されるオプティカルフローを比較します。高い CEMR は、静的なシーンが時間的な動きを説明していることを示し、低い（または負の）CEMR は、動きが静的な幾何学によって説明されていないことを示します。
• $\Delta_{stat}$ (Static-vs-Flexible Gap): $E_{LPIPS}^{med} - E_{LPIPS}^{fit}$ として定義されます。大きなギャップは、柔軟で時間変化する表現が、静的な表現よりも有意にビデオを良く説明していることを示しており、非物理的なシーンの変化を示唆しています。
• 変形エネルギー ($E_{deform}$): DeformableGS の適合における時間的オフセットの大きさを定量化し、static-vs-flexible のギャップに対する文脈を提供します。
• アクティブエビデンス記述子: 平均オプティカルフローの大きさ ($\bar{F}_{orig}$) および平滑化された累積カメラターン ($\Theta_s$) を含み、取得エビデンスの存在を検証します。

ControlBench

これらの診断を解釈するために、著者らは、実際の静的取得物と、実在のものから派生した変換（凍結されたビデオ、デジタルズーム、横方向のワープ、テクスチャの再描画、前景の変形）を用いたストレス・テスト・スイートである ControlBench を導入しています。このスイートは、指標が既知の幾何学的および外観の変化に対して妥当に反応するかどうかを検証します。

実験設定

• データセット: 12のオープンウェイトモデル構成（CogVideoX, HunyuanVideo, LBTX-Video, MAGI-1, Open-Sora, SkyReels, Wan を含む）と4つの生成シードからなる、80の制御された静的シーンプロンプト（GeCo-Eval [9] より）から作成された3,840個の生成クリップ。
• フォーマット: すべてのクリップは 49 フレーム、256×256 解像度、8 fps に標準化されています。
• 比較: 結果は、局所的な幾何学的一貫性に焦点を当てた先行研究である GeCo [9] と比較されます。

主な結果

評価により、単一のスカラーによるランキングは誤解を招くこと、および異なる失敗モードはしばしば直交していることが明らかになりました。

• 分岐する失敗モード: 低い静的レンダリング誤差を持つモデル（例：MAGI-1）は、アクティブエビデンスのチェックに失敗したり、不適切な CEMR（一致しない時間的動き）を示したりすることがよくあります。逆に、アクティブな動きを持つモデル（例：HunyuanVideo-1.5）は、高い静的レンダリング誤差と高い変形エネルギーを示すことがあります。
• GeCo との補完性: GeoT2V-Bench は、GeCo が見逃す失敗モードを捉えます。クリップは、低い局所的幾何学的不一致（良好な GeCo スコア）を持ちながら、グローバルな再構成監査（不十分な CEMR または高い static-flex ギャップ）に失敗することがあり、これは局所的な一貫性がグローバルな一貫したカメラ軌道や静的シーンを保証しないことを示しています。
• 指標の相互依存性: 低いフレームごとの LPIPS は、時間的一貫性を保証しません。CEMR は、単に静的に見えるだけのクリップと、カメラの動きの下で真に静的な3D説明をサポートしているクリップを区別するために不可欠です。

意義と主張

本論文は、GeoT2V-Bench が評価のパラダイムを「ビデオの妥当性」から「再構成可能なマルチビューのエビデンス」へとシフトさせるものであると主張しています。その主な貢献は以下の通りです：

1. 定式化: カメラプロンプト付きの T2V 評価を、推定されたカメラパスに沿った単一の静的シーンの観測として、ビデオが説明可能かどうかのテストとして定義すること。
2. 段階的な困難さの特性付け: カメラポーズ推定と3D再構成の両方が、測定対象となっている不一致そのものによって失敗し得る脆弱なステージであることを強調すること。
3. 診断プロファイル: 連続的なプロファイル（MedianGS 誤差、CEMR、static-vs-flexible ギャップ）を導入し、アクティブエビデンス、静的再構成の挙動、および時間的動きの説明を分離し、異なる失敗タイプの混同を避けること。
4. 補完的な診断: GeCo のような局所幾何学指標では検出できない失敗モード（グローバルな軌跡の不整合、非物理的なシーンの変化）を、再構成ベースの診断が明らかにすることを実証すること。

著者らは、このベンチマークが視覚的な品質ランク付けではなく、診断ツールであることを強調しています。低い残差は、高品質さではなく、取得エビデンスの弱さを示している可能性があり、高い残差は、生成の失敗ではなく、バックエンドの制限や複雑な動きに起因している可能性があります。彼らは、ControlBench ストレス・テストを通じて、これらの診断の解釈をサポートしています。