技術的サマリー：統一カメラ制御による動画生成のための CRePE

問題定義

カメラ条件付き動画生成は、特定のカメラ軌道とレンズ設定に準拠した動画をモデルが合成することを要求します。最近のアプローチは、視点変化下での相対的トークン関係をモデル化するためにアテンションレベルの位置符号化へ移行していますが、既存の方法は重大な限界に直面しています：

1. レイ（光線）のみの限界：UCPE などの手法は視界レイの方向を符号化しますが、そのレイに沿ったシーン内容の位置を特定しません。対応関係はレイの方向とシーンの深度の両方に依存するため、カメラが移動する際のトークン対応関係のモデル化には不十分です。
2. ピンホールバイアス：既存の多くの符号化はピンホールカメラ幾何学に依存しており、広角レンズや魚眼レンズに固有の非線形投影幾何学（統一カメラモデル、UCM）を捉えることができません。
3. 深度認識の欠如：現在の位置符号化はシーン幾何学を効果的に統合しておらず、多様なレンズモデルへの対応や、視点変化中のトークン関係の精緻化におけるモデルの能力を制限しています。

手法：CRePE

著者は、各画像トークンを単なる視界レイだけでなく、そのレイに沿った深度認識型の位置分布として表現する、統一カメラモデル（UCM）互換の位置符号化である**カーブドレイ期待位置符号化（CRePE）**を提案します。

コアコンポーネント

1. カーブドレイ期待 RoPE：

   • 単一の終点を仮定する代わりに、CRePE はトークンの位置を、予測された中心（$\mu$）と間隔幅（$\sigma$）によって定義される対数放射距離（$z = \log r$）における一様分布としてモデル化します。
   • この分布は $K$ 個のブレークポイントに離散化されます。各ブレークポイントはソース UCM レイに沿って持ち上げられ、クエリカメラフレームに変換され、前方投影されます。
   • UCM 投影はソースレイ間隔に対してクエリビュー内で曲線経路を誘起するため、CRePE はこの区分的線形な曲線経路全体にわたって回転位置符号化（RoPE）の位相因子を解析的に積分します。これにより、非ピンホール投影下でのレイ位置の不確実性を捉える期待変調係数が得られます。
   • デフォルト設定では、幾何学的精度と計算効率のバランスを取るために $K=5$ のブレークポイントを使用します。

2. 幾何学アテンションアダプタ：

   • CRePE は、凍結された動画 Diffusion Transformer（DiT）に追加される幾何学アテンションアダプタを介して実装されます。
   • 共有幾何学ヘッド（$g_\phi$）が、キー側のトークン特徴から対数放射距離パラメータ（$\mu, \sigma$）を予測します。
   • これらの予測は期待 RoPE 変調係数に変換され、DiT の選択された中間層におけるキー特徴を変調します。
   • この設計は、安定した「レイのみ」のカメラ信号を初期層と後期層で維持しつつ（標準的な UCPE を使用）、放射距離情報が最も回復可能な中間層において深度認識型の投影経路変調を注入します。

3. 放射距離監督と放射ミックスフォース：

   • 幾何学予測を安定させるため、モデルはモノキュラー幾何学基盤モデル（UniK3D）によって生成された疑似放射距離マップによって監督されます。
   • 有効性フィルタは、信頼性の低い予測（例：非有限値、20m を超える距離など）を除外します。
   • 放射ミックスフォース：トレーニング時の教師代替アルゴリズムにより、モデルは推論中に外部から供給された放射マップを受け入れることができます。外部マップが有効であれば、それは予測分布に置き換わります。そうでない場合、モデルは自身の予測に戻ります。これにより、再トレーニングなしで外部幾何学制御が可能になります。

主要な貢献

1. 深度認識型位置符号化：CRePE は、レイの方向だけでなく、レイに沿った可能なシーンの位置も考慮する位置符号化を導入し、統一カメラモデル下での曲線投影経路幾何学に対する深度認識型符号化を可能にします。
2. アダプタベースの実装：著者は、幾何学アテンションアダプタを介して凍結された動画 DiT に CRePE を適用し、トークンごとのシーン距離をアテンション機構に組み込み、疑似放射距離監督によって予測を安定化させます。
3. 外部幾何学制御：位置符号化経路を拡張することで、CRePE は放射ミックスフォースを介した、シーン幾何学条件付き生成およびソース動画の運動転送のための外部放射マップ制御をサポートします。

実験結果

著者は、ピンホール、広角、魚眼の設定を網羅するPanShotデータセット上で、CRePE をReCamMaster（外部軌道制御）およびUCPE（統一カメラレイ符号化）などのベースラインと比較評価しました。

• カメラ制御と幾何学：CRePE は、カメラ制御性指標（CamMC、回転誤差、並進誤差）およびレンズ歪み指標（$k_1, k_2$）においてベースラインを大幅に上回り、特にピンホール仮定が失敗する広角および魚眼条件下で顕著な性能を発揮しました。
• アブレーション研究：レイ間隔を 2 つの終点のみで近似するレイ RoPE スタイルの終点 PEベースラインと比較したところ、CRePE はより良い全体的平均ランクを達成しました。これは、曲線投影経路全体にわたる積分（$K>2$ のブレークポイントを介して）が、単純な終点近似以上の利点を提供することを確認しました。
• 動画品質：CRePE は幾何学認識型および知覚的指標（VBench、審美的品質）を向上させますが、標準的な動画品質指標（FVD、FID）においては競争力のある状態を維持しています。一部のフル動画品質指標（例：FVD、Inception Score）では、レイのみのベースライン（UCPE）がわずかに優位であり、厳密な幾何学準拠と分布的な動画品質の間のトレードオフを示唆しています。
• レイヤー配置：実験により、CRePE を DiT の中間 10 ブロックに適用することが、幾何学制御と生成品質の間の最良のトレードオフを提供し、すべてのレイヤーまたは初期/後期レイヤーのみに適用する場合よりも優れていることが示されました。

意義と主張

本論文は、CRePE が非ピンホールレンズを含む多様なレンズ構成に対して堅牢な統一カメラ制御への重要な一歩であると主張しています。レイのみの符号化からカーブドレイ期待へ移行することで、この手法は広角および魚眼カメラの非線形投影幾何学をより適切に捉えます。

著者は、CRePE を幾何学認識型かつカメラ制御可能な動画生成の構築ブロックとして位置付けています。この手法は、推論時にソース動画や参照画像を必要とすることなく、カメラ軌道への追従と視点変化下でのシーン一貫性の維持をモデルの能力として向上させることを強調しています。さらに、放射ミックスフォースへの拡張は、単一のアダプタフレームワーク内でカメラ制御と外部シーン幾何学制御を統合する道筋を示しており、外部放射マップを介した運動転送やシーンレイアウト操作などのタスクを可能にします。

この研究はプレプリントとして提示されており、著者はモノキュラー幾何学モデルからの疑似監督の品質への依存や、ローリングシャッターや非中心モデルではなく現在の中心カメラモデル（UCM）に焦点を当てていることなどの限界を認めています。