技術要約: ParaScale

問題提起

生成ビデオにおける参照駆動型のカメラ制御は、参照クリップの映画的な動きを、新たに生成されるターゲットシーンへと転送することを目的としている。しかし、任意の参照シーンとターゲットシーンの間には、根本的な幾何学的不整合が存在する。すなわち、それらはしばしば全く異なる物理的スケール（例：銀河を横切るカメラのスイープと、デスク上をわずかに動く動き）で動作している。

既存の手法は、参照からカメラの軌跡（並進 $T$ および回転 $\omega$）を抽出し、それをターゲット生成器に直接注入する。しかし、この「ナイーブな」転送は失敗する。なぜなら、単眼再構成は、未知のグローバル・スケール因子（相似変換）の範囲内でしか並進と深度を復元できないためである。したがって、絶対的な並進量 $\|T\|$ は、対応する深度スケール $Z$ なしでは無意味となる。参照の軌跡をターゲットに適用する際、ターゲットのシーン・スケールが異なる場合、結果として生じる動きは、知覚できないほど微小になるか（ターゲットが参照より「大きい」場合）、あるいは激しく誇張されすぎる（ターゲットが参照より「小さい」場合）、どちらかとなり、生成の視覚的忠実性を損なう。

手法: パララックス・ナンバー（視差数）と ParaScale

理論的基礎

本論文は、並進運動の知覚される強さが、生の並進ベクトルではなく、並進と深度の比率によって支配されることを確立している。点 $Z$ の深度における投影方程式に基づくと、並進によって誘発される画像内の動きは $\|T\|/Z$ に比例する。

著者らは、パララックス・ナンバー（視差数） ($\Pi$) を、次元を持たないゲージ不変な記述子として定義する：
$$\Pi_t = \frac{\|\Delta T_t\|}{\bar{Z}_t}$$
ここで：

• $\|\Delta T_t\|$ は、フレーム間のカメラ基線（並進量）である。
• $\bar{Z}_t$ は、そのフレームにおけるロバストな中央値シーン深度である。

本論文は、$\Pi$ が深度スケールのゲージに対して不変であること（$T$ と $Z$ の両方を因子 $s$ でスケールさせても $\Pi$ は変化しないこと）を証明している。したがって、$\alpha$ ではなく $\Pi$ こそが、スケールに忠実な動きの転送を実現するために保存されるべき唯一の量である。

ParaScale モジュール

ParaScale は、ポーズ抽出とポーズ注入の間の生成パイプラインに挿入される、プラグアンドプレイ型のトレーニングフリーなモジュールである。その動作は以下の通りである：

1. 抽出 (Extraction): 参照ビデオから、単眼 Structure-from-Motion (SfM) と深度推定器を用いて、カメラの軌跡とロバストな中央値深度 $\bar{Z}^{ref}_t$ を推定する。そして、ゲージ不変なパララックス・ナンバー $\Pi^{ref}_t$ を計算する。
2. ターゲット推定 (Target Estimation): ターゲットシーンに対して、条件付け画像または最初の潜在変数から中央値深度 $\bar{Z}^{tgt}_t$ を推定する。
3. 再実現 (Re-realization): 参照のパララックス・ナンバーをターゲットの深度に一致させるため、フレームごとの並進ゲイン $\alpha_t$ を計算する：
   $$\alpha_t = \frac{\bar{Z}^{tgt}_t}{\bar{Z}^{ref}_t}$$
   校正された並進は $T^{cal}_t = \alpha_t T^{ref}_t$ となり、回転 $R^{cal}_t$ は変更なしで通過する ($R^{ref}_t$)。
4. 注入 (Injection): 校正された外部パラメータを、生成器が要求する形式（Plücker マップや生の $RT$ 行列など）に変換し、凍結されたポーズ条件付き拡散モデルに投入する。

本論文の理論的証明は、このフレームごとの適応が、時間的なパララックス・プロファイルを維持するために必要十分であることを示している。一方で、グローバルなスケーリングやスケーリングなしの手法は、シーンの深度が時間とともに変化する場合や、シーン間で大きく異なる場合には失敗する。

評価指標: PCE

スケールへの忠実度を定量化するために、著者らは パララックス一貫性誤差 (PCE) を導入している：
$$\text{PCE} = \frac{1}{N} \sum_{t=1}^{N} \left| \log \frac{\Pi^{out}_t}{\Pi^{ref}_t} \right|$$
類似性による整列に依存し、グローバルなスケールの不一致を隠蔽してしまう TransErr などの標準的な指標とは異なり、PCE はスケール対称かつゲージ不変である。これは、知覚される運動強度の乖離を直接的に露呈させる。

主な貢献

1. ゲージ不変の原理: 運動転送における正しい不変量としてパララックス・ナンバー ($\Pi$) を特定し、生の軌跡を保存することが幾何学的に欠陥があることを証明した。
2. ParaScale: トレーニングを必要とせず、ジェネレーターに依存しない推論時のモジュールであり、ターゲットの深度に対して $\Pi$ をフレームごとに再実現する。生成バックボーンの再学習は不要である。
3. PCE 指標: スケールへの忠実度を具体的に測定し、従来の指標が見逃してしまうシーン・スケールの不一致を明らかにする新しい評価指標。
4. 実証的検証: 4つのオーダーにわたるシーン・スケール（卓上、人間/部屋、建築物、宇宙）および複数のバックボーン・アーキテクチャを用いた実証。

結果

実験は、Plücker 条件付けを備えた Wan2.1 拡散トランスフォーマー・バックボーンを用い、ParaScale を Raw 転送、Global-norm スケーリング、MotionMaster、および CameraCtrl II の学習時スケール校正と比較して実施された。

• スケール忠実度: ParaScale は、すべてのスケール領域において、実現されたパララックス・ナンバーをアイデンティティ・ライン上に維持できる唯一の手法である。Raw 転送は、宇宙的なシーンでは動きが不足し、卓上のシーンでは過剰になる。
• 誤差の低減: ParaScale は、校正されていない Raw 転送と比較して、パララックス一貫性誤差 (PCE) を 3倍以上 減少させ、Global-norm や学習時校正の手法をも凌駕する。
• 視覚的忠実度: この手法は、視覚的な品質を損なうことなくこれらの利点を得ており、FVD (Fréchet Video Distance) や CLIP-SIM スコアは、ベースラインと比較して維持または向上している。
• 汎用性: このモジュールは、再学習なしに、異なる種類のジェネレーター（Plücker 条件付きおよび行列条件付き）に対して効果的に機能する。

意義と主張

本論文は、参照駆動型コントローラーにおける「サイレントな仮定」、すなわち「軌跡の数値は直接再利用可能である」という仮定に対処していると主張している。運動が深度に依存するという幾何学的事実を定式化することで、著者らはスケール不整合問題に対する厳密な解決策を提供している。

その意義は、作成者が手動の介入や再学習を行うことなく、極めて異なる文脈（マクロから宇宙規模まで）の間で映画的なカメラワークを再利用できるようにすることにある。本論文は、ParaScale が、任意の参照とターゲットの間で、推論時にゲージ不変なパララックス・ナンバーを露呈させ、再実現する初めての手法であると断言している。

限界事項: 著者らは、本手法が単眼深度推定に依存しており（そこでの誤差は $\alpha_t$ に線形に伝播する）、また基礎となる投影モデルに従って剛体シーンの幾何学を前提としていることを指摘している。動的なシーンや異方的なスケール場への拡張が、今後の課題として挙げられている。