技術要約: NaviCache

問題提起

HunyuanVideo、Wan、Open-Soraといったビデオ拡散モデル（VDM）は、高忠実度なコンテンツ生成において著しい進歩を遂げている。しかし、その反復的なサンプリングプロセスは膨大な計算コストを課しており、大規模なアーキテクチャを通じて数十回のフォワードパスを必要とするため、リアルタイム展開を阻害している。

既存の加速戦略には2つのカテゴリーがあり、いずれも重大な限界を抱えている：

1. オフライン校正依存型手法: TeaCacheやMagCacheのようなアプローチは、精選された校正データセットから得られる統計的事前分布や多項式近似に依存している。これらは高い校正コスト、特定のデータ分布への依存性、および校正時と推論時の間の分布シフトによる性能低下という問題を抱えている。
2. オフライン校正フリー型手法: EasyCacheのような手法は、校正データセットを必要としないが、瞬時的な零次近似（ゼロ次ホールド）に依存している。これらの手法は、ステップ間における特徴量の変化率が一定であると仮定しているが、拡散軌道の本質的な慣性を捉えることができない。これにより、観測ノイズに対して脆弱になり、高乱流領域において、視覚的なアーティファクト（スキップしすぎ）または不十分な加速（スキップ不足）を引き起こす。

核心となる課題は、オフラインの校正オーバーヘッドを回避しながら、拡散プロセスにおける特徴量進化の非定常かつ慣性駆動型のダイナミクスを正確にモデリングする手法を開発することである。

手法: NaviCache

著者らは、特徴量の進化を慣性航法システム（INS）問題として再定義した、プラグアンドプレイ型のテストタイム自己校正フレームワークであるNaviCacheを提案する。入力と出力の変動間の相対的な結合を、状態空間トラッキング問題としてモデリングすることで、絶対的な変化を推定するのではなく、相対的な関係をモデル化する。

コアコンポーネント

1. 状態空間モデリング:
   本手法は、特徴量の変化率（$\phi_t = \Delta O_t / \Delta I_t$）を、線形ガウス状態空間モデル（LGSSM）内の隠れた状態 $r_t$ として定式化する。これは、この比率を静的な定数として扱うのではなく、その不確実性と運動学的慣性を明示的にモデル化するものである。

2. 初期アライメントフェーズ:
   拡散プロセスが初期ステップ（高ノイズ時）においてカオス的で非定常なダイナミクスを示すことを認識し、NaviCacheは戦略的な「初期アライメント」フェーズを採用する。最初の $N_{align}$ ステップでは、スキップを行わずにフル計算を実行する。これにより、システムは状態平均（$\hat{r}_0$）と誤差共分散（$P_0$）の偏りのない初期化を計算することができ、エスティメータが特徴量多様体に対する校正された理解を持って「ナビゲーションモード」を開始することを保証する。

3. デュアルステート推定エンジン:
   メインの拡散フェーズ中、NaviCacheは再帰的なベイズフィルタを利用して、2つの十分統計量、すなわち状態推定値（$\hat{r}_t$）と推定不確実性（$P_t$）を追跡する。プロセスは以下の2段階で行われる：

   • 事前投影（Prior Projection）: システムは、特徴比の固有のドリフトまたは「慣性」をモデル化するために、プロセスノイズ（$Q_t$）を組み込んで、状態と不確実性を前方投影する。
   • 観測補正（Observational Rectification）: 累積誤差が安全閾値を超えた場合、フル計算がトリガーされ、グラウンドトゥルースの測定値（$z_t$）が得られる。この測定値は、事後不確実性を最小化するように導出された校正融合係数（CFF） $K_t$ を用いて、事前予測と融合される。このメカニメントはインテリジェントなゲートキーパーとして機能し、安定した領域では歴史的な慣性を優先し、乱れた領域では新しい観測値に即座に適合させる。

4. 不確実性認識スキップメカニズム:
   スキップまたは更新の決定は、累積誤差メトリック（$E_{acc}$）によって制御される。$E_{acc}$ が忠実度閾値（$\tau$）を下回っている間は、システムは計算をスキップする（推測航法/Dead Reckoning）。閾値を超えた場合、システムはフル更新（測定修正/Measurement Fix）を実行し、軌道を再固定して誤差アキュムレータをリセットする。

主な貢献

本論文は、主に4つの貢献を述べている：

• 理論的再定式化: 著者らは、拡散ダイナミクスと慣性航法システム（INS）理論の間の最初の正式なマッピングを確立し、VDMの特徴量進化を状態空間モデルとして再定式化した。
• NaviCacheフレームワーク: 事前学習や校正データセットなしで特徴量多様体を正確に追跡するための、デュアルステート推定エンジンと初期アライメントフェーズを備えた、オフライン校正フリーのフレームワークを提案した。
• 理論的保証: 本論文は、プロセスノイズと観測ノイズが存在する場合、NaviCacheが既存の校正フリー手法で使用されている零次ヘリスティクスよりも低い推定誤差境界を達成することを理論的に証明している。
• 実証的性能: 広範な実験により、NaviCacheが複数のモデル（Wan、HunyuanVideo、Open-Sora）において、推論効率と視覚的忠実度の両面でベースラインを一貫して上回ることが示された。

実験結果

実験は、VBenchデータセットを用いて評価された3つの代表的なVDM（Wan 2.1、HunyuanVideo、Open-Sora 1.2）に対して行われた。

• 効率と品質のトレードオフ: NaviCacheは3つの構成（fast, mid, slow）を提供する。同等のレイテンシ範囲において、NaviCacheはEasyCacheのようなオフライン校正フリー手法と比較して、一貫して優れた視覚的保持を実現している。例えば、HunyuanVideoにおいて、「mid」モードは2.17倍の速度向上を達成しつつPSNR 32.65を記録し、EasyCacheの2.53倍の速度向上（PSNR 32.53）を上回った。
• 校正依存型手法との比較: NaviCacheは、オフライン校正手法と比較して顕著な忠実度を示す。Wan 2.1において、「slow」モードはPSNR 25.10を達成し、TeaCache（22.79）やMagCache（23.33）を大幅に上回った。TeaCacheが時としてわずかに高いVBenchスコアを維持する場合がある（おそらくプロンプト特有のフィッティングによるもの）が、NaviCacheはより優れたピクセルレベルおよび知覚的な再構成（より低いLPIPS、より高いSSIM）を提供する。
• 視覚的忠実度: ケーススタディによれば、既存の手法はしばしば時間的な不整合、ゴースト現象、構造的な歪み（例：変形した手や物体）に悩まされる。NaviCacheはこれらの問題を効果的に軽減し、急速な動きの間でも構造的完全性と高周波の詳細を維持する。
• アブレーション研究:
  • 初期アライメント: アライメントステップを増やすと忠実度は向上するが、レイテンシも増加する。20%の比率が最適なバランスであることが判明した。
  • ノイズパラメータ: プロセスノイズ（$Q$）を下げると、レイテンシと引き換えに忠実度が向上し、観測ノイズ（$R$）を下げると、レイテンシは減少するが視覚的保持のリスクが高まる。
  • スケーラビリティ: 本手法は、異なる解像度（480p/720p）およびフレーム数（51/102）にわたって、安定した加速（1.81×–1.91×）を維持する。
• オーバーヘッド: NaviCacheは、オフラインの校正時間を必要としない。スキップ判定のためのテストタイムの計算オーバーヘッドは極めて小さい（約0.0109秒）。

意義と主張

本論文は、NaviCacheが制御理論とビデオ生成の間の根本的なドメインギャップを埋めるものであると主張している。特徴量の進化をランダムなジッターではなく、基礎となる慣性を伴う構造化された軌跡としてモデル化することで、NaviCacheはプラグアンドプレイ型のテストタイム自己校正を可能にする。

著者らは、このアプローチがオフライン手法の禁止的な校正コストと分布シフトへの脆弱性を排除すると同時に、零次近似の精度限界を克服すると断言している。誤差境界付きの計算スキップに理論的に裏付けられたNaviCacheは、大規模生成モデルの効率的な展開のための原理的なソリューションとして提示されており、大規模なビデオ合成のための計算およびエネルギー障壁を大幅に下げることで、「グリーンAI」の目標に貢献するものである。