技術要約: CachedSearch - ビデオ拡散モデルにおけるテスト時探索のためのトレーニングフリーなキャッシュ探索

1. 問題提起

ビデオ拡散モデルは、最も計算コストの高い生成ワークロードの一つである。テスト時の探索戦略（例：Best-of-N）は、検証器（verifier）を介して最高スコアの出力を選択するために複数の候補をサンプリングするが、これはコストを2〜10倍に増大させる。標準的なBest-of-Nでは、大多数の候補が破棄されるにもかかわらず、すべての候補がフル計算コストで生成される。

個々のロールアウトを加速するために、デノイジングステップ間で特徴量を再利用するトレーニングフリーのキャッシュ技術（2〜3倍の高速化を実現）は存在するが、テスト時の探索への適用については未開拓である。核心となる障害は、キャッシュが「損失を伴う（lossy）」という点にある。シードが一致する場合のピクセルレベルの忠実度は維持されるかもしれないが、検証器の下での候補の「相対的な順序」が保持されるかどうかは不明である。もしキャッシュによってランキングが入れ替わってしまうと、探索プロセスが誤った候補を選択してしまい、効率化のメリットが打ち消されてしまう。本論文は、キャッシュがビデオのテスト時探索における候補のランキングを損なうかどうかを検証し、キャッシュを安全に活用する方法を提案する。

2. 手法: CachedSearch

著者らは、探索と配信を分離する、トレーニングフリーで検証器に依存しないプロトコルである CachedSearch を提案している。この手法は、「ピクセルの忠実度はキャッシュによってわずかに低下する可能性があるが、候補の相対的なランキングは概ね維持される」という原理に基づいている。

コア・ワークフロー

1. 探索 (安価): 集中的なキャッシュを用いて $N$ 個の候補を生成する。ラッパーがTransformerの呼び出しをインターセプトし、累積された入力ドリフトが閾値 $\tau$ 未満である場合に計算をスキップする。
2. スコアリング: すべての $N$ 個のキャッシュされた候補を検証器（例：ImageReward）でスコアリングする。
3. 選択: 最高スコアを得たキャッシュ済み候補に対応するシードを特定する。
4. コミット (フル計算): 選択されたシードのみを、キャッシュなしのフル計算コストで再生成し、最終的な出力を生成する。

技術的実装

• 適応型変換ベクトル・キャッシュ (Adaptive Transformation-Vector Caching): EasyCacheの変種を用いてDiffusion Transformer (DiT) をラップする。生の出力をキャッシュする代わりに、変換ベクトル $\Delta = v_\theta(x_{ref}) - x_{ref}$ をキャッシュする。
• スキップ・ルール: 累積ドリフト指標 $a$ が潜在入力の変化を追跡する。$a \le \tau$ の場合、Transformerの呼び出しをスキップし、近似値 $\hat{v}_\theta(x) = x + \Delta$ を使用する。$a > \tau$ になると、Transformerが評価され、状態が更新される。
• 決定論的性質: プロセスは固定された $(c, s, \tau)$ に対して決定論的であり、「コミット」フェーズにおいて、選択されたシードの正確なフル計算サンプルを再現することを保証する。
• コストモデル: CachedSearchのコストは $N \cdot C_c + C_f$ である（ここで $C_c$ はキャッシュされたロールアウトコスト、$C_f$ はフルコスト）。$N > N^* = 1/(1-\gamma)$ （$\gamma = C_c/C_f$）の場合、これはフル計算のBest-of-N ($N \cdot C_f$) よりも大幅に安価になる。

3. 主な貢献

• 初のランキング保持に関する研究: テスト時の探索において、キャッシュが候補のランキングを保持するかどうかに関する初の経験的研究を提供する。Gate Grid、VBench、VBench-2.0を用いたシード一致プロトコルによって評価されている。
• 「Explore-Cheap, Commit-Full」プロトコル: フル計算のBest-of-8による報酬ゲインの94.7%を、わずか63%のウォールクロック時間で実現するCachedSearchを導入した。
• 汚染（Corruption）の分析: ランキングのエラーは「自己限定的」であることを示す。汚染は、候補がほぼ同等である（スコアの差が小さい）プロンプトに集中する。このような場合、誤った候補を選択しても後悔（regret）は最小限となる。
• 汎用性: 1.3Bから14Bパラメータに及ぶ6つのモデルと4つのアーキテクチャ・ファミリー（Wan, LTX, CogVideoX, Hunyuan）にわたって、モデルファミリーごとに単一のパラメータ ($\tau$) の再調整のみで機能することを示す。
• 構成可能性: CachedSearchが候補のプルーニング手法と乗算的にスタックし、3.11倍の探索スピードアップを達成することを証明する。

4. 実験結果

評価は主にWan2.1-T2V-1.3Bで行われ、より大きなモデルや異なるスイートでの再現が行われた。

• ランキング保持:
  • VBenchスイート（946プロンプト）において、キャッシュされたスコアとフルスコア間のプロンプトあたりの中央値スピアマン順位相関係数 ($\rho$) は 0.905 であった。
  • トップ1一致（同じ最良候補を選択すること）は 72% であった。
  • より困難なスイートであるVBench-2.0でも、$\rho = 0.881$ という結果を再現した。
• 効率性とゲインの捕捉:
  • $N=8$ において、CachedSearchはフル計算のBest-of-8による報酬ゲインの 94.7% を、63% のコストで捕捉した。
  • 固定予算の下では、より広く探索することが可能になり（例：4候補に対し8候補）、フル計算のBest-of-4よりも 38%多くの報酬 を得られる。
  • この手法は幅とともにスケールする：$N=16$ では、ゲインの95.7%を57%のコストで捕捉する。
• 後悔（Regret）分析:
  • 平均後悔は低く（VBenchで0.056）、中央値は0である。
  • 72%のプロンプトで後悔はゼロであった。
  • エラーは主に、正しい選択の価値自体が本質的に低い、低スプレッドのシナリオで発生する。
• モデルの汎用性:
  • 手法は1.3Bから14Bのスケールにわたって機能する。Wan2.1-14Bは、1.3Bモデルと同じ中央値 $\rho$ (0.905) を達成した。
  • 異なるファミリーのモデル（例：CogVideoX-5B）では、高い捕捉率（>85%）を維持するために $\tau$ の再調整（例：0.10から0.05へ）が必要である。
• 代替手法との比較:
  • 「ステップ短縮（デノイジングステップの削減）」と比較して、キャッシュはより多くの探索価値を保持する（短縮法が72.6%の捕捉に対し、キャッシュは90.1%）。これは、キャッシュが異なる分布をサンプリングするのではなく、同じ軌跡を摂動させているためである。
  • 様々なキャッシングエンジン（PAB, CFG-Cache, TeaCache）と互換性があり、統一された「捕捉 vs スピードアップ」のフロンティアを形成する。

5. 意義と主張

本論文は、CachedSearch がビデオ拡散におけるテスト時スケーリングのための「プラグイン・マルチプライヤー」であると主張している。その意義は以下の通りである：

1. 忠実度とランキングの分離: 候補はピクセルレベルで完璧である必要はなく、相対的な順序に対して「誠実」であればよいことを示した。
2. トレーニングなしでのコスト削減: モデルの重みを微調整することなく、高品質な生成を維持しながら大幅なコスト削減（プルーニングとの組み合わせで最大3.11倍）を実現した。
3. スケーラビリティ: このアプローチは探索アルゴリズムや検証器とは独立しており、あらゆる「サンプル・アンド・ランク」のループに適用可能である。
4. 実用的影響: 同等の計算予算内で、より広い探索空間を可能にすることで、小さなモデル（例：1.3B）が高品質なビデオ生成において大きなモデルに匹敵することを可能にし、高品質なビデオ生成を民主化する。

著者らは、この教訓はキャッシュを超えて広がるものであると結論づけている。すなわち、ランキングと後悔の監査をパスできるのであれば、いかなる損失を伴う加速器も探索をサポートできるということであり、これは生成AIにおけるアクセラレータへの予算配分に関する新しい方向性を示唆している。