💻 computer science

LatSearch: Latent Reward-Guided Search for Faster Inference-Time Scaling in Video Diffusion

本論文は、中間段階の潜在空間に報酬を付与することで計算コストを抑制し、Wan2.1 モデルの推論時スケーリングを可能にする「LatSearch」という新しい検索メカニズムを提案し、動画生成の品質と効率性を大幅に向上させることを示しています。

原著者： Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

公開日 2026-03-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI が動画を作るのを、もっと速く、もっと上手にする新しい方法」**について書かれています。

タイトルは『LatSearch（ラットサーチ）』。少し難しそうですが、実はとても直感的なアイデアが詰まっています。

🎬 従来の方法：「迷子になったままゴールを目指す」

まず、今の AI が動画を作る仕組みを想像してみてください。
AI は、真っ白なノイズ（砂嵐のようなもの）から始めて、少しずつ「絵」を浮かび上がらせていきます。これを「ノイズを消していく（デノイジング）」作業と言います。

今までのやり方：
1. 最初、ノイズの「種（シード）」をいくつか選んで、それぞれを動画に作り上げます。
2. 全部作り終わってから、「どれが一番上手か？」を評価します。
3. 一番上手だったものだけを残します。

🚨 問題点：
これだと、**「動画が完成するまで、どれがダメか分からない」**のです。
例えば、最初の 1 秒で「鳥の羽が変な形」になっていても、動画が完成するまで気づけません。その結果、ダメな動画を最後まで作ってしまうので、時間と計算リソースの無駄が凄まじいです。まるで、料理を全部作ってから「味がまずい」ことに気づき、捨ててしまうようなものです。

🚀 新しい方法：「LatSearch（ラットサーチ）」の仕組み

この論文が提案する「LatSearch」は、**「動画が完成する前に、途中で味見をして、ダメなものを捨ててしまう」**というアイデアです。

1. 🕵️‍♂️ 味見役の「隠れた審査員（潜在報酬モデル）」

動画が完成する前の「途中の状態（ノイズが少し消えた状態）」でも、AI が「これは上手そうか？」「文字と合ってるか？」を即座に判断できる**「審査員 AI」**を作りました。

従来の審査員： 完成した動画を見て「うまい・まずい」を言う。
LatSearch の審査員： 料理がまだ鍋の中で煮込んでいる途中でも、「香りがいいね」「火加減は OK」などと途中経過で評価してくれます。

2. 🌳 分岐する道と、枝を剪定する（Resampling & Pruning）

動画を作る過程で、AI は複数の「可能性（候補）」を同時に進めます。

リサンプリング（再選抜）： 途中の審査員が「この候補は良さそう！」と言ったら、その候補を少し増やして、より詳しく作ります。逆に「これはダメそう」と言われたら、その候補はすぐに捨てます。
剪定（Pruning）： 最後は、一貫して「良い評価」をもらい続けた、たった 1 つの候補だけを残して完成させます。

🍳 料理に例えると：

従来： 10 種類の料理を全部作り終えてから、一番美味しいものを選ぶ。→ 時間がかかる。
LatSearch： 10 種類の料理を同時に作り始めるが、「味見」をしながら、まずいものを途中で捨てて、美味しいものだけにリソースを集中させる。→ 圧倒的に速く、美味しいものが作れる。

🌟 この方法のすごいところ

圧倒的なスピードアップ：
従来の方法と比べて、最大で 79% も速くなりました。同じ品質の動画を作るのに、かかる時間が半分以下になることもあります。
品質の向上：
速いだけでなく、結果も良くなりました。「動きが自然か」「指示した通りに動いているか」といった点で、これまでの最高水準（SOTA）に匹敵、あるいはそれ以上の品質を達成しています。
無駄がない：
「ダメな道」を最後まで歩かないので、コンピューターの計算能力（エネルギー）を無駄にしません。

💡 まとめ

この論文は、**「AI に動画を作らせる際、完成するまで待たずに、途中で『これいいね！』『これダメだ！』と判断して、良い道だけを選んで進ませる」**という、とても賢い方法を提案しています。

まるで、**「迷路を歩くとき、ゴールにたどり着く前に『この道は行き止まりだ』と気づいて、すぐに引き返せるナビゲーター」**がついているようなものです。これにより、AI はより短時間で、より素晴らしい動画を作れるようになったのです。

LatSearch: 動画拡散モデルにおける推論時スケーリングの高速化のための潜在報酬誘導探索

本論文「LatSearch: Latent Reward-Guided Search for Faster Inference-Time Scaling in Video Diffusion」は、大規模言語モデル（LLM）で見られた「推論時スケーリング（Inference-Time Scaling）」の成功を、動画生成の拡散モデルに応用する際の課題を解決し、より効率的かつ高品質な動画生成を実現する新しい手法を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

近年、LLM における推論時スケーリング（計算リソースを推論段階で増やすことで性能を向上させる手法）が注目されています。動画拡散モデルにおいても、初期ノイズの最適化や「ゴールデンノイズ（高品質な生成につながる特定の初期ノイズ）」の探索を通じて、推論時の計算を増加させる試みが行われています。

しかし、既存の手法には以下の重大な限界がありました：

中間評価の欠如: 既存のノイズ探索手法（Best-of-N、ビームサーチ、進化アルゴリズムなど）は、最終的に復号化された「動画」のみを評価対象としています。
遅延とスパースな報酬: 動画生成の全プロセスが完了するまで評価が行われないため、報酬信号が遅延し、スパースになります。
誤差の蓄積: 初期段階で不適切な候補が選ばれても、その誤差が長いノイズ除去（デノイジング）軌道全体に蓄積されてしまいます。
計算コストの増大: 複数の候補を生成し、すべてを動画に復号化して評価する必要があるため、計算コストが膨大になり、強力な探索アルゴリズムの実用化が阻害されていました。

2. 提案手法：LatSearch

著者らは、**「潜在空間（Latent Space）における報酬ガイド」**を導入することで、これらの課題を解決する「LatSearch」を提案しました。この手法は、動画生成プロセスの途中（任意のタイムステップ）で部分的にデノイズされた潜在表現を直接評価し、効率的な探索を可能にします。

2.1 潜在報酬モデル (Latent Reward Model)

動画に復号化せず、拡散プロセス中の「部分的にデノイズされた潜在表現（Latent）」に対して、以下の 3 つの次元で品質スコアを付与するモデルを構築しました。

視覚品質 (Visual Quality, VQ)
運動品質 (Motion Quality, MQ)
テキスト整合性 (Text Alignment, TA)

学習データとアノテーション:
直接的な潜在空間の正解ラベルが存在しないため、以下の戦略を採用しました。

最終的なクリーンな潜在表現（ $z_0$ ）と、中間の潜在表現（ $z_t$ ）のコサイン類似度を計算します。
この類似度を重みとして、最終動画に対して得られた報酬（VQ, MQ, TA）を中間潜在表現に割り当てます（Credit Assignment）。
このデータセットを用いて、**回帰損失（Regression Loss）と選好損失（Preference Loss）**の両方でモデルを学習させます。選好損失は、RLHF（人間フィードバックからの強化学習）の考え方に基づき、より良いサンプルに高いスコアを予測させるようにモデルを調整します。

2.2 報酬誘導リサンプリングと剪定 (RGRP)

LatSearch の探索アルゴリズムは、Reward-Guided Resampling and Pruning (RGRP) という 2 段階のプロセスで構成されます。

リサンプリング（Resampling）:
- 複数の候補軌道（Trajectory）を並行して維持します。
- 特定のスケジュールされたタイムステップで、潜在報酬モデルが各候補にスコアを付与します。
- スコアを正規化された確率に変換し、重要度サンプリングの考え方に基づいて候補をリサンプリングします。
- ユニークネス（重複排除）: 同じシード（初期ノイズ）から派生した重複候補を排除し、計算リソースを無駄にしないようにします。
- これにより、報酬モデルの誤りに過度に依存せず、多様性を保ちながら有望な候補を探索します。
剪定（Pruning）:
- 最終的なスケジュールされたステップにおいて、累積報酬が最も高い 1 つの候補のみを選択し、他の候補は破棄します。
- 選択された候補のみを動画に復号化して出力します。

3. 主要な貢献

中間評価可能な潜在報酬モデルの提案: 復号化された動画ではなく、任意のタイムステップの潜在表現に対して視覚・運動・テキスト整合性を評価するモデルを初めて導入しました。これにより、プロセスレベルの監督が可能になり、誤差の蓄積を防ぎます。
効率的な推論時スケーリングアルゴリズム (LatSearch): 潜在報酬に基づく RGRP を設計し、探索と利用（Exploration and Exploitation）のバランスを確率的に制御することで、高品質な生成を低コストで実現しました。
VBench-2.0 での実証: 広範なベンチマークにおいて、ベースラインモデルや既存の推論時スケーリング手法と比較して、画質、運動、制御性などの多様な指標で改善を示しました。

4. 実験結果

実験設定:

ベースラインモデル：Wan2.1-1.3B
評価ベンチマーク：VBench-2.0（Creativity, Commonsense, Controllability, Human Fidelity, Physics の 5 次元）

主な結果:

品質の向上: 既存の最善の推論時スケーリング手法（EvoSearch など）と比較して、同等またはそれ以上の品質を達成しました。特に、Wan2.1-1.3B において、ベースラインに対して平均スコアを約 3.35% 向上させました。
効率性の劇的な改善:
- EvoSearchと比較して、同等の品質を達成しながら実行時間を約 4.77 倍短縮しました（EvoSearch は約 783 秒、LatSearch は約 164 秒）。
- VideoRewardと比較しても、約 1.7 倍高速でした。
- 復号化（Decoder）の回数を大幅に減らしたため、全体の推論時間がベースラインの約 2.13 倍程度に抑えられています（既存の探索手法は 3〜10 倍のオーバーヘッドがありました）。
スケーラビリティ: 14B パラメータのモデル（Wan2.1-14B）に対しても適用可能であり、モデルサイズに関わらず有効であることが確認されました。

5. 意義と結論

LatSearch は、動画生成における推論時スケーリングのボトルネックであった「評価の遅延」と「計算コスト」を解決する画期的なアプローチです。

理論的意義: 拡散モデルの中間状態（潜在表現）に対して直接報酬を割り当てることで、従来の「最終出力のみを評価する」パラダイムから脱却し、より微細な制御と効率的な探索を可能にしました。
実用的意義: 高品質な動画生成を、従来の探索手法に比べてはるかに少ない計算資源で実現できるため、実環境での応用や大規模モデルの展開が現実的なものになります。
将来展望: 時間的な類似性推定器の改良や、音声・動画生成、動画編集などへの拡張が期待されています。

要約すると、LatSearch は「中間の潜在状態を評価し、有望な候補を早期に選別・剪定する」ことで、「高品質」と「高速」を両立させた新しい動画生成フレームワークです。