💻 computer science

LatSearch: Latent Reward-Guided Search for Faster Inference-Time Scaling in Video Diffusion

本文提出了 LatSearch，一种通过引入潜空间奖励模型对部分去噪潜变量进行评分，并据此执行奖励引导重采样与剪枝（RGRP）的推理时搜索机制，从而在显著降低计算成本的同时，有效提升了视频扩散模型在生成质量、运动控制和文本对齐等多维度的性能。

原作者： Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zengqun Zhao, Ziquan Liu, Yu Cao, Shaogang Gong, Zhensong Zhang, Jifei Song, Jiankang Deng, Ioannis Patras

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 LatSearch 的新方法，旨在让 AI 生成视频变得更快、更好、更聪明。

为了让你轻松理解，我们可以把 AI 生成视频的过程想象成一位画家在画一幅画，而 LatSearch 就是给这位画家配备了一位超级高效的“艺术总监”。

1. 背景：以前的痛点是什么？

想象一下，AI 生成视频就像画家在一张满是噪点（全是乱码）的画布上，一步步把噪点擦除，慢慢显现出清晰的画面。这个过程叫“去噪”。

以前的做法（传统模型）： 画家只能闭着眼睛，按照固定的步骤，从第一笔擦到最后一笔。如果第一步擦错了，后面所有的步骤都会跟着错，最后画出来可能是一只变形的猫。
以前的“优化”尝试： 有些聪明的研究者发现，如果一开始选一张“完美的乱码底稿”（也就是论文里说的“黄金噪声”），画出来的效果会好很多。于是他们尝试在开始前花大量时间寻找这张完美的底稿，或者画完一整幅画后，让人工审核员（奖励模型）来打分。
- 缺点： 这就像画家画完了一整幅画，才让人来挑刺说“这里不对，那里不对”。这时候，画家已经画完了，要么重画（浪费大量时间），要么只能接受不完美的结果。而且，如果要在画的过程中不断停下来让人审核，速度会慢到让人崩溃。

2. LatSearch 的核心创新：隐空间里的“实时导航”

LatSearch 的厉害之处在于，它不需要等画完（解码成视频）才去检查，而是在画家还在画草稿（隐空间 Latent）的时候，就实时介入指导。

核心比喻：隐空间里的“导航仪”

隐空间（Latent Space）： 这是画家脑海中的草图，还没变成肉眼可见的清晰图像，但已经包含了画面的核心结构。
Latent Reward Model（隐空间奖励模型）： 这就是那位超级艺术总监。它不需要等画完，只要看一眼画家的“草图”，就能立刻判断：“嗯，这个方向是对的，颜色感觉不错，动作很自然”，或者“哎呀，这个方向偏了，赶紧改”。

它是怎么工作的？

多路并行（撒网）： 画家不再只画一条线，而是同时派出 N 个 小画家（候选路径），每个人拿着稍微不同的“乱码底稿”开始擦除噪点。
实时打分（导航）： 在擦除的过程中（比如擦到一半时），艺术总监（奖励模型）会快速检查这 N 个草图。
- 它不看最终的视频（因为还没画完），只看草图。
- 它给每个草图打分：谁的动作最流畅？谁最符合文字描述？谁的画质最好？
优胜劣汰（剪枝与重采样）：
- 剪枝（Pruning）： 那些得分低的草图，直接扔掉，不再浪费时间去画完它们。
- 重采样（Resampling）： 那些得分高的草图，不仅保留，还会“生”出更多类似的优秀草稿，继续深入挖掘。
最终决选： 等到最后一步，只留下那个得分最高、最完美的草图，把它变成最终的清晰视频。

3. 为什么它这么牛？（三大优势）

快（效率极高）：
- 比喻： 以前的方法像是在迷宫里，必须走到终点发现是死胡同，才能知道走错了，然后退回去重走。LatSearch 像是在迷宫里装了GPS 导航，走到一半发现路不对，立刻掉头走另一条路，不用等到撞墙。
- 数据： 论文说，它比目前最先进的其他方法快了近 5 倍（运行时间减少了约 79%）。
好（质量更高）：
- 因为它能在过程中不断纠正错误，避免了“一步错，步步错”。它不仅能保证画面好看（视觉质量），还能保证动作流畅（运动质量）和符合文字描述（文本对齐）。
省（算力更省）：
- 它不需要把每个草稿都渲染成高清视频来打分（渲染视频非常慢），直接在“草图”阶段打分，大大节省了计算资源。

4. 总结

LatSearch 就像是给 AI 视频生成装上了一个智能的“过程导航系统”。

以前： 闭眼狂奔，撞了南墙再回头，或者画完再挨个挑刺，既慢又容易出错。
现在（LatSearch）： 派出多个探路者，随时汇报路况，导航员实时指挥，只保留最好的那条路，既快又准。

这项技术让 AI 生成视频不再需要漫长的等待，同时还能保证画出来的视频像电影一样精彩，是视频生成领域的一次重要飞跃。

这是一篇关于视频生成领域推理时扩展（Inference-Time Scaling）技术的论文总结。论文提出了一种名为 LatSearch 的新方法，旨在通过**潜在奖励引导（Latent Reward-Guided）**的搜索机制，在保持高效推理的同时显著提升视频生成的质量。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景： 受大语言模型（LLM）中推理时扩展（如思维链、测试时训练）成功的启发，研究者开始探索在扩散模型（Diffusion Models）的视频生成中应用类似的策略。现有的方法通常通过增加去噪步数或寻找“黄金噪声”（Golden Noise，即能产生高质量结果的初始噪声）来提升质量。
核心痛点：
1. 中间状态评估缺失： 现有的搜索方法（如 Best-of-N、束搜索、进化算法）通常只在最终解码后的视频上进行评估和选择。这意味着在漫长的去噪轨迹中，模型无法在中间步骤（Latent Space）判断候选项的质量，导致错误在早期积累，且无法进行早期剪枝。
2. 计算成本高昂： 为了评估中间候选项，现有方法往往需要反复将潜在变量（Latents）解码为视频，或者依赖昂贵的全视频解码过程，导致推理时间成倍增加（例如某些方法比基线慢 4-10 倍）。
3. 奖励信号延迟与稀疏： 仅在最终输出获得奖励信号，导致反馈延迟，难以指导生成过程中的动态调整。

2. 方法论 (Methodology)

LatSearch 的核心思想是在去噪轨迹的中间潜在状态（Intermediate Latents）上直接进行奖励评估和搜索，从而避免反复解码视频。

A. 潜在奖励模型 (Latent Reward Model)

功能： 该模型能够在任意去噪时间步 $t$ ，直接对部分去噪的潜在变量 $z_t$ 进行评分，无需解码为视频。
评估维度： 评分涵盖三个维度：
1. 视觉质量 (Visual Quality, VQ)
2. 运动质量 (Motion Quality, MQ)
3. 文本对齐度 (Text Alignment, TA)
训练策略：
- 数据构建： 利用最终清晰视频（ $z_0$ ）的奖励作为监督信号。由于中间潜在变量 $z_t$ 没有直接的 Ground Truth，作者提出了一种**基于相似度的信用分配（Similarity-based Credit Assignment）**策略。通过计算中间潜在变量 $z_t$ 与最终清晰潜在变量 $z_0$ 的余弦相似度，将视频级的奖励按比例分配给中间步骤。
- 损失函数： 结合回归损失（预测绝对分数）和偏好损失（Preference Loss，基于 RLHF 思想，优化候选项之间的相对排序），以提高模型在中间步骤的判别能力。
- 架构： 基于 ViT 和 LLM 架构，输入包括潜在块（Latent Tokens）、时间步嵌入和文本提示，输出三个维度的分数。

B. 奖励引导的重采样与剪枝 (Reward-Guided Resampling and Pruning, RGRP)

基于上述奖励模型，LatSearch 在推理过程中维护多个候选轨迹，并执行以下策略：

候选生成： 在初始噪声阶段生成 $N$ 个候选轨迹。
重采样 (Resampling)： 在预设的时间步（如 $t=10, 15, 20$ $t = 10, 15, 20$ ），利用潜在奖励模型对候选项打分。根据归一化的奖励概率进行多项式重采样。
- 创新点： 采用概率性重采样而非确定性选择，防止过度依赖可能不完美的奖励模型，保持探索性。
- 去重： 移除重复的种子（Seed），避免计算资源浪费在相同的轨迹上。
剪枝 (Pruning)： 在最后一个评分时间步，根据累积奖励（Cumulative Reward）选择得分最高的单一候选轨迹，丢弃其他轨迹，然后将其解码为最终视频。

3. 关键贡献 (Key Contributions)

提出了首个针对视频扩散的中间潜在奖励模型： 能够在去噪轨迹的任意时间步直接评估潜在变量，提供了过程级的监督信号，解决了传统方法只能评估最终输出的问题。
设计了 LatSearch 算法： 结合了潜在奖励模型与 RGRP 策略。通过概率重采样平衡探索与利用，通过累积奖励剪枝提高最终质量，同时避免了昂贵的视频解码开销。
实现了高效且高质量的推理扩展： 在 VBench-2.0 基准测试中，LatSearch 在多个维度（创造力、常识、可控性、人类保真度、物理规律）上均优于基线模型。
显著的效率提升： 相比现有的 SOTA 搜索方法（如 EvoSearch），LatSearch 在达到相当甚至更好质量的同时，将推理时间减少了高达 79%（即速度快约 4.77 倍）。

4. 实验结果 (Results)

基准测试 (VBench-2.0)：
- 在 Wan2.1-1.3B 模型上，LatSearch 的平均得分从基线的 51.90 提升至 53.84 (+1.94%)。
- 在 Wan2.1-14B 大模型上，同样取得了 53.61 的平均分（基线 52.58），证明了方法的通用性和可扩展性。
- 在“创造力”和“常识”等维度提升尤为明显。
效率对比：
- LatSearch: 推理时间约 182 秒 (2.36 倍于基线)。
- EvoSearch (SOTA): 推理时间约 783 秒 (10.15 倍于基线)。
- VideoReward: 推理时间约 283 秒。
- LatSearch 在保持高质量的同时，比 EvoSearch 快 4.77 倍，比 VideoReward 快 1.5 倍以上。
消融实验：
- 证明了余弦相似度作为信用分配策略优于均匀加权或指数加权。
- 证明了偏好损失 (Preference Loss) 能显著提升奖励模型的预测准确性（提升约 3%）。
- 证明了 RGRP 策略比传统的束搜索（Beam Search）更能平衡探索与利用，获得更优结果。

5. 意义与影响 (Significance)

突破推理瓶颈： LatSearch 证明了在视频生成中，通过在**潜在空间（Latent Space）**进行细粒度的奖励引导搜索，可以打破“高质量=高计算成本”的权衡。
通用性强： 该方法不依赖于特定的模型架构（如 DiT 或 U-Net），可以无缝集成到现有的视频生成模型中（论文在 1.3B 和 14B 模型上均验证有效）。
未来方向： 为视频编辑、长视频生成以及多模态生成（如音视频生成）提供了新的推理时优化思路。它表明，通过更智能的中间状态评估和剪枝，可以在不重新训练基础模型的情况下，显著提升生成系统的性能。

总结： LatSearch 通过引入“中间潜在奖励模型”和“重采样剪枝机制”，成功解决了视频扩散模型推理时扩展中“评估延迟”和“计算昂贵”的两大难题，实现了在大幅降低推理成本的同时，显著提升视频生成的质量、可控性和一致性。