技术摘要：平衡强制（Equilibrium Forcing）：无需噪声调节的自适应视频生成

问题陈述

标准的自回归视频生成算法，特别是基于扩散（Diffusion）和流匹配（Flow Matching）的方法，依赖于僵化的训练目标和基于显式噪声水平的静态采样调度。这些方法以开环方式运行，即在每一步中传递给模型的噪声水平是由外部调度预先确定的，而非由生成的样本当前状态推导而来。

作者指出这种范式中的一个关键缺陷：在长程自回归展开过程中，样本的真实噪声水平往往会偏离预设的噪声水平。这种“训练-推理不匹配”会导致误差随时间累积，从而降低视频质量和时间一致性。现有的通过对估计噪声水平进行调节来尝试闭合该回路的方法仅部分缓解了这一问题，这表明对显式噪声调节的依赖本身就是实现稳定、高质量自回归生成的根本瓶颈。

方法论：平衡强制 (EQF)

本文引入了 平衡强制 (Equilibrium Forcing, EQF)，这是一个用于训练和推理无需噪声水平调节的去噪生成视频模型的框架。EQF 将去噪场的学习与采样过程解耦，实现了数据自适应的推理。

1. 训练：无调节平衡目标

与学习为每个噪声水平 $\sigma$ 学习单独速度场 $f_{FM}(x_\sigma)$ 的标准流匹配 (FM) 不同，EQF 在整个数据分布上学习一个统一的速度场 $f_{EQF}(x_\sigma)$。

• 损失函数： 训练目标移除了噪声水平调节项。网络被训练为直接从噪声输入 $x_\sigma$ 预测速度 $v = \epsilon - x$，而无需将 $\sigma$ 作为输入。
  $$L_{EQF} = \mathbb{E}_{x, \epsilon, \sigma} [\|f_{EQF}(x_\sigma) - v\|_2^2]$$
• 理论依据： 作者证明，在高维空间中存在噪声水平浓度假设（即后验概率 $p(\sigma|x_\sigma)$ 收敛至单一值）的情况下，贝叶斯最优的 EQF 去噪器在逐点意义上近似于贝叶斯最优的 FM 去噪器。因此，EQF 可以在不进行显式调节的情况下学习到与 FM 相同的去噪场。

2. 推理：闭环自适应性

EQF 利用模型的内部状态来驱动采样动力学，用闭环反馈取代固定调度。

• 噪声水平估计： 通过训练一个轻量级的读取模型 $h_\omega$，从 EQF 模型的激活值 $z$ 中预测噪声水平后验的众数。这提供了样本向数据流形进展程度的内部估计。
• $\eta$ 扭曲与吸引子动力学： 推理过程使用扭曲函数 $\eta$ 根据估计的噪声水平 $\hat{\sigma}$ 来调节步长。通过选择当 $\sigma \to 0$ 时 $\eta(\sigma) \to 0$ 的函数，将采样景观塑造为一个不动点吸引子。这使得可以使用Nesterov 加速梯度 (NAG) 等基于梯度的优化器来加速收敛。
• 预算自适应采样： 该框架支持根据剩余采样预算动态重新分配预算的算法。它不再遵循预计算的网格，而是根据当前的估计噪声水平和剩余步数来调整步长，从而防止过冲并提高效率。

核心贡献

1. 挑战噪声调节的必要性： 本文挑战了“显式噪声调节对于稳定的自回归视频生成是必需的”这一流行假设，并证明移除该调节实际上通过消除调度与样本间的偏差提高了鲁棒性。
2. 模块化框架： EQF 将训练（学习统一的平衡场）与推理（通过 $\eta$ 扭曲塑造景观）分离。这与之前的无噪声调节方法（如 Equilibrium Matching, EqM）不同，后者将特定的损失权重和目标调制嵌入到了训练目标中。
3. 闭环推理： 引入了利用内部噪声水平估计的闭环采样机制，这使得能够使用与标准开环、噪声调节模型不兼容的自适应算法（如 NAG、预算自适应采样）。
4. 可扩展性： 作者展示了可以通过改变简单的目标函数来微调大规模预训练的流匹配模型（1.3B 和 5B 参数），从而应用 EQF。

实验结果

作者在三个自回归视频生成基准测试上评估了 EQF：Minecraft（动作条件）、RealEstate10K（相机条件）以及 Droid（机器人操作，语言条件）。

• 性能提升： EQF 在 Frechet 视频距离 (FVD) 和 VBench 分数方面始终优于标准流匹配、扩散模型和其他无噪声调节的基准模型（如 EqM 和 NU-FM）。
  • 在 Minecraft（300 帧展开）中，使用 NAG 和 c-function 扭曲的 EQF 实现了 64.34 的 FVD，显著低于流匹配 (104.13) 和 EqM (77.02)。
  • 在 RealEstate10K 和 Droid 上，微调后的 EQF 模型 (EQF-FT) 也超越了其对应的流匹配模型，证实了该方法的可扩展性。
• 消融研究：
  • 闭环 vs. 开环： 移除噪声调节并使用闭环反馈对于性能至关重要；仅仅移除调节而不进行自适应推理会导致结果欠佳。
  • 采样器选择： Nesterov 加速梯度 (NAG) 显著优于标准的 Euler 或梯度下降采样器，但前提是必须与消失于数据流形的吸引子风格 $\eta$ 扭曲（如 c-function 或线性 log-SNR）配合使用。
  • 预算自适应性： 根据剩余预算和当前噪声估计动态调整采样轨迹的算法，在紧凑的计算预算下实现了更低的 FVD。
• 微调效率： 研究表明，大型预训练模型可以通过微调转换为 EQF，在恢复 FM 速度场的同时获得执行自适应推理的能力。

意义与主张

本文声称，平衡强制 (Equilibrium Forcing) 代表了视频生成领域的一种范式转变，其证明了：

1. 显式噪声调节对于高质量、稳定的自回归生成并非必要；事实上，由于固定调度的开环特性，它反而可能成为一种阻碍。
2. 数据自适应推理是释放无噪声调节模型潜力的关键。通过允许采样过程适应生成状态，EQF 在长程任务中实现了卓越的一致性和质量。
3. 训练与推理之间的模块化允许使用此前与去噪模型不兼容的高级优化技术（如 NAG）。

作者总结道，虽然目前的 EQF 主要关注视频，但其将训练目标与推理动力学解耦并利用平衡景观的原则，为未来的世界模型和交互式内容创作提供了一个极具前景的方向，使其能够超越僵化、预设调度路径的限制。