Stream Forcing: Constructing Unified Training Trajectory for Robust Streaming Video Generation

想象一个计算机不仅能观看视频，还能实时逐帧构思出全新视频的世界。这是“流式视频生成”（streaming video generation）这一激动人心的前沿领域，它是人工智能的一个分支，旨在充当一种“世界模型”——一个理解世界如何运动和变化的数字大脑，从而能够预测接下来会发生什么。把它想象成一位永不停歇的电影导演；导演不需要等待整个剧本写完，而是根据刚刚发生的事情即兴创作下一场戏，创造出连续、无尽的视觉流。为了实现这一点，AI 使用了一种叫做“扩散”（diffusion）的技术，这有点像雕塑。想象一下，从一桶混乱、充满静电噪声的雪（噪声）开始，慢慢剔除这些静电，从而显现出下方清晰、移动的图像。难点在于，为了让计算机在实时运行中做到如此平滑，它需要学习如何以一种非常特定且有序的方式来剔除噪声。然而，教计算机这种特定的方式往往会让它变得不擅长学习事物运动的一般规律；而教它一般规律时，它在尝试变得具体化时又会踉跄。这是一个经典的 AI “双难困境”（catch-22）：你无法兼得，或者说大家曾一度认为如此。

于是，一种被称为 Stream Forcing 的新方法出现了，这是一种旨在解决这种拉锯战的聪明训练方法。这项论文背后的研究人员意识到，与其强迫 AI 在做一个刻板的规则遵循者或一个混乱的自由想象艺术家之间做出选择，不如通过创建一个“训练旅程”，让它在两者之间缓慢转变。他们将视频帧中的噪声水平视为一个相互关联的故事，而不是随机的猜测，其中每一帧都依赖于前一帧。通过使用一个数学“地图”（随机过程）来引导 AI，他们创建了一条平滑的路径：这条路径始于 AI 学习完全独立的、随机的帧，并逐渐演变成一个高度协调、循序渐进的过程，从而匹配它在现实世界中实际执行时的状态。

论文发现，这种“课程学习”（curriculum learning）的方法效果显著。当他们在名为 UCF-101 的基准数据集（包含人类动作的短片段）上测试该方法时，AI 生成的视频质量比之前的顶尖方法高出了 36.6%（通过名为 FVD 的评分衡量）。更令人印象深刻的是，AI 不仅在短片段上表现出色，它还学会了“拉伸”其知识，以生成它从未见过的更长的视频。在一次“零样本”（zero-shot）测试中，即 AI 在仅接受过短序列训练后，需要生成 128 帧（一段长序列）时，它在 UCF-101 数据集上的质量提升了 27.9%。他们还展示了该方法在处理复杂任务（如模拟自动驾驶）方面的能力，AI 成功生成的驾驶视频比现有模型具有显著更低的误差率。

他们的核心发现是，你不需要非此即彼。通过构建一个连续的“训练轨迹”，AI 可以同时享受随机采样带来的广泛、多样性的学习，以及掌握实时流媒体所需的严格、一致的节奏。他们否定了必须仅采用一种训练风格（纯粹随机或纯粹顺序）才能获得良好结果的观点。相反，他们证明了两者之间的平滑过渡才是“秘密配方”。该论文并不声称解决了 AI 的所有问题，但它表明，这种通过“强迫”训练进行平滑演进的方法，是迈向开发既高质量又能无间断运行且不脱离角色（break character）的视频生成器的重大进步。

Stream Forcing 的故事

问题所在：拥有“两只左脚”的 AI
想象你正在教一个机器人跳舞。你有两种教学方式：

1. “即兴创作”法： 你向机器人展示一系列随机的舞蹈动作，一个接一个，彼此之间没有任何联系。机器人学到了很多不同的动作（覆盖面广！），但它从未学会如何将它们平滑地连接起来。当你要求它在正式表演中跳舞时，它会因为不知道节奏而僵住。
2. “严格排练”法： 你强迫机器人在表演的精确顺序下，一步步进行练习。它完美地掌握了节奏（一致性好！），但它只学会了那一个特定的程序。如果你要求它即兴发挥或学习一种新风格，它就会失败，因为它从未见过那些“杂乱”多样的动作。

长期以来，AI 视频生成器一直困在这种困境中。如果它们像“即兴创作”舞者那样训练，视频看起来就会抖动且脱节；如果它们像“严格排练”舞者那样训练，它们就无法生成长期的、连续的视频流而不崩溃。

解决方案：一段平滑的训练旅程
该论文的作者 Yueting Zhu 及其团队决定不再强迫 AI 做选择。相反，他们构建了一个训练轨迹——一条漫长且蜿蜒的小路，从“即兴创作”开始，并缓缓转向“严格排练”。

他们将这种方法称为 Stream Forcing。以下是它的工作原理，使用了一个简单的比喻：

想象 AI 是一个正在学习绘制长篇连续壁画的学生。

• 阶段 1：热身（独立采样）。 在训练开始时，学生被允许完全独立地绘制墙壁的每个部分。他们可以在左边画鲜艳的红色，在右边画冷色调的蓝色，而无需考虑它们如何连接。这教会了学生绘画的基础知识，并给了他们极其丰富的色彩选择。
• 阶段 2：桥梁（课程过渡）。 这是神奇之处。老师（Stream Forcing 算法）开始慢慢给出提示：“嘿，注意到左边的红色是如何渗入右边的蓝色了吗？让我们试着让那个连接变得更平滑一些。” 老师不会瞬间切换规则；他们通过一帧一帧地引导学生，让学生开始关注相邻的帧。他们使用一种特殊的数学工具（“高斯 Copula”）来确保一帧中的噪声模式与下一帧轻轻相连，就像一串倒下的多米诺骨牌。
• 阶段 3：表演（推理对齐采样）。 到训练结束时，学生已经自然地进化了。他们不再是绘制随机、脱节的色块，而是正在绘制一幅无缝、流畅的壁画，每一笔都清楚下一笔会是什么。他们已经准备好在现实世界中表演，生成流畅、连贯且高质量的视频流。

“秘密配方”：联合校准（Joint Calibration）
为了确保这种转变不会感觉像是一个突兀的跳跃（这会让 AI 感到困惑），研究人员发明了一种“联合校准”算法。把这想象成管弦乐队中的指挥家。如果小提琴声部变得太大，而鼓声变得太小，音乐听起来就会很糟糕。指挥家（算法）不断检查每种乐器（每一帧视频）的音量（“噪声水平”），以确保随着音乐的变化，它们都能以平衡、一致的水平进行演奏。这确保了 AI 不会被某一类数据压倒，也不会忽略另一类数据。

结果：一个新标准
当他们对 Stream Forcing 进行测试时，结果令人印象深刻。

• 在 UCF-101 基准测试（视频生成的标准测试）中，该方法比现有的顶尖方法在质量得分上提升了 36.6%。
• 他们还测试了 AI 是否能处理“长时程”（long-horizon）任务——即生成比训练时长得多的视频。这就像是要求舞者在只练习过 1 分钟独舞的情况下，表演一场 10 分钟的独奏。Stream Forcing 取得了成功，将这些长视频的质量提升了 27.9%。
• 他们甚至将其应用于自动驾驶模拟（使用 nuScenes 数据集），其中 AI 需要预测汽车接下来会看到什么。该方法在此同样奏效，产生了比以往模型更清晰、更准确的驾驶视频。

为什么这很重要
论文指出，制造能够生成无尽、高质量视频流的 AI，关键不在于选择单一的训练策略，而在于创造一条平滑演进的路径，将两者的优势结合在一起。通过将训练过程视为一段旅程而非一个终点，Stream Forcing 让 AI 既能学习世界的多样性，又能掌握驾驭世界所需的连贯性。这提醒我们，有时，从 A 点到 B 点最好的方式不是直线，而是一条经过精心规划的平滑曲线。