想象一下，你正在教一个机器人如何一帧接一帧地构思一部电影，且永不停歇。这不仅仅是画出一张漂亮的图画；这是在构建一个“世界模型”——一个理解事物如何随时间移动、变化和相互作用的数字大脑。科学家们对此痴迷，因为这些模型有朝一日能帮助自动驾驶汽车预测交通，让机器人学习烹饪而不弄乱厨房，或者创造出能实时生成无限独特故事的电子游戏。为了实现这一点，机器人使用了一种叫做“自回归生成”（autoregressive generation）的技术，这是一种高级说法，意思就是它观察自己制作的前几帧，猜测下一帧会是什么，将这个猜测加入故事，然后利用这个新的猜测来推断再下一帧。这就像一场由超级聪明的艺术家进行的“传声筒”游戏，其中上一轮的输出成为了下一轮的输入。

这个游戏的大问题在于，如果艺术家在第一个猜测中犯了一个微小的错误，这个错误就会被传递下去。在下一轮中，艺术家试图修复这个错误，却不小心让它变得更糟，等到进行到第一百帧时，电影已经溶解成了静态噪声或一片白茫茫的亮光。这被称为“复合误差”（compounding error）。长期以来，科学界一直认为解决办法很简单：只需给机器人喂更多的训练数据。逻辑是，如果给它看一百万部更多的电影，它就会变得完美。但如果机器人不是因为没见过足够的电影而显得懒惰，而是因为它采取了一种会让它在长程任务中大脑崩溃的思维捷径呢？

这篇论文深入研究了这个谜团，调查了为什么这些生成视频的机器人会在一段时间后变得疯狂，并发现通常的解决方法——仅仅增加更多数据——实际上会让情况变得更糟。作者发现，机器人的内部“思想”（隐藏表示）开始坍缩并失去多样性，就像一个拥挤的房间里，所有人突然都开始低声重复着完全相同的句子。为了解决这个问题，他们引入了一种新的训练规则，称为“视频表示正则化”（Video Representation Regularization, VRR），它扮演着严厉教练的角色，强迫机器人的思想保持多样性和锐利度。结果是？机器人现在可以生成长而连贯的视频而不会崩溃，这证明了有时，少量的精练数据比单纯的大量数据更有效。

褪色电影的故事

把视频世界模型想象成一个数字故事讲述者。你给它视频的前几秒，它尝试预测这部电影的剩余部分，一次预测一帧。这有点像一位画家必须仅凭最后一次笔触来完成壁画。如果他们画出了一个小污点，下一笔就会试图覆盖它，结果却造成了更大的混乱，很快整幅画就毁了。在 AI 世界中，这被称为“复合误差”或“漂移”。视频开始看起来很棒，但过了一段时间，它会变成随机噪声或曝光过度的色块。

长期以来，研究人员认为答案显而易见：“我们只需要更多的训练数据！”其逻辑是，如果 AI 见过足够多关于世界如何运动的例子，它就永远不会出错。但本文的作者决定窥探一下机器人的大脑内部，看看在生成这些长视频时到底发生了什么。

秘密：大脑正在“坍缩”

团队发现了一些令人惊讶的事情。他们发现，就在视频开始崩溃的那一刻，模型的内部同时也发生了另一件事：它的内部“表示”（representations）正在坍塌。

想象一下，模型的脑子是一个拥有数千本不同书籍（表示）的图书馆，它可以用来描述一个场景。当模型运作良好时，它会从广泛的书籍中提取信息，创造出丰富、细腻的画面。但随着视频生成的进行，模型开始忘记大部分的书籍。它不再使用完整的图书馆，而是依赖于一两本最喜欢的书，一遍又一遍地重复同样的想法。作者称之为“维度坍缩”（dimensional collapse）。

为了衡量这一点，他们使用了一个名为“有效秩”（effective rank，简称 erank）的指标。可以将 erank 想象成一个分数，衡量模型的脑子正在使用多少种不同的“方向”。高分意味着大脑在以许多种方式思考；低分则意味着它陷入了死循环。他们发现，就在视频质量开始坠入噪声时，erank 分数也随之骤降。这完全吻合：大脑变得枯燥乏味，视频也就破碎不堪。

“更多数据”的迷思

这里是这篇论文真正有趣的地方。作者测试了旧理论——“数据越多越好”。他们在包含 18,000 个《我的世界》（Minecraft）游戏过程视频的海量数据集上训练了他们的模型。他们曾预期，随着模型看到的视频越来越多，它会变得更擅长避免错误。

然而，他们发现了相反的结果。随着他们在这一巨大数据集上训练的时间越来越长，模型的长视频生成能力反而变差了。有效秩（即其思想的多样性）降得更低了。似乎当模型获得太多数据时，它学会了一种“捷径”。它并没有真正理解世界是如何运动的，而是学会了仅仅通过复制前一帧来获得高分，因为这是在训练期间获得好成绩的最简单方法。这种捷径在处理短片段时表现良好，但当模型必须持续运行很长时间时，捷径失效了，视频随之坍缩。

因此，论文明确排除了“仅仅扩大数据集就是解决方案”的观点。事实上，对于这个特定的问题，向问题投喂更多数据反而可能让情况变得更糟。

解决方案：严厉的教练 (VRR)

如果模型正在走捷径且大脑正在坍缩，我们该如何修复它？作者提出了一种新方法，称为视频表示正则化（VRR）。

想象你在训练一名学生写故事。如果你只是让他们随心所欲地写，他们可能会变得懒惰并重复同样的词句。但如果你增加一条规则说：“你必须在每一句话中使用一个新的、独特的单词”，学生就会被迫思考得更深入，保持词汇的多样性。VRR 对 AI 起到了同样的作用。

在训练期间，作者添加了一个特殊的“惩罚”或“正则化”项。这个项会检查模型的内部大脑状态（隐藏层），如果模型开始过度依赖某些特定模式，它就会受到惩罚。它强迫模型保持较高的“有效秩”，确保即使在视频变长时，它也能持续使用其图书馆中多样化的“书籍”。

结果：创造新纪录

团队使用包括一种名为“扩散强制”（Diffusion Forcing）的热门方法在内的现有最佳技术，对这种新方法进行了测试。他们使用名为 VBench 的标准评分系统来衡量视频质量，特别关注了“审美质量”（Aesthetic Quality，即画面是否美观）和“成像质量”（Imaging Quality，即画面是否清晰且无噪声）。

结果非常显著。

• 扩散强制（旧方法）： 在训练 16,000 步后，审美质量分数为 38.65，成像质量为 44.37。
• VRR（新方法）： 在相同的训练量下，审美质量跃升至 55.56，成像质量飙升至 72.08。

更令人印象深刻的是，当旧方法训练时间越长时效果反而越差，而 VRR 方法则持续变好并保持稳定。当观察视频随时间播放的过程时，旧方法在几分钟后就开始呈现出静态噪声，而 VRR 方法则能更长时间地生成清晰、连贯的视频。

这意味着什么

这篇论文不仅仅提供了一个新技巧，它还改变了我们看待这个问题的方式。它表明，这些机器人之所以无法生成长视频，并不是因为它们见过的例子不够多，而是因为它们学会了偷懒。通过强迫它们保持内部思维的多样性，我们可以阻止“传声筒游戏”的崩溃。

作者谨慎地指出，虽然这在他们的测试中效果极佳，但仍存在疑问。他们并不完全清楚为什么更多的数据会导致捷径的形成，也不完全清楚模型究竟学会了哪些捷径。但他们已经证明，一个保持模型大脑活跃且多样化的简单规则，可以解决视频变成噪声的问题。这提醒我们，在 AI 的世界里，有时通往更美好未来的关键不仅仅是更多的数据，更是更好的纪律。