MiniWorld: Democratizing the Training of Video World Models from Scratch
本文介绍了 MiniWorld，这是一个轻量级且完全可复现的框架，它通过利用具有流匹配（Flow Matching）功能的块因果视频扩散 Transformer（block-causal Video Diffusion Transformer）以及优化的推理策略，使得在适度的计算资源上从头开始进行流式视频世界模型的端到端训练成为可能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个机器人如何玩电子游戏，但你不仅仅是向它展示屏幕，而是希望它能理解世界的“规则”。如果机器人推了一下方块，方块应该滑动；如果它跳跃，重力应该把它拉下来。这就是“世界模型”（World Models）的梦想：这些计算机程序不仅能生成漂亮的图像，而且真正理解当采取行动时世界会如何变化。长期以来，构建这类智能系统的唯一方法是采用一个庞大的、预训练好的视频生成器（就像一个超级先进的动画工作室），然后尝试对其进行微调以适应实时运行。但这就像是试图把一艘笨重缓慢的豪华邮轮变成一艘灵活敏捷的快艇；这需要巨额的资金、巨大的计算能力，而且这艘船往往还是无法转向正确，因为它原本是为不同的目的而建造的。
研究人员一直在问一个核心问题：我们能否从零开始构建一个轻量级、易于理解，并且能在标准计算机服务器上运行的世界模型？我们需要一个能够逐帧预测未来的系统，就像电影向前播放一样，而不是一次性猜测整个场景。如果我们能在不需要像城市规模般巨大的超级计算机的情况下做到这一点，那么将为任何人实验创建用于机器人、游戏和虚拟现实的交互式模拟打开大门。这正是《MiniWorld》这篇论文旨在解决的挑战。
MiniWorld 的解决方案：逐帧预测器
本文作者介绍了 MiniWorld，这是一个全新的框架，它证明了你不需要数十亿美元的预算也能从头开始训练一个视频世界模型。他们并没有试图修复一个巨大的、预制的视频生成器，而是构建了一个全新的、精简的系统，专门设计用于预测正在发生的未来。可以把它想象成教一个学生写故事，一次只写一句话，每一句新句子仅取决于之前的句子，而不是试图一次性编辑整本书。
它是如何工作的：“块”策略
大多数视频模型试图同时观察整个未来，这在尝试实时生成时会导致混乱。MiniWorld 使用了一种被称为**块因果注意力（block-causal attention）**的聪明技巧。想象你在读一本漫画书，但你只能看到当前页面和之前的页面。你可以前后查看当前页面的细节，但你不能窥视下一页。MiniWorld 将视频分解成小的“块”（帧组）。它允许模型在块内前后查看以获取细节，但严格禁止它看到未来的块。这迫使模型学会仅根据过去来预测下一步，就像真实的机器人体验世界一样。
“噪声”调度
为了让视频生成更加平滑，该模型使用了 流匹配（Flow Matching） 技术，这就像慢慢将一个模糊、充满静电干扰的电视屏幕变成清晰的画面。通常，模型会以相同的速度清理整个视频。然而，MiniWorld 使用了一个非递减噪声调度（non-decreasing noise schedule）。想象一队排队等待画脸的人：排在最前面的人（过去）已经是清晰明亮的；中间的人有点模糊；而最后面的人（遥远的未来）仍然被静电覆盖。模型学习按顺序清理它们，从清晰的过去到模糊的未来。这符合我们实际体验时间的方式：过去是固定的，而未来是不确定的。
两阶段训练
作者发现，你不能只是把一个模型扔进一段长电影中并期望它学会。因此，他们分两个阶段训练了 MiniWorld。首先，他们在短小的 21 帧片段（类似于快速 GIF）上进行训练，以便它学习运动和因果关系的各种基本规则。一旦它掌握了短片段的内容，他们就转向更长的片段（高达 253 帧），以教它如何在不忘记开头发生的事情的情况下延续故事。这就像是在平坦的空地上练习骑自行车，然后再尝试骑上长长的斜坡。
“滚动记忆”的神奇之处
长视频的一个大问题是，计算机在试图记住每一帧时会耗尽内存。MiniWorld 通过 滚动 KV 缓存（Rolling KV Cache） 解决了这个问题。想象一条工厂里的传送带：随着新帧的生成并变为“真实”，它们被放置在传送带上。传送带最前端的最旧帧会被丢弃以腾出空间给新帧，但最重要的“锚点”帧会永远留在原地。这使得模型能够生成理论上无限长的视频而不会导致计算机崩溃，因为它只在活跃内存中保留必要的历史记录。
他们的发现
团队在两个截然不同的任务上测试了 MiniWorld：预测机器人手臂如何移动（DROID 数据集）以及预测摄像机如何在 3D 环境中移动（RealEstate10K）。
- 它有效： 与那些试图适配旧模型的先前方法相比，MiniWorld 能够生成更稳定、更长且遵循物理规则和用户动作的视频。
- 它很快： 通过使用滚动记忆并并行处理块，他们将视频生成速度提高了一倍，从大约每秒 3 帧提升到了超过每秒 7 帧。
- 它触手可及： 整个模型，包括训练代码和最终权重，都可以在仅需几天的内，在配备 8 张显卡的单台服务器上完成训练。与通常需要数周或数月以及数千个 GPU 的情况相比，这在成本上实现了巨大的下降。
他们没有做到的事情
论文谨慎地指出，MiniWorld 并不是视频生成的“最终 Boss”。它不会产生那种你在好莱坞大片中看到的绝对高质量、写实主义的电影画面。相反，它是一个可复现的基准（reproducible baseline）。作者明确反对“必须使用大规模预训练模型才能获得好结果”的观点。他们展示了通过一种更简单、透明的方法，可以在不依赖复杂“后训练”或蒸馏技术的情况下，实现稳定的长期预测。
底线
MiniWorld 表明，交互式 AI 的未来并不一定被锁在昂贵超级计算机的付费墙后面。通过构建一个尊重时间流逝（从过去到未来）并使用智能记忆技巧的系统，作者创造了一个任何人都可以用来实验世界模型的工具包。他们并没有解决所有问题——错误仍然会在非常长的视频中累积——但他们证明了，一个简单、开放且高效的配方足以完成这项工作。这为更多研究人员去钻研、改进并理解机器如何预测未来打开了大门。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。