🤖 machine learning

MilliVid: Hierarchical Latents for Long-Range Consistency in Video Generation

MilliVid 通过采用层次化自编码器将帧压缩为多尺度标记，并在视频扩散模型中使用由粗到精的展开策略，从而在降低计算成本的同时，解决了视频生成中的长程一致性挑战，进而保持了全局几何结构和物体恒常性。

原作者： Ishaan Preetam Chandratreya, David Charatan, Basile Van Hoorick, Sergey Zakharov, Vitor Guizilini, Phillip Isola, Vincent Sitzmann

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ishaan Preetam Chandratreya, David Charatan, Basile Van Hoorick, Sergey Zakharov, Vitor Guizilini, Phillip Isola, Vincent Sitzmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向一位朋友讲述一个很长的故事，但你只有一个小小的记事本。如果你试图写下每一个场景的所有细节——每一片树叶、每一道人行道的裂缝、每一处墙壁的纹理——你写不了几句话就会用完空间。到你讲完故事结尾时，你已经把开头忘得一干二净了。

这正是当今视频 AI 模型面临的精确问题。它们想要生成长且连贯的视频，但它们的“记事本”（计算机内存）太小了，无法容纳长序列中的所有细节。因此，它们会开始产生幻觉，忘记物体去了哪里，或者随着视频的进行改变房间的布局。

MILLIVID 这篇论文提出了一个巧妙的解决方案：不要试图一次记住所有事情。 相反，先记住大局，然后再填充微小的细节。

以下是他们是如何实现的，使用了以下日常类比：

1. “俄罗斯套娃”式记忆系统

大多数视频 AI 模型试图以全分辨率存储每一帧。MILLIVID 通过使用**层级分词器（hierarchical tokenizer）**改变了游戏规则。你可以把它想象成一套俄罗斯套娃，或者一张具有不同缩放层级的地图：

粗粒度层级（大局）： 这是最小的套娃，或者是最低缩放倍率的地图。它不显示草地的纹理或砖块的颜色。它只记得房间的形状、墙在哪里以及主要物体的位置。因为非常简单，AI 可以同时记住数百个这样的“大局”帧。
细粒度层级（细节）： 这是最大的套娃，或者是最大缩放倍率的地图。它增加了草地的纹理、砖块的图案和光影。但由于它非常详细，AI 在内存耗尽前只能记住其中的几帧。

类比： 想象你正在向朋友描述一座城市。

旧方法： 你试图描述整个旅途中每一栋建筑上的每一扇窗户。你很快就累了，并在 10 分钟后忘记了城市的布局。
MILLIVID 方法： 首先，你描述整个城市（公园在哪里，河流如何流淌）的布局。然后，当你靠近某个特定建筑时，你再添加细节（门的颜色、窗户里的花朵）。你始终在脑海中保留着“大局”，这样你就永远不会迷失方向。

2. “由粗到精”的展开（Coarse-to-Fine Rollout）

该论文引入了一种称为**由粗到精展开（coarse-to-fine rollout）**的新型视频生成方式。

模型不是通过生成带有全细节的逐帧视频（这会导致 AI 忘记过去），而是分阶段工作：

第一阶段： 它生成一段长序列的“模糊”或低细节帧。因为这些帧很简单，AI 可以同时追踪 100 多帧。这确保了故事的连贯性（汽车保持在路上行驶，建筑物不会消失）。
第二阶段： 它回到最近的帧并将其“锐化”，添加高清晰度的细节。
神奇之处： 至关重要的是，当它为最近的帧添加细节时，它会参考远处帧的低细节版本，以确保故事依然合理。

类比： 把它想象成画一幅素描。

首先，你画出整个场景的粗略火柴人轮廓，以确定姿势和位置。你可以用这种方式画出整个场景而不会出错。
然后，你回到前景的人物身上，添加肌肉、衣服和面部表情。
你不会在还没确定背景人物站立位置之前，就去画他们的肌肉，否则你可能会把肌肉画错位置。

3. “我的世界”测试

为了证明这套方法的有效性，研究人员不仅使用了漂亮的电影画面，还使用了**《我的世界》（Minecraft）**。

为什么？ 《我的世界》是一个可以四处走动的 3D 世界。如果 AI 忘记了布局，你可能会穿墙而过，或者看到一棵树消失后又在另一个地方重新出现。
结果： 他们将该方法与现有的顶尖模型（如 FramePack）进行了对比。旧模型生成的视频中，玩家走了一段时间后，世界就会发生“故障”——建筑物发生位移，或者路径错误地循环回自身。
MILLIVID 的表现： 因为它在整个过程中都将世界的“粗粒度”地图保存在内存中，所以它可以生成长达数百步的行走视频，玩家转身后能完美地看到之前经过的完全相同的建筑，保持了高度的一致性。

核心结论

该论文声称，通过接受我们无法记住遥远过去的每一个微小细节这一事实，我们可以更好地记住过去的结构。

旧方法： “我会完美记住过去 5 秒内的每一个细节，但我会忘记 10 秒前发生的一切。”
MILLIVID 方法： “我会记住 10 秒前发生的一切的大致形状和位置，而我只会记住最近 5 秒的微小细节。”

这种权衡让 AI 能够生成连贯性更长的视频，在不需要耗资数百万美元的超级计算机的情况下，保持视频“故事”的一致性。作者专门针对《我的世界》的游戏过程进行了测试，发现其产生的结果比现有方法显著更加一致。

技术摘要：MILLIVID

问题陈述

视频生成模型在逼真度和规模方面取得了显著进展，但在**长程一致性（long-range consistency）**方面仍面临挑战。生成从开始到结束保持连贯性的视频非常困难，因为维持长时序上下文需要极长的 Transformer 序列长度，这在计算上是不切实际的。目前的自回归方法是分块生成视频，其中最近的一个块作为下一个块的上下文。随着旧的块退出上下文窗口，其内容会被遗忘，从而导致几何结构和物体持久性的一致性问题。

由于 Transformer 的成本随序列长度呈二次方增长，增加上下文长度在计算上是极其昂贵的。虽然像 FramePack 这样的近期方法试图通过为远距离上下文帧分配更少的 token 来缓解这一问题，但作者观察到，这种方法本身无法召回那些即使仍处于压缩上下文窗口内、但已离开摄像机画面的内容。

方法论

本文提出了 MILLIVID，一种基于扩散的视频生成模型，旨在固定序列长度约束下实现最大化的长程一致性。该方法由两个主要部分组成：

1. 分层自编码器（Hierarchical Autoencoding）

作者训练了一个自编码器，将每一帧视频压缩为层次化潜变量 token（hierarchy of latent tokens），而非单一的扁平表示。

结构： 编码器处理一个多分辨率图像金字塔。在每个层级 $\ell$ ，图像被切分为 $N_\ell$ 个 token，其中分辨率在每个更粗糙的层级减半（ $N_\ell = \frac{H}{2^\ell} \times \frac{W}{2^\ell}$ ）。
信息分布： 最粗糙的层级（token 最少）捕捉全局场景结构和语义，而较细的层级则添加高频外观和纹理。
训练： 自编码器被训练为从单个随机采样的层级重建完整的分辨率金字塔。解码器必须基于该特定层级的 token 重建整个分辨率级联。
优势： 与级联模型中使用的简单下采样或均值池化不同，这种学习到的层次化分词器即使在高压缩水平下也能保留相关的结构细节，避免了重建模糊的问题。

2. 由粗到精的展开生成（Coarse-to-Fine Rollout Generation）

视频扩散模型在这一层次化潜变量空间内进行训练，并使用一种创新的由粗到精的展开策略。

约束： 模型在固定的 Transformer 序列长度 $S$ 下运行。
策略： 模型并非自回归地生成全分辨率帧（这会限制上下文帧的数量），而是首先生成一系列高度压缩（粗糙）的帧，然后逐步将这些帧细化到更精细的尺度。
上下文管理： 至关重要的是，生成过程确保上下文始终包含分辨率最高的最近帧，以及仅生成到粗糙层级的未来帧。这通过确保模型在分辨率和时间维度上同时解决不确定性，防止了不一致性（例如，在粗糙视图中显示为“停止”的标志，在精细视图中却显示为“前进”）。
训练： 模型通过在不同层级的干净上下文 token 条件下进行去噪来训练。针对层级、帧、行和列的位置编码允许单个模型处理所有的展开步骤。

核心贡献

用于视频的分层自编码： 作者证明了训练具有层次化潜变量空间的自编码器，其压缩效果比标准的下采样或分块方法能更好地保留相关细节。
由粗到精的展开： 他们引入了一种利用层次化空间来权衡细节与时序跨度的生成策略。通过先生成许多粗糙帧，模型可以在固定的 token 预算内覆盖更长的时序上下文。
卓越的长程一致性： 研究表明，与 FramePack 和全分辨率自回归展开等最先进的基准方法相比，该方法能产生显著更一致的长程展开，且不会牺牲单帧质量。

结果

该方法在 LOOPCRAFT 上进行了评估，这是一个包含 1024 帧 Minecraft 游戏视频的自定义数据集，旨在测试记忆能力（即内容退出并重新进入画面的情况）。

一致性指标： 在短、中、长期跨度（第 1–768 帧）内，MILLIVID 显著优于基准模型（FramePack 和全分辨率展开）。
- PSNR： 长程 16.69 vs. FramePack 11.98 vs. 全分辨率 11.02。
- LPIPS： 长程 0.335 vs. FramePack 0.533 vs. 全分辨率 0.630。
- LightGlue 匹配数： 长程 62.4 vs. FramePack 7.0 vs. 全分辨率 5.0。
质量指标： 该方法保持了与基准模型相当的质量（FVD 和 FID），证明了一致性的提升并未以牺牲视觉保真度为代价。
消融实验：
- 使用级联（均值池化）方法替换学习到的层次化分词器会导致一致性和质量下降。
- 将层次化潜变量空间应用于 FramePack 架构并未提高性能，这表明其收益源于层次化空间与由粗到精展开策略之间的特定相互作用。
- 一个“镜像”版的 FramePack 变体（预测粗糙的长程目标）表现出改进的一致性，这支持了作者的假设，即被迫预测更远未来的模型能更好地利用远距离上下文。

重要性与主张

论文指出，视频生成的长程一致性需要面对一个根本性的权衡：在给定的序列长度下，必须决定保留哪些信息。MILLIVID 提出，粗糙结构（场景布局、语义）应当在较长时间跨度内得以保留，而精细细节（纹理）可以被遗忘或稍后生成。

通过学习由粗到精的层次结构，并明确地将 Transformer 的 token 预算分配给优先处理大量过去的粗糙帧而非少量最近的精细帧，该模型实现了在数百帧内大幅提升对 3D 场景结构的召回能力。作者声称，这是迈向需要长时序连贯性的应用（如世界模型和机器人技术）的重要一步，且无需依赖外部检索机制或显式的 3D 地图。

作者也指出了局限性，具体而言，该方法并非为直接微调标准的预训练视频扩散模型而设计，且比 FramePack 多出约 33% 的展开步骤。然而，他们认为，为了获得显著提升的一致性，这种权衡是值得的。