🤖 machine learning

Paris 2.0: A Decentralized Diffusion Model for Video Generation

Paris 2.0 是首个能够训练时间连贯视频生成的去中心化扩散模型，在计算预算匹配的情况下，其 Frechet 视频距离相比单体模型实现了约 2.0 倍的提升。

原作者： Ali Rouzbayani, Bidhan Roy, Marcos Villagra, Zhiying Jiang

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Ali Rouzbayani, Bidhan Roy, Marcos Villagra, Zhiying Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想教一个机器人根据你给出的描述来绘制动态画面（视频）。通常，要做到这一点，你需要一个庞大且极其昂贵的计算机机房，里面装满了数千张强大的显卡，它们必须完美同步地协同工作。只要其中一张显卡停止工作，整个团队就会停摆。这就是“单体式”的做法。

Paris 2.0 是一种无需那种巨型昂贵机房的新方法。相反，它采用了一种“去中心化”的方式，就像一群自由职业者分散在全球各地的不同咖啡馆工作，并通过一位智能经理相互连接。

以下是论文如何将其拆解为简单概念的解释：

1. 问题所在：“大老板”与“团队”

旧方法（单体式）： 想象一个单一的巨型大脑试图一次性学习关于视频的所有内容。它必须在同一台巨型超级计算机上进行训练。这种方法成本高昂、难以构建，而且如果连接到那台计算机的互联网中断，训练就会停止。
新方法（Paris 2.0）： 想象雇佣三位不同的艺术家（称为专家）。每位艺术家都在自己独立的小工作室里，使用自己的计算机工作。他们在学习过程中互不交谈，只是各自在属于自己的那堆视频上进行练习。
- 神奇之处： 由于他们无需等待彼此完成某一步骤，因此可以利用更廉价、分散的计算机（甚至是人们按小时租用的计算机）来进行训练。

2. 工作原理：“智能经理”

当你要求系统制作一个视频（例如“一位金发女性正在说话”）时，系统并不会只挑选一位艺术家。它会使用一个路由器（即智能经理）。

过程：
1. 你输入提示词。
2. 视频像剥洋葱一样一层层构建，逐步揭示画面。
3. 在剥洋葱的每一个步骤中，路由器都会审视当前杂乱的画面，并问道：“谁最擅长修复这个特定部分？”
4. 路由器可能会说：“专家 A 非常擅长视频的开头部分，但专家 B 更擅长结尾部分。”
5. 它会立即挑选出正确的专家来执行下一步。

类比： 想象制作一部电影。在旧方法中，一位导演必须执导每一个场景，从爆炸场面到安静的对话。而在 Paris 2.0 中，你拥有一位导演，他确切知道为每个场景该呼叫哪位专家。一位专家擅长动作场面，另一位擅长情感表达。随着电影的播放，“路由器”会在他们之间瞬间切换。

3. 结果：更高质量，更低成本

论文将这支新的专家团队与旧的“巨型大脑”模型进行了测试。他们为两者提供了完全相同的计算能力和完全相同的学习数据。

评分： 新的去中心化团队（Paris 2.0）制作的视频看起来更加逼真，并且与文本提示的匹配度更高。
- 他们将一项主要的错误评分（FVD）降低了一半（从 561 降至 279）。
- 视频看起来更精美，并且更严格地遵循了指令。
意外发现： 论文发现，尽管使用的计算总量相同，但这种“团队”方法实际上比单一的巨型模型表现得更好。

4. 为何重要（根据论文所述）

论文声称，这证明了训练先进的视频人工智能并不需要庞大的集中式超级计算机。

专业化： 不同的“专家”自然地学会了擅长不同类型的视频（例如不同的镜头运动或场景），因为他们在不同的数据块上进行了训练。
可扩展性： 如果你想让人工智能变得更聪明，你不需要建造更大的超级计算机。你只需雇佣另一位“专家”（训练另一个模型），并让路由器学会使用他们。

简而言之： Paris 2.0 表明，通过将工作分配给许多更小、独立的模型，并利用一个智能系统在他们之间进行切换，我们可以在无需世界上最昂贵计算机的情况下，创造出高质量的视频人工智能。它将视频生成从一个“单一巨型大脑”的问题，转变为一个“协作团队”的问题。

技术摘要：Paris 2.0——用于视频生成的去中心化扩散模型

1. 问题陈述

当前的视频生成模型依赖于单体训练范式，即使用同质化的高带宽、共置 GPU 集群，在广泛的视频数据集混合上训练单一模型。这种方法造成了显著的基础设施限制，因为参数更新需要在紧密耦合的硬件之间进行同步。虽然去中心化扩散模型（DDMs）已成功证明图像生成可以在没有单体集群的情况下进行训练（如Paris 1.0 [2] 所示），但将其扩展到时间连贯的视频生成仍是一个未解决的问题。视频生成对专家提出了更沉重的负担，包括运动建模、更长的时间上下文以及显著更大的潜在空间，这引发了一个疑问：去中心化的异步训练能否生成高质量、连贯的视频。

2. 方法论

核心架构

Paris 2.0 是一组独立的扩散专家的集合，在推理阶段通过一个学习到的路由器进行组合。该系统由三个主要组件构成：

共享预处理栈：视频被编码为缓存的因果HunyuanVAE潜在变量。提示词使用T5-v1.1-XXL和CLIP-ViT-L/14进行编码。该栈与训练前向路径解耦，以降低计算开销。
专家池：模型利用三个110 亿参数 FLUX 风格的 MM-DiT（多模态扩散 Transformer）专家。每个专家使用流匹配速度目标从零开始在不同的数据集群上进行训练。关键在于，专家在训练期间不交换梯度、参数或激活值；它们在异构硬件（包括竞价实例和消费级硬件）上独立优化。
路由器：一个轻量级的DiT-B模型（约 1 亿参数）在每一步去噪过程中执行路由。它接收当前的噪声潜在变量、扩散时间步、池化的 CLIP 文本向量以及可选的 DINOv2 首帧特征。它输出路由权重以选择前 $K$ 个专家。与专家不同，路由器不访问完整的 T5 嵌入，而是依赖池化的 CLIP 向量。

训练与推理

训练：每个专家被限制在其自己的数据集群中。路由器作为监督集群分类器独立训练，预测噪声潜在变量与其 CLIP 文本特征配对后的源集群标签。
推理：在每一步去噪过程中，路由器读取当前状态并选择专家来评估视频速度场。这些专家速度场的加权和驱动 ODE 求解器进入下一个潜在变量。这种设计确保了每个样本的计算量保持在单个骨干网络的量级，而总容量通过增加更多专家实现水平扩展。

3. 主要贡献

首个去中心化视频模型：Paris 2.0 是首个完全通过去中心化计算预训练的视频生成模型，证明了无需单体 GPU 集群即可生成时间连贯的视频。
视频的去耦合计算：该论文将去耦合计算方案从图像扩展到视频，证明了具有不同运动模式和场景动态的不同数据集群可以被专门的专家利用，而无需让每个样本为所有专家付费。
专家专业化：该研究提供了证据，表明在隔离状态下训练的专家确实专注于其分配的数据集群，而不是坍缩到边缘分布，这是有效路由的前提条件。
路由与集成：通过消融实验，作者证明了性能提升源于跨专门专家的路由机制，而非简单的集成或单纯增加参数量。

4. 实验结果

作者在等 FLOP 和等数据预算下，将 Paris 2.0（第一阶段，三专家 DDM）与在相同数据集群并集上训练的单体 110 亿参数 MM-DiT 进行了评估（每个专家看到的数据和计算量是单体模型的 1/3）。

定量改进（低分辨率 256×256 文本到视频）：

弗雷歇视频距离（FVD）：从单体模型的561.04降低至 DDM 的279.01，分布真实性提升了约2.0 倍。
CLIP 文本 - 视频相似度：从0.2032提升至0.2178。
美学评分：从3.7950提升至3.9036。
运动：DDM 显示出更高的每帧位移幅度（0.712 对比 0.555），尽管作者指出这只是幅度的描述性度量，而非时间一致性。

消融研究发现：

切换调度：在两个专家之间交替的手动调度在所有指标上均优于单一专家，表明在去噪时间上存在方向性专业化（例如，一个专家偏好高噪声步骤，另一个偏好低噪声步骤）。
专业化差距：在特定集群上训练的专家在其自身集群的提示词上获得了0.2175的 CLIP 分数，而在通用集上仅为0.1781，证实了真正的专业化。

5. 意义与主张

该论文声称，Paris 2.0 解决了去中心化训练能否生成时间连贯视频这一开放性问题。其主要意义在于证明，在隔离状态下训练的专家容量不仅经受住了向视频生成的过渡，而且优于在相同数据上训练的单一骨干网络。

作者将这项工作定位为迈向物理 AI 世界模型的一步。他们主张，基础世界模型必须涵盖任何单一训练集群能力范围之外的环境。通过按环境专门化专家并在它们之间进行路由，Paris 2.0 提供了一条路径，利用世界已有的分布式计算来训练世界模型，而不是依赖仅少数实验室可访问的单体集群。结果表明，DDM 方案足够稳健，可以从图像扩展到复杂、运动密集的视频生成。