想象你有一位精通从零开始制作特定类型菜肴的大厨：文本转视频。你给他一份食谱（文本提示），他就能变出一道美味的视频。这位大厨就是“基础模型”（具体来说，是一个名为 Wan-T2V 的模型）。
然而，这里有个问题。如果你想给大厨一个特定的起始食材（比如一张猫的照片），并说：“用这只猫作为开头制作视频”，大厨就会感到困惑。在旧的方法中，大厨必须从头学习一种全新的烹饪方式，而在这个过程中，他往往会忘记如何完美地制作原本的菜肴。这就像强迫大厨忘掉他所有的烹饪训练，只为学会一个新把戏。
于是，Pusa V1.0 登场了。
问题所在：“僵化的时钟”
当前的视频 AI 模型运作起来就像一座僵化且同步的时钟。想象视频是一排正在倒下的多米诺骨牌。在这些旧模型中，每一块多米诺骨牌（帧）都必须在完全相同的速度和时间下倒下。
- 如果你希望第一块多米诺骨牌保持直立（你的起始图像），而让其余的倒下，时钟就会失灵。
- 为了解决这个问题，其他模型试图“重新训练”大厨，但这既昂贵又缓慢，而且往往会破坏他们制作原本菜肴的能力。
解决方案：“独立的遥控器”
Pusa 引入了一个名为**向量化时间步适应（VTA）**的概念。
Pusa 不再为整个视频使用一个主时钟，而是给每一帧都配备了一个独立的遥控器。
- 第 1 帧（你的起始图像）的遥控器设置为“暂停”。
- 第 2 帧的遥控器设置为“缓慢移动”。
- 第 3 帧的遥控器设置为“快速移动”。
这使得 AI 能够独立地演化每一帧。第一帧会严格保持在你放置的位置，而视频的其余部分则会自然地围绕它流动。
魔法戏法：“非破坏性”手术
Pusa 最令人惊叹之处在于它是如何学习这一点的。
- 旧方法：为了学会“以图像为起点”这个把戏，旧模型（如 Wan-I2V）不得不经历一次巨大且破坏性的 overhaul。它们必须在数百万个示例上进行重新训练，这相当于重建大厨的大脑。这不仅耗费了巨额的计算资源，而且往往导致它们忘记了原本执行文本转视频任务的能力。
- Pusa 的方法：Pusa 进行的是“手术式”的调整。它不重建大厨的大脑，只是给现有的大脑添加一个微小的专用工具（向量化时间步）。
- 类比：想象大厨已经精通烹饪。你不需要解雇他并雇佣一位新的大厨，只需递给他一个特定的计时器，告诉他何时停止搅拌第一锅。大厨的核心技能保持 100% 完好无损。
成果：廉价、快速且多功能
由于 Pusa 无需从头重新学习一切，其成果令人震惊：
- 超高效：其他模型需要数百万个示例和庞大的计算预算（计算成本超过 10 万美元），而 Pusa 仅用4,000 个示例和极小部分的成本（约500 美元）就达到了顶级效果。
- 零样本超能力：由于大厨的大脑没有被覆盖，Pusa 不仅学会了以图像为起点，还瞬间获得了执行其他复杂技巧的能力，无需任何额外训练，例如：
- 起止帧：给 AI 提供开头和结尾的图片，让它填充中间部分。
- 视频扩展：将短视频无缝地延长。
- 文本转视频：它完美地保留了原本根据文本提示制作视频的能力。
总结
Pusa V1.0 就像在不拆解汽车的情况下升级引擎。通过给每一帧提供自己的“时间拨盘”，而不是强迫它们步调一致地行进，该模型能够以极高的效率处理复杂的视频任务（如从特定图像开始）。它在保留原始模型智能的同时，解锁了新的、灵活的能力，使高质量的视频生成变得更加廉价和易于获取。
技术摘要：PUSA V1.0
问题陈述
当前的视频扩散模型（VDMs）主要依赖标量时间步变量来统一控制视频片段中所有帧的噪声水平和演化轨迹。虽然这种方法在文本到视频（T2V）生成中行之有效，但这种僵硬的同步机制给时间建模带来了根本性限制。具体而言，它在处理细微的、依赖时间的任务（如图像到视频（I2V）、视频扩展以及首尾帧条件控制）时显得力不从心。现有的解决方案通常涉及：
- 破坏性适配：利用海量资源和特定任务架构（例如掩码机制）对基础模型进行微调，这可能导致基础模型生成先验知识的灾难性遗忘。
- 自回归方法：通过按顺序生成帧来避免僵硬的同步。然而，这些方法往往受限于计算效率低下、长序列中的误差累积，以及无法执行双向推理（例如同时基于首帧和尾帧进行条件控制）。
方法论
本文介绍了PUSA V1.0，这是一个通用模型，利用**向量化时间步适配（VTA）**在统一视频扩散框架内实现细粒度的时间控制。其核心创新是一种非破坏性适配策略，它在修改基础模型时间条件输入的同时，不改变其架构，也不破坏其预训练能力。
1. 向量化时间步适配（VTA）
PUSA 不再使用单个标量时间步 t，而是采用向量化时间步 τ∈[0,1]N，其中 N 为帧数。每个分量 τi 代表第 i 帧在其概率路径上的独立进度参数。
- 架构修改：适配过程最小且非破坏性。时间步嵌入模块被重新设计以处理输入向量 τ，生成特定于帧的嵌入。这些嵌入被投影以在 DiT（扩散 Transformer）块内产生每帧的调制参数（缩放、偏移、门控）。
- 先验保持：由于修改是非破坏性的，将所有帧的时间步设置为相同值时，模型可生成与基础 T2V 模型完全相同的结果，从而完整保留其原始能力。
2. 帧感知流匹配（FAFM）
该模型使用扩展至向量化时间步的流匹配目标进行训练。
- 训练策略：训练采用完全随机化的向量化时间步策略（pasync=1），其中每个分量 τi 独立地从均匀分布 U[0,1] 中采样。这迫使模型从最大多样性的时间状态分布中学习细粒度的时间控制。
- 效率：与以往需要复杂采样计划或海量数据集的方法不同，该方法允许模型在极有限的算力和数据下进行微调。
3. 零样本任务的推理
PUSA 通过在采样过程中策略性地操纵向量化时间步 τ 来实现零样本能力：
- I2V：在推理过程中，将条件图像（例如第一帧）的时间步分量钳制为零（τ1=0），从而有效地将其固定为干净的条件，而其他帧则继续演化。
- 首尾帧与扩展：通过将特定帧子集（例如首帧和尾帧）的时间步钳制为零或特定的噪声水平，模型可以在无需针对特定任务重新训练的情况下，基于任意帧配置生成连贯的视频。
主要贡献
- 前所未有的效率：PUSA 仅使用4,000 个样本和0.5K 计算成本（约 500 美元）即实现了最先进的（SOTA）I2V 性能，而相比之下，像 Wan-I2V 这样的可比基线通常需要超过 1000 万样本和超过 10 万计算成本。
- 统一的多任务泛化：该模型在保留基础模型 T2V 能力的同时，以零样本方式同时泛化至 I2V、首尾帧控制、视频扩展和补全任务。
- 机制洞察：分析表明，该方法将时间动力学“手术式”地注入模型的自注意力机制中，同时保留了基础模型的生成先验。这通过利用基础模型对异步演化的鲁棒性，避免了向量化时间步固有的“组合爆炸”问题。
结果
- 定量性能：在VBench-I2V基准测试中，PUSA 取得了87.32的总分，优于 Wan-I2V（86.86）及其他开源模型。它在 I2V 主体一致性（97.64 vs. 96.95）和背景一致性（99.24 vs. 96.44）方面表现出更优越的性能。
- 训练效率：消融实验表明，PUSA 收敛迅速（在 900 次迭代内），并显著优于在相同预算下训练的基线模型。基于 LoRA 的微调方法被证明特别有效，在相同迭代次数下取得了比全量微调更高的分数。
- 定性分析：注意力图可视化显示，虽然基础 T2V 模型表现出对角线注意力（帧独立性），Wan-I2V 仅对第一帧表现出瞬态注意力，但 PUSA 在所有推理步骤中均对条件帧保持强烈且一致的注意力。参数发散分析证实，与 Wan-I2V 中观察到的显著漂移相比，PUSA 引起的变化极小（主要集中在自注意力块中）。
意义与主张
本文将 PUSA 定位为视频生成范式的关键转变。通过将原则性的时间建模（向量化时间步）与高效、非破坏性的适配相结合，PUSA 重新定义了效率与质量之间的权衡。
- 民主化：该方法通过以极少的计算资源实现 SOTA 级别的多任务合成，使高保真视频生成得以普及。
- 通用性：它建立了一个可扩展的范式，将 T2V、I2V 和复杂的时间编辑任务统一在一个框架内，克服了僵硬的标量时间步模型和易出错的自回归方法的局限性。
- 非破坏性本质：这项工作证明，可以在不牺牲大规模预训练模型基础能力的前提下解锁高级时间控制，从而避免了灾难性遗忘的陷阱。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。