💻 computer science

EFlow: Fast Few-Step Video Generator Training from Scratch via Efficient Solution Flow

EFlow 提出了一种从 scratch 训练的高效少步视频生成框架，通过门控局部 - 全局注意力机制和路径丢弃引导等创新，在显著降低推理延迟的同时实现了高保真度的视频生成。

原作者： Dogyun Park, Yanyu Li, Sergey Tulyakov, Anil Kag

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Dogyun Park, Yanyu Li, Sergey Tulyakov, Anil Kag

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 EFlow 的新系统，它的目标是让AI 生成视频变得像“发朋友圈”一样快，而且不需要超级昂贵的电脑。

为了让你更容易理解，我们可以把生成视频的过程想象成**“画一幅动态的长卷画”**。

1. 以前的痛点：又慢又贵

以前的 AI 画视频（比如 Wan 2.1 或 Sana），就像是一个极其谨慎的画家：

步骤太多（迭代采样）： 他不能一笔成型。他必须先画一个模糊的轮廓，然后擦掉重画，再擦掉重画……要重复50 次才能画出一张清晰的图。这就像你为了画好一只猫，先画个圆圈，再画个椭圆，再画个三角形……改了 50 遍才定稿。
算得太细（注意力机制）： 每次修改时，他都要把画布上每一个像素点都互相看一眼，看看它们之间有什么关系。如果画布很大（视频分辨率高），像素点成千上万，这种“互相看”的计算量是平方级爆炸的。
结果： 画一张 480p 的视频可能需要10 多分钟，而且训练这个画家需要花费天文数字般的算力。

2. EFlow 的两大绝招

EFlow 团队给这个“画家”换了一套全新的工作流，让他变成了**“快手神笔马良”**。

绝招一：聪明的“局部 + 全局”观察法（Gated Local–Global Attention）

以前的画家看画布，要么盯着每一个像素死磕（太慢），要么只盯着局部看（容易画歪）。
EFlow 给画家装了一副**“智能眼镜”**：

全局视野（线性注意力）： 他先快速扫一眼整张画，知道“哦，这是一只猫在跑”，不需要盯着每根毛看。这就像你一眼就能认出朋友，不需要数他脸上有几颗痣。
局部特写（滑动窗口）： 只有在需要画细节（比如猫的眼睛）时，他才凑近看那一小块区域。
智能开关（门控机制）： 这副眼镜能自动决定什么时候看全局，什么时候看局部。
关键创新： 以前的方法如果不小心把画布上的某些部分“剪掉”了（为了省算力），画家就晕了，因为他的局部观察依赖完整的网格。但 EFlow 的眼镜是**“自适应”**的，哪怕画布上随机剪掉了 75% 的碎片，他依然能根据剩下的碎片拼凑出完整的画面，而且画得一样好。

绝招二：从“走一步看一步”变成“直接跳过去”（Few-Step & Solution Flow）

以前的画家是**“走一步看一步”（迭代 50 次）。
EFlow 教画家“看地图直接瞬移”**：

Solution Flow（解流）： 以前画家是从“模糊”慢慢变“清晰”。EFlow 让画家学习一个**“时间跳跃函数”**。他不再一步步走，而是直接计算：“如果我现在在时间 T（模糊），我想直接跳到时间 S（清晰），中间的路径是什么？”
路径丢弃引导（Path-Drop Guided）： 为了教画家这个跳跃技巧，以前需要两个老师同时教（一个教有提示词，一个教没提示词），成本翻倍。EFlow 想了一个妙招：让其中一个老师**“偷懒”**，只教画家跳过中间最难的步骤（比如只教前 10% 和后 10% 的内容，中间直接跳过）。这样既省了算力，又教会了画家怎么“猜”出中间的路径。
平均速度加法（MVA）： 为了防止画家跳得太猛导致画面崩坏（比如猫突然变成了狗），EFlow 加了一个**“物理定律”**作为约束：无论你怎么跳，整体的运动趋势必须连贯。这就像让画家在跳跃时，必须保证猫的运动轨迹是平滑的，不能瞬移变形。

3. 成果：快得惊人

这套组合拳打下来，效果非常惊人：

训练速度： 以前训练这种模型像**“在泥潭里跑步”，现在像“在高速公路上开车”**。训练吞吐量提升了 2.5 倍。
生成速度： 以前生成一个 480p 视频要 147 秒（2 分半），现在只要 3 秒！
- 这相当于：以前你需要等两杯咖啡的时间，现在喝一口水的功夫视频就出来了。
- 比最厉害的竞争对手（Wan 2.1）快了 45 倍！
质量： 虽然步骤从 50 步降到了 4 步，但画出来的视频依然清晰、连贯，没有那种“鬼影”或模糊。

总结

EFlow 就像给 AI 视频生成装上了“涡轮增压”和“自动驾驶”。
它不再让 AI 笨拙地一步步修图，而是通过聪明的观察方式（只看该看的）和跳跃式的学习策略（直接学结果），让 AI 在几秒钟内就能从乱码中“变”出一段高质量的视频。这让以前只有大公司才能玩的“视频生成”，未来可能变得像手机拍照一样普及和快速。

EFlow 论文技术总结

论文标题：EFlow: Fast Few-Step Video Generator Training from Scratch via Efficient Solution Flow
作者：Dogyun Park, Yanyu Li, Sergey Tulyakov, Anil Kag (Snap Inc. & 韩国大学)
核心目标：解决视频扩散 Transformer（VideoDiT）在训练和推理中的双重瓶颈，实现从头开始（from-scratch）的高效、少步数（Few-Step）视频生成。

1. 问题背景 (Problem Statement)

视频扩散模型（Video Diffusion Models）在生成高质量视频方面表现出色，但在扩展到高帧率、高分辨率视频时面临两个主要瓶颈：

每步计算成本高昂：传统的时空自注意力机制（Spatiotemporal Self-Attention）具有 $O(N^2)$ 的二次复杂度，其中 $N$ 是 Token 数量。随着视频长度和分辨率增加，计算量急剧上升。
迭代采样步骤多：标准扩散模型通常需要数十次（如 50 步）去噪迭代才能生成高质量视频，这进一步放大了每步的计算成本。

现有的解决方案通常孤立地解决这两个问题：

架构优化：使用线性注意力、稀疏注意力或 Token 剪枝来降低单步复杂度。但激进的 Token 丢弃往往破坏局部性（Locality），导致训练不稳定或表达力下降，尤其是依赖卷积混合（Convolutional Mixing）的架构。
采样优化：通过蒸馏（Distillation）或一致性模型（Consistency Models）减少采样步数。但这些方法通常依赖预训练的教师模型（Teacher Models）或多阶段管道，增加了工程复杂性和计算开销，且难以从头训练。

此外，Classifier-Free Guidance (CFG) 在训练时需要同时计算条件和无条件分支，使计算量翻倍，进一步阻碍了视频规模下的少步数训练。

2. 方法论 (Methodology)

EFlow 提出了一种结合高效架构与高效训练策略的框架，旨在同时解决上述瓶颈。

2.1 核心架构：门控局部 - 全局注意力 (Gated Local–Global Attention, GLGA)

为了在保持表达力的同时支持激进的 Token 丢弃，EFlow 设计了一种混合注意力模块：

全局线性注意力 (Global Linear Attention)：负责长程时空上下文，具有 $O(N)$ 的线性复杂度。
局部滑动窗口注意力 (Local Sliding-Window Attention)：负责高频细节。与依赖固定网格的卷积不同，滑动窗口直接作用于可用的 Token 集合，因此天然对随机 Token 丢弃具有鲁棒性。
输入感知门控 (Input-Aware Gating)：通过一个轻量级的门控机制，自适应地融合全局和局部分支的输出。
优势：GLGA 避免了卷积对密集网格的依赖，使得在训练过程中可以安全地丢弃高达 75% 的 Token，显著降低显存和计算量，同时保持训练稳定性。

2.2 训练策略：基于 Solution Flow 的少步数训练

EFlow 基于 Solution Flow (SoFlow) 框架，学习一个从时间 $t$ 的状态映射到任意时间 $s$ 的函数 $f(x_t, t, s, c)$ 。为了使其在视频规模下可行，提出了两项关键创新：

路径丢弃引导训练 (Path-Drop Guided, PDG)：
- 问题：CFG 需要额外的无条件前向传播，成本高昂。
- 方案：用一条“弱路径”（Weak Path）替代昂贵的无条件分支。弱路径通过跳过中间的大部分 Transformer 层（仅保留编码器和解码器部分）来快速计算。
- 效果：极大地降低了 CFG 的训练开销，同时提供了足够对齐的引导目标。
平均速度可加性正则化 (Mean-Velocity Additivity, MVA)：
- 问题：在少步数采样中，大步长跳跃会导致积分误差累积，破坏生成质量。
- 方案：引入一个全局正则化项，强制模型满足“半群性质”（Semigroup Property）。即：从 $t$ 直接跳到 $s$ 的结果，应等于从 $t$ 跳到中间点 $\ell$ ，再从 $\ell$ 跳到 $s$ 的复合结果。
- 数学原理：MVA 损失直接惩罚半群缺陷（Semigroup Defect），将长跳跃的误差从 $O(\Delta^2)$ 降低到 $O(\Delta^2/K)$ ，确保在极少步数（如 4 步）下仍能保持高保真度。

3. 关键贡献 (Key Contributions)

高效且可丢弃 Token 的 VideoDiT 架构：提出了 GLGA，在激进 Token 丢弃（75%）下仍能保持高保真度和训练稳定性，解决了传统线性注意力或卷积架构在稀疏化下的不稳定性问题。
路径丢弃引导 (PDG) 训练机制：提出了一种新颖的引导机制，利用轻量级的“弱路径”前向传播替代昂贵的无条件计算，显著降低了 CFG 的开销，使得从头训练的少步数视频生成成为可能。
大规模少步数视频训练流程：构建了一个无需教师模型（Teacher-free）的完整训练管道。结合 MVA 正则化，实现了在极低步数（4 步）下的高质量生成，性能可与依赖预训练教师的最先进模型竞争。

4. 实验结果 (Results)

实验在 Kinetics-700 数据集和大规模私有文本到视频数据集上进行。

训练效率：
- 相比标准 Flow Matching，EFlow 的训练吞吐量提高了 1.76 倍。
- 相比标准 Solution Flow Matching，吞吐量提高了 2.5 倍。
- 在 480p 视频上，通过 Token 丢弃和 PDG 训练，实现了端到端的高效训练。
推理效率：
- 速度提升：EFlow (1.5B 参数，4 步) 的推理延迟比标准迭代模型（如 Wan2.1-1.3B, 50 步）快 45.3 倍，比 Wan2.1-14B 快 234.6 倍。
- 对比少步数模型：比现有的少步数方法（如 VSA, rCM）快 1.4 倍 到 1.8 倍。
- 延迟：480p 视频生成延迟仅为 3.09 秒（不含 VAE）。
生成质量：
- 在 Kinetics-700 上，EFlow 的 FVD (Fréchet Video Distance) 优于 Sana-Video 和稀疏线性注意力 (SLA) 基线。
- 在 VBench 评估中，EFlow 在 4 步采样下保持了具有竞争力的语义和视觉质量，尽管是从头训练且未使用大规模预训练先验。
- 消融实验：证明了 MVA 正则化对减少大步长积分误差至关重要（FVD 从 185.2 降至 146.7），且 GLGA 在 Token 丢弃下表现稳定，而 Sana 基线在同样设置下性能崩溃。

5. 意义与影响 (Significance)

打破训练瓶颈：EFlow 证明了无需依赖昂贵的预训练教师模型或复杂的蒸馏管道，即可从头训练出高效的少步数视频生成模型。
架构与算法的协同：通过 GLGA 架构与 PDG/MVA 训练策略的紧密结合，EFlow 同时解决了“每步计算重”和“采样步数多”的问题，为视频生成模型的大规模部署提供了新的范式。
实际部署价值：极低的推理延迟（4 步生成）使得实时或近实时的视频生成应用成为可能，同时大幅降低了训练成本，降低了高质量视频生成模型的门槛。

总结：EFlow 通过创新的门控注意力机制和高效的训练配方，成功实现了视频扩散模型在从头训练、少步数推理下的高效化，是视频生成领域向实用化迈进的重要一步。