💻 computer science

Pyramidal Patchification Flow for Visual Generation

该论文提出了一种名为 PPFlow 的视觉生成新方法，通过在去噪过程中根据噪声水平动态调整分块大小（高噪声用大分块、低噪声用小分块）并配合相应的线性投影与反分块机制，在无需重加噪技巧的情况下，实现了比传统 DiT 模型显著更快的推理速度且保持了相当的生成质量。

原作者： Hui Li, Baoyou Chen, Liwei Zhang, Jiaye Li, Jingdong Wang, Siyu Zhu

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hui Li, Baoyou Chen, Liwei Zhang, Jiaye Li, Jingdong Wang, Siyu Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 PPFlow（金字塔块化流）的新技术，旨在让 AI 画图变得更快、更省资源，同时还能保持画得一样好。

为了让你轻松理解，我们可以把 AI 画图的过程想象成**“在迷雾中雕刻一座雕像”**。

1. 传统的做法：死磕细节（慢且累）

现在的 AI 画图（比如 Diffusion Transformer 模型），通常是这样工作的：

过程：AI 从一团完全模糊的“迷雾”（噪声）开始，一步步把迷雾擦除，直到显现出清晰的图像。
痛点：传统的 AI 不管迷雾有多浓（刚开始画的时候），还是迷雾快散尽了（快画完的时候），它都用同样的“放大镜”去观察。
- 刚开始迷雾很大，看不清细节，AI 却非要拿着“显微镜”（小补丁，Small Patch）去一点点扫描，这就像在浓雾里用放大镜找路，非常浪费时间和精力。
- 等到快画完了，细节出来了，它还是用同样的“显微镜”，虽然画得准，但效率不高。

2. PPFlow 的创意：聪明的“变焦镜头”（快且省）

这篇论文提出的 PPFlow，就像给 AI 装了一个智能变焦镜头，根据迷雾的浓度自动调整观察的粒度：

迷雾很浓时（刚开始画）：
- 策略：使用**“大广角”**（大补丁，Large Patch）。
- 比喻：这时候看不清细节，AI 就退后几步，用“大视野”看整体轮廓。它把一大块区域当成一个整体来处理，就像看一幅画先画个大概的草图，不用管每一根头发丝。
- 好处：因为把很多像素打包成一个“大块”处理，需要计算的“任务点”（Token）大大减少，速度瞬间变快。
迷雾变淡时（快画完了）：
- 策略：切换成**“微距镜头”**（小补丁，Small Patch）。
- 比喻：当轮廓清晰了，AI 就凑近看，开始用“小补丁”去刻画眼睛、纹理等细节。
- 好处：这时候细节最重要，所以用精细的模式，保证画出来的东西栩栩如生。

3. 为什么它比以前的方法更厉害？

以前也有类似“先画草图再细化”的方法（比如金字塔流），但它们有个大毛病：

旧方法的缺点：就像是在画草图时用的是“小纸片”，画细节时突然换成了“大画布”。这种**“分辨率跳跃”**会导致画面衔接不自然，AI 需要额外的“魔法”（重噪声技巧）来修补裂缝，既麻烦又容易出错。
PPFlow 的绝招：
- 它**始终在同一个“画布”（全分辨率潜空间）**上工作。
- 它只是改变了“观察的颗粒度”（补丁大小），而不是改变画布本身。
- 比喻：就像你一直站在同一个位置看画，只是有时候眯起眼睛看整体（大补丁），有时候凑近看细节（小补丁）。画面是连续的，没有断层，不需要任何修补。

4. 实际效果有多好？

论文里的实验数据非常漂亮：

速度快：相比传统方法，PPFlow 能让画图速度提升 1.6 倍到 2 倍。也就是说，以前画一张图要 10 秒，现在只要 5 秒左右。
质量好：画出来的图，清晰度、色彩、细节和原来一样好，甚至更好（在 ImageNet 等测试集上表现优异）。
省资源：因为计算量少了，不仅快，还更省电、更省钱。
通用性强：无论是简单的“画一只猫”，还是复杂的“根据文字描述画场景”，它都能用。

总结

PPFlow 就像是一个聪明的画家：
在构思阶段（高噪声），他大刀阔斧，快速勾勒轮廓，不纠结细节；
在收尾阶段（低噪声），他精雕细琢，专注于每一处纹理。
这种**“该粗则粗，该细则细”**的策略，让 AI 画图既快又稳，而且不需要复杂的修补工作。

这项技术让未来的 AI 生成图像变得更加高效，可能意味着以后我们在手机上用 AI 画图，等待时间会更短，画质却不会打折。

1. 研究背景与问题 (Problem)

核心痛点：
扩散 Transformer (DiT) 是目前视觉生成领域的 State-of-the-Art (SOTA) 模型。然而，现有的 DiT 在去噪过程中存在效率瓶颈：

固定 Token 预算： 传统的 DiT 在所有时间步（timesteps）使用相同的补丁大小（Patch Size，通常为 $2 \times 2$ ）。这意味着无论噪声水平如何，模型处理的 Token 数量是恒定的，导致计算成本高昂。
现有加速方案的局限性：
- 减少函数评估次数： 如蒸馏（Distillation）、一致性模型等，虽然减少了采样步数，但往往需要复杂的训练或牺牲质量。
- 金字塔/级联生成（Pyramidal/Cascaded）： 如 Pyramidal Flow 等方法，试图在早期高噪声阶段使用低分辨率表示以减少 Token。但这引入了分辨率“跳跃”（Resolution Jumps），破坏了轨迹的连续性，导致需要复杂的“重加噪”（Re-noising）技巧来修复，增加了推理的复杂性和不稳定性。

目标：
在保持生成质量的同时，通过动态调整时间步上的 Token 数量来降低去噪过程的计算成本，且避免引入轨迹不连续的问题。

2. 方法论 (Methodology)

论文提出了 PPFlow (Pyramidal Patchification Flow)，一种简单且易于实现的改进方案。

核心思想

“高噪声用大补丁，低噪声用小补丁”。

在去噪过程的早期（高噪声阶段），使用较大的补丁（如 $4 \times 4$ ），从而显著减少 Token 数量，降低计算量。
在去噪过程的后期（低噪声阶段），使用较小的补丁（如 $2 \times 2$ ），以恢复细节并保证生成质量。

关键技术创新

全分辨率潜在空间操作 (Full Latent Representations)：
- 与 Pyramidal Flow 不同，PPFlow 不改变潜在表示的空间分辨率。无论补丁大小如何，输入到 DiT 块的潜在向量（Latent）始终保持全分辨率。
- 优势： 避免了分辨率跳跃，因此不需要复杂的“重加噪”技巧，推理过程与标准 DiT 完全一致。
共享 DiT 块 + 独立投影层：
- DiT 块共享： 所有时间步（不同阶段）共享同一组 Transformer 块参数。
- 独立投影 (Patchify/Unpatchify)： 为不同大小的补丁学习独立的线性投影矩阵。
  - Patchify： 将不同大小的补丁（ $p_s \times p_s$ ）映射到相同维度的 Token 向量。
  - Unpatchify： 将 Token 向量映射回不同大小的补丁预测。
- 计算复杂度： 线性投影的计算量与补丁大小无关（ $O(I^2Cd)$ ），主要计算量在于 DiT 块（ $O(L^2d)$ ）。通过增大高噪声阶段的补丁，减少了 Token 数量 $L$ ，从而大幅降低了自注意力机制的计算复杂度。
训练策略：
- 从头训练 (From Scratch)： 针对每个补丁大小对应的噪声范围进行训练。
- 微调 (From Pretrained)： 从预训练的 DiT 初始化。
  - Patchify 初始化： 将大补丁的投影矩阵初始化为小补丁投影矩阵的平均值（例如 $4 \times 4$ 的矩阵由四个 $2 \times 2$ 的块平均得到）。
  - Unpatchify 初始化： 通过复制小补丁的权重来初始化大补丁的权重。
- 这种初始化方式使得模型只需极少的额外训练成本（FLOPs）即可收敛。

3. 主要贡献 (Key Contributions)

提出 PPFlow 架构： 一种在保持潜在表示全分辨率不变的前提下，通过自适应调整补丁大小来减少 Token 数量的新范式。
解决轨迹连续性问题： 相比之前的金字塔流方法，PPFlow 消除了分辨率跳跃，无需重加噪技巧，推理流程更简单、稳定。
高效的训练与推理：
- 从预训练模型微调仅需 ~8.9% 的额外训练 FLOPs。
- 实现了显著的推理加速，同时保持或提升了生成质量。
广泛的适用性验证： 在类条件图像生成（ImageNet）和文生图（Text-to-Image, FLUX.1）任务上均验证了有效性，支持从 512 到 2048 的多种分辨率。

4. 实验结果 (Results)

类条件图像生成 (ImageNet)

从头训练 (From Scratch)：
- PPF-B-2 (2 阶段)： 相比 SiT-B/2，FLOPs 减少约 38%，FID 从 4.46 提升至 4.12，推理速度提升 1.61 倍。
- PPF-B-3 (3 阶段)： FLOPs 减少约 50%，FID 为 4.43（与 SiT-B/2 相当），推理速度提升 2.04 倍。
从预训练微调 (From Pretrained)：
- 基于 SiT-XL/2 微调，仅需 8.9% 的额外训练成本。
- PPF-XL-2： 推理速度提升 1.60 倍，FID 从 2.15 降至 1.99（质量提升）。
- PPF-XL-3： 推理速度提升 2.02 倍，FID 为 2.23（质量相当）。
- 在 512 分辨率下，PPF-XL-3 实现了 2.02 倍 的加速，FID 为 3.06（与基线 3.04 相当）。

文生图 (Text-to-Image, FLUX.1)

集成到 FLUX.1-dev 模型中，在 512 至 2048 分辨率下测试。
加速效果： 实现了 1.61 倍到 1.86 倍 的采样加速。
质量保持： 在 GenEval、DPG-bench 和 T2I-CompBench 等基准测试中，性能与微调后的基线模型（FLUX.1-ft）相当，甚至在某些指标上略优。

对比分析

vs. FlexiDiT / Lumina-Video： PPFlow 在相同的 FLOPs 预算下（约 50%-63%），取得了更好的 FID 分数（例如在 50% FLOPs 下，PPFlow FID 2.31 vs FlexiDiT 2.64）。
vs. Pyramidal Flow： PPFlow 避免了金字塔表示带来的模糊和块状伪影，无需重加噪，性能全面优于基于金字塔表示的方法。

5. 意义与总结 (Significance)

PPFlow 的核心价值在于“简单而有效”：

打破效率与质量的权衡： 它证明了在不改变模型核心架构（DiT 块）和潜在空间分辨率的前提下，仅通过调整输入/输出的补丁映射策略，即可在去噪早期大幅削减计算量。
工程落地性强： 不需要复杂的训练技巧（如重加噪），推理代码与标准 DiT 几乎无异，易于集成到现有的生成式 AI 系统中。
通用性： 无论是从头训练还是基于强大的预训练大模型（如 FLUX.1）进行微调，PPFlow 都能带来显著的加速收益，为高分辨率、长序列的视觉生成任务提供了极具潜力的优化方向。

结论： PPFlow 通过“金字塔化补丁”策略，成功实现了2 倍左右的去噪加速，同时保持了 SOTA 级别的图像生成质量，是扩散 Transformer 领域在推理效率优化方面的重要突破。