PipeFusion: Patch-level Pipeline Parallelism for Diffusion Transformers Inference
PipeFusion 是一种用于扩散变换器的创新并行推理方法，它将图像划分为图块并将模型层分布到多个 GPU 上，利用图块级流水线并行和过时特征图复用来显著降低通信成本和内存占用，同时在高分辨率图像生成任务中实现最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图在一面墙上绘制一幅巨大且细节极其丰富的壁画。为此，你有一个由 8 位艺术家（GPU）组成的团队协同工作。这个绘画过程很独特：你不是只画一次整个画面，而是从一个空白且充满噪点的画布开始，逐步细化，一步步地去除噪点并添加细节，直到图像清晰为止。这就是现代 AI 图像生成器（称为扩散 Transformer）的工作原理。
问题在于，对于高分辨率图像，这个过程非常缓慢。如果你尝试用传统方法让这些艺术家协同工作，他们花在争论谁负责哪部分画作以及来回传递油漆桶上的时间，比实际作画的时间还要多。
PipeFusion 是一种新颖且巧妙的方法，用于组织这些艺术家以更快地完成任务。以下是其工作原理，使用简单的类比来说明：
1. 旧方法：传递整桶油漆
在以前的方法（如“张量并行”或“序列并行”）中，每当一位艺术家完成一个小步骤时，他们必须停下来，在继续下一步之前，将自己刚刚完成的所有内容分享给其他所有人。
- 类比：想象 8 位厨师在煮汤。每当一位厨师加一撮盐时，他们必须停下来，向其他 7 位厨师喊出食谱，等待他们确认，然后每个人再添加自己的盐。这很安全，但由于大量的交谈和等待，速度极其缓慢。
2. "PipeFusion"方法：带有转折的流水线
PipeFusion 通过两种方式拆分工作来改变游戏规则：
- 拆分墙壁：不再由一位厨师负责整面墙，而是将墙壁切成 8 个垂直条带。每位厨师负责自己的条带。
- 拆分层级：食谱（AI 模型）也被切成 8 个部分。厨师 1 为自己的条带执行食谱的第一部分，然后将结果传递给厨师 2，厨师 2 执行第二部分，依此类推。
这形成了一条流水线。当厨师 2 正在执行食谱的第二步时，厨师 1 已经开始下一批的第一步。他们以流水线方式工作，任务相互重叠，确保没有人闲置。
3. 秘密武器：“陈旧”的食材
这里才是真正的魔法。在这个绘画过程中，图像从一个步骤到下一个步骤的变化非常缓慢。第 10 步的“噪点”看起来几乎与第 11 步的噪点完全相同。
- 类比：想象你在烤蛋糕。通常，你需要为每一批使用新鲜的鸡蛋。但 PipeFusion 意识到，10 分钟前使用的鸡蛋对于当前批次来说仍然足够好。
- 如何帮助：PipeFusion 允许艺术家使用来自前一步的“陈旧”（稍旧）数据继续工作，而不是等待当前步骤的“新鲜”数据（这需要等待整个团队完成）。
- 结果：艺术家不必停下来等待新鲜数据到达。他们继续使用稍旧的数据继续绘画，这些数据无论如何都几乎相同。这隐藏了艺术家之间传递信息所需的时间。
4. 为什么它更好
- 更少的交谈：因为他们使用已有的“陈旧”数据，所以不需要像以前那样频繁地在厨房里大喊大叫。这节省了大量时间。
- 更少的内存：传统方法要求每位厨师在脑海中保留整面墙当前状态的副本。而 PipeFusion 只要求他们记住自己那一小块条带。这意味着你可以在标准计算机上运行这些巨大的模型，而不会耗尽内存（RAM）。
- 更好的质量：与其他类似技巧相比，PipeFusion 在更长的过程中使用“新鲜”数据，因此最终生成的画作看起来更清晰、更准确。
总结
该论文在 8 块强大的显卡（GPU）上测试了此方法，使用了著名的 AI 模型，如 Flux.1、Stable Diffusion 3 和 Pixart。
- 速度：PipeFusion 比现有最佳方法快高达 1.5 倍。
- 内存：它使用的内存显著减少，使其能够运行其他方法无法在高分辨率下处理的大型模型。
- 质量：生成的图像与原始的高质量版本几乎无法区分。
简而言之，PipeFusion 就像将一群混乱的艺术家转变为一个高度高效、任务重叠的流水线，利用“昨天的新闻”来继续今天的工作，从而实现更快、更便宜且高质量的 AI 艺术生成。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。