想象一下，你正试图创作一幅杰作，但你使用的不是一把画笔，而是一个由数百名微型艺术家组成的神奇团队，每位艺术家都精通不同的风格——有的擅长纹理，有的擅长色彩，还有的擅长光影。这就是现代 AI 图像生成器（被称为扩散 Transformer，Diffusion Transformers）的工作方式。它们从充满静态噪声的屏幕开始，通过一步步“去噪”，直到一幅清晰的图像显现出来。为了让这些图像看起来惊艳，AI 使用了一种聪明的技巧，叫做“混合专家模型”（Mixture-of-Experts，简称 MoE）。你可以把它想象成一位聪明的经理，对于图像中的每一个微小区域，他只唤醒最适合该任务的特定艺术家团队，而不是要求所有人同时工作。这既节省了能量，又让 AI 变得异常聪明。

然而，这里有一个难点。创作一张图像需要数百个这样的“去噪步骤”，而 AI 在每一步都需要进行大量的数学计算。这就像每次添加一层细节时，都必须从头开始重新绘制整个画布一样。为了加速这一过程，科学家们尝试了一种名为“特征缓存”（feature caching）的技术。这就像是在说：“嘿，这个部分的绘画内容与上一步相比变化不大，所以我们直接复用旧的颜料，而不是重新调色。”问题在于，旧的方法过于笨拙。它将图像的每个微小区域视为一个单一的整体。如果这个区域内的哪怕一个微小细节需要重新涂抹，旧方法就会迫使 AI 重新绘制整个区域，从而浪费时间。如果它过于保守，即使在某些部分已经发生变化时仍复用整个区域，也会导致画面变得模糊。

这就是名为 MoECa 的新研究所解决的问题。研究人员意识到，既然 AI 使用的是专门化的“专家”艺术家，那么缓存策略也必须同样专业化。MoECa 不再将图像的一个区域视为一个单一的块，而是深入观察这个块内部工作的各个不同“专家”。他们发现，虽然某一个专家可能正在忙于改变叶子的纹理，但工作在同一个区域的另一个专家可能对绘制天空的工作感到非常满意，并愿意复用之前的成果。通过将图像分解到这些单个专家分支的层面，MoECa 可以精确地决定哪些部分需要重绘，哪些部分可以复用。

论文指出，这种“细粒度”的方法是一个游戏规则的改变者。通过使缓存策略与专家的实际工作方式保持一致，MoECa 可以跳过冗余的计算而不损失质量。在测试中，这种新方法使图像生成过程提速高达 2.93 倍，同时保持图像与原始版本一样清晰、细腻。这就像是从一个每次修补窗户都要重漆整栋房子的施工队，升级到了一个只针对特定窗户进行涂刷、让房屋其余部分保持原样并随时待命的专业团队。

问题所在： “全或无”的错误

要理解为什么需要 MoECa，我们必须了解这些 AI 模型是如何思考的。过去，在尝试加速图像生成时，研究人员使用了一种“标记级”（token-level）缓存方法。把一个“标记”（token）想象成画布上的一个小方块。旧的规则很简单：“如果这个方块发生了哪怕极其微小的变化，就重绘整个方块；如果它没变，就保持整个方块不动。”

但在拥有“混合专家模型”的模型中，一个方块不仅仅是一个单一的存在；它是几个不同“专家”分支协作的结果。论文的分析揭示了一个旧规则中的缺陷：这些专家并不总是同时变化的。一个专家可能正在处理树皮粗糙的纹理，这种纹理在图像形成过程中变化很快；而工作在同一个方块上的另一个专家可能正在处理光滑的绿叶，这些部分非常稳定。

如果你使用旧的“全或-无”规则，你就会面临两难境地。如果你因为树皮的变化而决定重绘整个方块，你就在浪费时间重绘那些稳定的绿叶。如果你为了节省时间而决定复用整个方块，你最终会得到模糊且错误的绿叶，因为树皮没有得到更新。论文认为，这种“整个方块”的缓存与“拆分专家”的现实之间的不匹配，是目前加速方法无法达到理想效果的主要原因。

解决方案： MoECa 的“专家级”策略

作者提出了 MoECa（混合专家缓存），这是一个改变游戏规则的系统。它不再问：“我们应该重绘整个方块吗？”而是问：“我们应该重绘这个方块上特定专家的工作吗？”

以下是 MoECa 在实践中的运作方式：

1. 分支级缓存： 它将每个专家分支视为一个独立的微小单元。它会分别记录“树皮专家”和“叶子专家”的输出。
2. 智能匹配： 当 AI 进入下一步时，MoECa 会检查哪些专家处于活跃状态。如果“树皮专家”仍然是之前的那个，它会检查其工作变化是否大到足以引起注意。如果“叶子专家”也是之前的那个，它也会进行同样的检查。
3. 自适应控制： 系统足够聪明，能够识别出有些专家比其他专家更敏感。例如，专注于精细细节（如咖啡壶边缘）的专家非常敏感。MoECa 会给这些专家分配一个较低的“复用阈值”，意味着它更有可能重绘它们以确保质量。而处理模糊背景的专家则会获得较高的阈值，允许它们被更频繁地复用。
4. 同步更新： MoECa 的一个关键部分是确保 AI 的“注意力”（attention）部分（即观察全局以理解上下文的部分）与“专家”部分保持同步。如果专家更新了而注意力部分没有，图像就会产生混乱。MoECa 确保它们同步更新，防止 AI 因依赖过时的信息而变得“醉态”。

结果：更快且不模糊

研究人员在包括 DSMoE 系列和 DiT-MoE 在内的几种流行 AI 模型上测试了 MoECa。结果令人印象深刻。

• 速度： 在最佳情况下，MoECa 使图像生成速度提升了 2.93 倍（特别是在用于文本到图像任务的 HiDream-I1 模型上）。在其他模型上，它实现了约 2.14 倍至 2.83 倍 的加速。
• 质量： 尽管实现了巨大的速度提升，图像的质量仍与原始的慢速方法几乎完全相同。论文使用 FID（衡量图像真实度）和 PSNR（衡量加速图像与原始图像的接近程度）等指标进行了测量。例如，在 DSMoE-L-E48 模型上，MoECa 在实现 2.83 倍 加速的同时，将 FID 分数保持在 9.54，这与原始模型的 9.20 非常接近。
• 对比： 与 ToCa、DuCa 和 TeaCache 等其他加速方法相比，MoECa 在保持或略微提高图像质量的同时，始终能以最低的计算成本（FLOPs）实现最快的速度。

论文还探讨了为什么这套方法如此有效。他们发现，在拥有更多专家（如拥有 48 个专家的 E48 配置）的模型中，存在更多寻找“稳定”分支进行复用的机会。这就是为什么 E48 模型看到的加速效果（高达 2.83 倍）比专家较少的模型更高的原因。团队越专业化，你就越能挑选出谁在工作，谁在休息。

这对未来意味着什么

论文总结道，加速这些强大的 AI 模型，关键不在于让它们整体运行得更快，而在于理解它们内部是如何运作的。通过意识到 AI 内部的“专家”有着不同的节奏和需求，我们可以构建更智能的缓存系统来尊重这些差异。

MoECa 不需要重新训练 AI 模型；它直接应用于现有模型，只是改变了模型在图像创建过程中的信息处理方式。虽然目前的研究侧重于单机图像生成，但作者暗示，这种“细粒度”的方法可能是解锁未来更快速的视频生成及更复杂任务的关键。目前来看，它证明了有时，创作杰作最快的方式是让合适的艺术家休息，而让其他人继续工作。