Rethinking Cross-Layer Information Routing in Diffusion Transformers
本文介绍了扩散自适应路由（DAR），这是一种可学习的、时间步自适应的残差机制，用于替代扩散 Transformer 中的传统残差相加，以缓解信息流问题，在微调过程中保留高频细节的同时，显著提升了 ImageNet 生成质量和训练效率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一位机器人艺术家从零开始作画：从一团模糊、充满噪点的静态云开始，逐步将其 refinement 成一幅清晰锐利的图像。这就是现代 AI 图像生成器（称为扩散 Transformer）的工作原理。
长期以来，这位机器人艺术家的“大脑”一直沿用源自语言模型（如那些撰写文章的语言模型）的标准蓝图构建。该蓝图指导机器人如何将信息从大脑的一层传递到下一层。这就像一场接力赛，每位选手只是将自己的信息添加到接力棒上，然后传递下去。
本文的作者徐超及其团队决定更仔细地审视这场接力赛。他们发现，这种标准的接力传递方式实际上并不适用于图像生成，于是他们构建了一种更聪明的新方法，称为DAR（扩散自适应路由）。
以下是他们发现与解决方案的简明概述：
1. 问题：“嘈杂的接力赛”
在标准设计中，随着图像逐渐变清晰（从高噪声过渡到低噪声），流经机器人大脑各层的信息开始表现出异常行为。作者识别出三种具体的“症状”：
- 音量旋钮卡在最大（幅度膨胀）：想象接力赛中的选手每跑一步就越来越大声地喊出他们的信息。等到信息传到最后一层时，它已经响亮到（数学上极大）淹没了其他所有内容。机器人不得不付出巨大努力来勉强控制音量。
- 信号逐渐消失（梯度衰减）：在接力赛中，如果最后一棒选手掉了接力棒，前面的选手并不知道他们犯了错。同样，在标准设计中，告诉早期层如何改进的“反馈”在沿链条回传时变得极其微弱，导致早期层无法有效学习。
- 所有人说同样的话（冗余）：由于信息变得过于响亮且失真，大脑的不同层开始产生几乎相同的输出。这就像在会议室里有 20 个人，但他们只是反复重复同一句话。这是对脑力的浪费。
作者还发现，这种标准接力赛是“时间盲”的。它将绘画的早期模糊阶段与最终清晰阶段同等对待。但事实上，当图像模糊时，机器人需要关注大轮廓；而当图像清晰时，则需要关注微小细节。旧设计无法切换模式。
2. 解决方案：“智能交通控制器”（DAR）
团队提出了DAR，用一种智能、自适应的交通控制器取代了简单的“相加并传递”接力模式。
新系统不再盲目地将每一条先前信息都加到当前信息上，而是会问：“鉴于我们正处于绘画过程的这一特定阶段（即‘时间步’），哪些先前信息此刻真正有用？”
- 时间感知：控制器知道图像是仍处于模糊云状，还是已接近完成。如果是模糊状态，它聚焦于“宏观”层；如果是清晰状态，则聚焦于“精细细节”层。
- 选择性：它不会简单地将所有内容相加，而是利用“软注意力”机制（如同聚光灯）来挑选最有价值的先前信息，并忽略其余部分。
- 灵活性：它并不强制各层彼此不同，而只是改变它们之间的交流方式。这意味着它可以被直接嵌入现有模型中而不会破坏其结构。
3. 结果：更快、更优质的艺术
团队在标准图像数据集（ImageNet）上测试了这一新系统，结果令人印象深刻：
- 质量更高：生成的图像显著更清晰、更逼真（通过称为 FID 的指标衡量，分数越低越好）。与标准模型相比，其 FID 分数大幅改善。
- 训练速度快得多：该模型在8.75 倍更少的步骤内就达到了与旧模型相同的高质量。这就像用一天时间学会绘制一幅杰作，而不是八天。
- 可与其他升级协同工作：他们将 DAR 与另一种流行方法REPA（帮助机器人从现有艺术中学习）结合测试。两种方法完美配合，使训练速度再提升一倍（2 倍加速），且互不冲突。
4. 额外优势：保持细节清晰
论文还表明，当他们使用这一新系统将庞大模型“蒸馏”（压缩）为更小、更快的模型时，新系统在保留高频细节方面表现更佳。
这就像复印一份文件。旧方法会使精细文字和锐利边缘变得模糊；而新的 DAR 方法即使在压缩后，仍能保持文字清晰、边缘锐利。
总结
简而言之，该论文指出，AI 图像生成器在其大脑层之间传递信息的方式已经过时：它过于嘈杂、反馈过于微弱、且过于重复。通过引入一种智能、时间感知的路由系统（DAR），能够在正确的时间挑选正确的信息，他们使 AI 能够更快学习并生成更优质的图像，同时保持底层架构的简洁性，并兼容其他现代升级。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。