Registers Matter for Pixel-Space Diffusion Transformers
本文表明，尽管扩散 Transformer（DiT）不存在视觉 Transformer 所特有的 patch-token 离群值问题，但 register tokens 仍通过生成更清晰的特征图显著提升了像素空间 DiT 的收敛性和生成质量，据此提出了一种利用这些见解的参数高效双流架构。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试教一个机器人从零开始作画：从一块布满静态噪点的画布起步，逐步 refinement，直到清晰的图像显现。这正是现代 AI 图像生成器（称为扩散 Transformer）的工作原理。
长期以来，研究人员注意到另一种用于识别照片中物体的 AI（称为视觉 Transformer 或 ViT）存在一个特定问题：少数“吵闹”的神经元会尖叫得过于响亮，以至于淹没了那些安静却至关重要的细节。为了解决这个问题，科学家们引入了“注册令牌”（Register Tokens）——不妨将它们想象成放置在房间里的专用垃圾桶。当某个神经元变得过于吵闹和混乱时，它会将多余的能量倾倒进垃圾桶，从而让房间的其他部分保持冷静和专注。
本文提出了一个简单的问题：我们的作画机器人（扩散 Transformer）是否需要这些同样的垃圾桶？
大惊喜：作画机器人原本就很安静
作者们发现了一个反直觉的现象。与识别物体的机器人不同，作画机器人并没有那些“吵闹”的尖叫神经元。它们的内部信号出奇地平静且均匀。
因此，从逻辑上讲，你或许会认为它们并不需要垃圾桶。如果没有噪音，何必添加垃圾桶呢？
魔法：垃圾桶创造了它们自己的噪音（并且依然有帮助）
这里的转折在于：尽管作画机器人原本并不需要垃圾桶来清理现有噪音，但添加它们仍然显著提升了画作的质量。
这是如何做到的？
- 它们成为了噪音汇：当研究人员添加“注册令牌”时，机器人的内部信号并没有将来自图像块的噪音倾倒进它们；相反，注册令牌本身变成了那些高能量、高响亮的区域。它们充当了专用的“压力阀”。
- 它们净化了画布：通过承担这种高能量角色，注册令牌使得实际的作画神经元能够保持平静和平滑。作者发现，有了这些令牌，机器人的“思考过程”（即中间特征图）变得更加平滑、更少混乱，尤其是在图像仍然非常模糊和充满噪点的时候。
“双流”解决方案：专业化的工人
研究人员意识到，将注册令牌与图像像素完全同等对待是低效的。这就像要求一名清洁工同时也去粉刷墙壁；他们或许能兼顾两者，但效果远不如让他们各自专注不同的工作。
他们构建了一种名为双流（Dual-Stream）的新架构：
- 图像流：处理图像的实际像素。
- 注册流：一个独立的、专门用于那些“垃圾桶”令牌的专用通道。
他们无需为此建造整个新工厂。他们只是添加了一个小型、高效的侧分支（使用一种称为 LoRA 的技术），让注册令牌能够执行其特定任务，而不会拖慢整个流程。结果如何？机器人以几乎不增加额外时间或成本的情况下，画出了更好的图像。
用通俗语言总结的关键要点
- 误区：我们曾认为注册令牌仅用于修复“吵闹”的神经元。
- 发现：作画机器人并没有吵闹的神经元，但它们仍然从注册令牌中获得了巨大收益。
- 机制：注册令牌充当专用的“压力释放”装置，使系统的其余部分保持平滑和有序，尤其是在图像非常嘈杂的时候。
- 创新：通过为这些令牌提供各自专用的处理通道（双流），AI 能够在几乎不增加额外计算资源的情况下生成更高质量的图像。
简而言之，这篇论文表明，即使你并没有需要清理的混乱，拥有一支专门的“清洁队”（注册令牌）实际上也能帮助整个团队工作得更顺畅，并产出更好的最终成果。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。