DiverseDiT++: Quantifying, Analyzing, and Promoting Representation Diversity in Diffusion Transformers
本文引入了加权多样性得分（WDS）来量化扩散 Transformer 中的块级表示多样性，揭示了其与合成质量之间的强相关性，并提出了 DiverseDiT++，这是一个通过长残差连接和多样性损失来显式促进多样化表示学习，从而提升性能的框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个机器人画出一幅杰作。你不仅希望它能复制一张图片，还希望它能如此深刻地理解世界，以至于能够从无到有地创造出全新的、美丽的场景。这就是“生成式人工智能”（Generative AI）的目标——这是计算机科学的一个分支，其中的机器学会了创作艺术、音乐甚至分子。为了实现这一目标，现代人工智能使用了一种巧妙的技巧，叫做“扩散模型”（Diffusion Model）。把它想象成一位雕塑家，从一块充满噪声、布满静电感的黏土块开始，慢慢凿掉噪声，直到一座完美的雕像显现出来。但为了让雕像看起来真实且细节丰富，人工智能需要一个能够组织其思想的“大脑”。最近，科学家们将旧的、简单的“大脑”更换成了“Transformer”——这种强大的架构同样帮助着计算机理解人类语言。这些新的“扩散 Transformer”（Diffusion Transformers）在绘画方面表现得极其出色，但科学家们仍在试图弄清楚它们的“大脑”内部究竟是如何运作的。核心问题在于：是什么让这些 AI 艺术家如此有天赋？仅仅是因为拥有一个更大的大脑，还是说它们思考的方式中存在某种秘密配方？
这篇题为 DiverseDiT++ 的论文通过研究这些 AI 模型如何组织其内部思想，深入探讨了这个谜团。研究人员发现，秘诀并不在于拥有更多的数据或更大的模型，而是在于多样性（Diversity）。想象一下一个正在创作壁画的艺术家团队。如果每个艺术家都被要求以完全相同的方式画完全相同的东西，那么最终的画面将会是乏味且平淡的。但如果鼓励每位艺术家专注于场景的不同部分——有的关注天空，有的关注树木，有的关注阴影——那么结果就会是一幅丰富、复杂的杰作。作者发现，扩散 Transformer 的运作方式也是如此。随着学习的进行，它们“大脑”中的不同层级会自然地开始专业化，承担起独特的作用。然而，论文指出，这种自然的过程并不总是足够强大。
为了证明这一点，团队创造了一个新的衡量标准，叫做加权多样性得分（Weighted Diversity Score, WDS）。你可以把它看作是一个“创意计分器”，用于检查 AI 各个层级之间的思想差异程度。他们发现了一个强关联：每当这个创意计分器数值较高时，AI 生成的图像就会更好、更真实。事实上，他们在 97 个不同的实验中进行了测量，发现高多样性得分与更好的图像质量之间存在非常紧密的联系（相关系数为 -0.869）。这表明，如果你能迫使 AI 的大脑层级之间变得更加不同，AI 就能更好地完成工作。
基于这一发现，研究人员构建了一个名为 DiverseDiT++ 的新框架。他们并没有依赖外部助手或昂贵的预训练模型来教导 AI，而是对 AI 自身的结构进行了微调。他们添加了“长残差连接”（Long Residual Connections），这就像是超级高速公路，让大脑的早期层级可以直接与后期层级对话，确保信息不会变得陈旧或重复。他们还添加了一个特殊的“多样性损失”（Diversity Loss）规则。这就像是一位严格的美术老师，告诉各层级：“嘿，你们做得太雷同了！去尝试一些不同的东西！”这迫使每一个层级去学习独特的特征。
结果令人印象深刻。当他们将 DiverseDiT++ 应用于不同规模的 AI 模型时，生成的图像变得更加清晰，模型的学习速度也更快。他们在分辨率为 256 × 256 和 512 × 512 的标准图像数据集（如 ImageNet）上进行了测试，新方法始终优于旧方法。即使在极具挑战性的“单步生成”（One-step setting）环境下——即 AI 必须通过一次跳跃而非许多缓慢步骤来生成图像——这种多样化的方法依然表现出色。但乐趣并不仅限于图像。团队还将此方法应用于科学任务，例如设计新的蛋白质（生命的基本组成部分）和创建 3D 分子。在这些领域，鼓励 AI 拥有多样化的内部表示同样带来了更好的结果。
该论文反对认为需要庞大的外部模型来引导 AI 学习的观点。虽然其他方法试图让 AI 与外部“专家”模型保持一致，但作者发现，仅仅让 AI 自身的内部组件更加多样化，就足以获得顶尖的性能。他们还表明，试图将过多的“大脑”部分与外部专家对齐不仅没有帮助，甚至可能损害性能。主要结论是，多样性是一个普遍原则：无论你是在画一只猫，还是在折叠一个蛋白质，一个能够同时以多种不同方式进行思考的大脑，才能创造出更好的事物。作者建议，这种方法可能是未来解锁更强大、更高效人工智能的关键，而无需依赖沉重的外部引导。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。