🤖 AI

DASH: Dual-Branch Score Distillation for Guidance-Calibrated Compact Diffusion Models

该论文介绍了 DASH，一种双支路蒸馏框架，它通过独立监督两个分数支路并迁移教师模型的权重课程，解决了压缩扩散模型中欠定的引导差距问题，从而在保持高质量引导保真度的同时实现了显著的参数缩减。

原作者： Abdullah Al Shafi, Kazi Saeed Alam, Sk Imran Hossain, Engelbert Mephu Nguifo

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Abdullah Al Shafi, Kazi Saeed Alam, Sk Imran Hossain, Engelbert Mephu Nguifo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位大师级厨师（教师模型），他以烹饪完美且复杂的菜肴（生成高质量图像）而闻名。这位厨师有一个特别的技巧：他可以用两种方式烹饪同一道菜。首先，他完全按照顾客的订单来烹饪（带有特定的标签，比如“咖喱鸡”）。其次，他会烹饪一个没有任何具体指令的“空白”版本（无条件版本）。

为了获得最佳效果，厨师会将这两种版本混合在一起。他会取出空白版本，并根据“空白版本”与“特定订单”之间的差异，加入一份“风味提升”。这份“风味提升”正是让最终成品尝起来完全符合顾客要求的关键。

现在，想象你想雇佣一位初级厨师（学生模型）来胜任这份工作，但你需要把他们的厨房缩小到一个小公寓里（这是模型压缩）。你希望这位初级厨师比大师小 6 倍，但依然能做出同样出色的水平。

问题：“幽灵”食谱

在以往训练这些初级厨师的尝试中，研究人员只告诉他们：“让最终混合后的菜肴尝起来和大师的一样。”

这里有一个陷阱：初级厨师可能会作弊。他们可能会决定：“我干脆让‘空白’菜肴和‘特定’菜肴的味道变得一模一样吧。”如果这两道菜的味道完全相同，那么“风味提升”（两者之间的差异）就会变成零。厨师不再添加任何风味提升。

结果： 从数学上看，这道菜味道很好（误差很低），但“风味提升”已经枯竭了。厨师无法再遵循特定的指令。菜肴变得平庸且模糊。这被称为引导崩溃（Guidance Collapse）。

解决方案：DASH（双分支分数蒸馏）

论文引入了 DASH，这是一种新的训练方法，它通过像一位严厉的主厨那样，不仅盯着最终的盘中菜肴，还盯着初级厨师的两个独立工作台来解决这个问题。

双分支规则： DASH 不仅仅检查最终的混合菜肴，它强制要求初级厨师学习两份独立的食谱：
- 分支 A： “让‘空白’菜肴的味道与大师的‘空白’菜肴完全一致。”
- 分支 B： “让‘特定’菜肴的味道与大师的‘特定’菜肴完全一致。”
- 为什么有效： 通过强制要求这两道独立的菜肴都必须完美，这种“差异”（风味提升）就会被自动保留下来。初级厨师无法再通过让它们变得相同来作弊。
锚点（The Anchor）： 为了确保初级厨师在早期不会感到困惑，DASH 给他们一个小提示：“记住，‘特定’菜肴实际上是基于这个原始噪声生成的。”这让他们在学习过程中保持基础稳固。
“小抄”（TIRT 迁移）：
- 大师厨师在数月的学习中掌握了何时该集中精力。例如，他知道烹饪过程的中段是最困难的部分，需要投入最多的注意力。
- 通常，当你雇佣一位新厨师时，他们必须从头开始重新学习这个进度表。
- DASH 给初级厨师提供了一份冻结的“小抄”。它复制了大师精确的“何时努力工作”的进度表并将其锁定。初级厨师不需要浪费时间重新学习“何时”去专注，他们只需要专注于“如何”烹饪。

实验结果

论文在两个数据集（CIFAR-10 和 CIFAR-100，类似于简单和复杂的拼图集）上测试了该方法。

压缩率： 他们将模型从 3580 万个参数（大师）缩小到了 610 万个（初级厨师）。这实现了 5.9 倍的缩减。
质量： 尽管初级厨师规模很小，但他们制作出的图像几乎与大师一样好（在名为 FID 的质量评分上仅差 4 个点）。
证明： 当他们移除“双分支规则”（特别是关于“空白”分支的规则）时，质量大幅下降。这证明了观察“空白”分支是其秘方中最关键的部分。

总结

可以将 DASH 理解为一个防止学生“钻空子”的训练系统。

旧方法： “让最终结果看起来很好。”（学生通过忽略指令来作弊）。
DASH 方法： “让‘带指令’的部分完美，并且让‘不带指令’的部分也完美。另外，这是大师的学习进度表，让你知道什么时候该专注。”

这确保了即使在模型被缩小到原始规模的一小部分时，它仍然能够完美地遵循特定指令，从而保持“风味提升”的活力，并让图像保持清晰。

技术摘要：DASH：用于引导校准型紧凑扩散模型的双分支分数蒸馏

问题陈述
利用分类器自由引导（Classifier-Free Guidance, CFG）的类条件扩散模型依赖于单个网络来同时产生条件预测（ $\epsilon_y$ ）和无条件预测（ $\epsilon_\emptyset$ ）。引导机制通过放大差距 $\Delta = \epsilon_y - \epsilon_\emptyset$ 来引导生成过程。然而，通过减少参数量来压缩这些模型，会导致现有蒸馏目标函数出现关键的结构性失效。

标准的蒸馏仅监督复合引导预测（ $\tilde{\epsilon}_S \approx \tilde{\epsilon}_T$ ）或仅针对条件分支。这造成了一个欠定优化问题（underdetermined optimization problem）：学生模型的不同分支可以存在多种满足损失函数的分解方式，其中包括一种退化解，即引导差距发生坍缩（ $\Delta_S \to 0$ ）。在这种状态下，条件预测与无条件预测趋于一致，导致即使在最小化了复合训练损失的情况下，引导权重 $w$ 在推理阶段也会失效。此外，现有方法无法转移教师模型学习到的每步训练课程（重要性加权），迫使学生模型在有限的蒸馏预算内重新学习该调度，这往往会破坏最优的训练轨迹。

方法论：DASH 框架
本文提出了 DASH（双分支分数蒸馏） 框架，旨在通过两种主要机制解决欠定问题并保持引导校准：

双分支独立监督：
DASH 不再匹配复合输出，而是使用不同的损失项独立监督两个分数分支：
- 模仿损失（Imitation Loss, $L_{im}$ ）： 匹配条件分支（ $\epsilon^y_S \approx \epsilon^y_T$ ）。
- 无条件损失（Unconditional Loss, $L_{un}$ ）： 匹配无条件分支（ $\epsilon^\emptyset_S \approx \epsilon^\emptyset_T$ ）。
- 锚点损失（Anchor Loss, $L_{an}$ ）： 一个轻量级的正则项，将条件分支锚定在真实噪声（ $\epsilon$ ）上，以防止训练早期的漂移。
通过同时对两个分支施加约束，该框架唯一地指定了每个样本的目标输出，消除了允许引导差距坍缩的可行解空间。作者定义了引导差距比例 $\rho = E[\|\Delta_S\|] / E[\|\Delta_T\|]$ 来监测校准情况，其中 $\rho \approx 1$ 表示成功保留了特性。
TIRT 转移（时间步重要性重平衡训练转移）：
教师模型利用 TIRT（Min-SNR 加权的扩展），通过学习每步缩放因子（ $\lambda_t$ ）将训练集中在轨迹中内容难度较大的中间阶段。DASH 引入了 TIRT 转移，将教师模型收敛后的每步重要性课程（ $\hat{\omega}_T$ ）直接作为冻结先验复制到学生模型中。这防止了学生模型因追求“预测匹配的容易程度”而非“内容的难度”而产生的蒸馏梯度，从而破坏了原有的课程。

核心贡献

解决了结构性欠定问题： 本文识别并解决了参数压缩扩散模型中引导差距退化坍缩的问题。研究表明，无条件监督不仅是有益的，而且是必不可少的，其贡献占总蒸馏增益的 60% 以上。
课程转移： 引入了 TIRT 转移，将学习到的时间步权重作为冻结先验初始化学生模型，从而无需学生模型重新学习课程。
双分支框架： 一个统一的蒸馏流水线，独立约束条件和无条件分支，并被验证为在压缩条件下维持引导保真度的必要手段。

实验结果
实验在 CIFAR-10 和 CIFAR-100 上进行，教师模型为 35.8M 参数，压缩后的学生模型为 6.1M 参数（5.9倍压缩）。

性能： 在 50 步 DDIM 采样下，DASH 学生模型在 CIFAR-10 上达到 8.87 的 FID，在 CIFAR-100 上达到 10.47 的 FID。这与教师模型（FID 分别为 5.47 / 6.80）仅差 4 个 FID 点，且显著优于从头开始训练（FID 20.47 / 26.14）以及单约束基准模型。
引导校准： DASH 保持了 0.91（CIFAR-10）和 0.89（CIFAR-100）的引导差距比例 $\rho$ ，且方向余弦 $\cos(\Delta)$ 接近 0.94。相比之下，复合蒸馏基准模型出现了部分坍缩（ $\rho \approx 0.68$ ），而仅有条件监督则导致近乎完全的坍缩（ $\rho \approx 0.09$ ），性能甚至低于从头训练。
消融实验：
- 移除 $L_{un}$ （无条件损失）会导致 CIFAR-10 的 FID 下降 7.77 点，并将 $\rho$ 坍缩至 0.61，证实了其作为主导成分的地位。
- 移除 TIRT 转移（替换为固定的 Min-SNR）会导致 2.60 点的 FID 下降，验证了转移学习到的课程的必要性。
- 跨数据集性能比率（DASH 为 1.18×，基准模型为 1.51×）证实了其在不同标签复杂度下的鲁棒泛化能力。

意义与主张
本文声称 DASH 通过解决现有蒸馏目标中的结构性缺陷，为参数高效扩散模型建立了新标准。作者断言：

无条件监督是不可或缺的： 它不能被复合或仅条件目标所取代；在压缩情况下，没有它，CFG 将变得无效。
课程转移不同于特征蒸馏： 将训练调度（TIRT）作为冻结先验进行转移是一项创新的贡献，它防止了破坏教师模型学习到的数据自适应难度权重。
无损的高效性： 该框架在实现显著参数缩减（5.9×）的同时，保留了校准的引导机制，使得在资源受限的环境下实现高质量生成，且无需增加推理步数。

这项工作处于参数压缩与分支级校准的交汇点，提供了一种与减少步数方法正交且可组合的解决方案。

问题：“幽灵”食谱

解决方案：DASH（双分支分数蒸馏）

实验结果

总结

技术摘要：DASH：用于引导校准型紧凑扩散模型的双分支分数蒸馏

类似论文