🤖 machine learning

MMD Guidance: Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance

本文提出了 MMD 指导（MMD Guidance），这是一种无需训练的方法，通过将最大均值差异（Maximum Mean Discrepancy）梯度引入反向扩散过程，使预训练扩散模型能够适应用户特定的目标分布，从而在保持样本保真度的同时，利用有限的参考数据实现有效的分布对齐。

原作者： Matina Mahdizadeh Sani, Nima Jamali, Mohammad Jalali, Farzan Farnia

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Matina Mahdizadeh Sani, Nima Jamali, Mohammad Jalali, Farzan Farnia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这里是对论文《MMD Guidance》的解释，使用了通俗易懂的语言和富有创意的类比。

问题所在：“通用艺术家” vs. 你的独特品味

想象一下，你雇佣了一位世界闻名的、受过高度训练的艺术家（一个扩散模型/Diffusion Model）来为你画画。这位艺术家见过数百万幅画作，知道如何画任何东西——猫、汽车、日落。然而，由于他们是从如此庞大的通用数据集中学习的，他们的风格有点“平庸且大众化”。

现在，想象你是一个特定的客户。你不仅仅想要“一只猫”；你想要一只看起来完全像你家族相册里那样的猫，并且带有你所喜爱的某种特定、古怪的风格。你只有 50 张你家猫的照片可以作为参考展示给这位艺术家。

困境在于：

方案 A（重新训练）： 你可以让艺术家回到艺术学校，根据这 50 张照片重新学习。这需要很长时间，成本极高，而且可能会让艺术家忘记如何画其他东西。
方案 B（现有方法）： 你可以尝试给艺术家口头指令（“让它看起来像这样！”），但现有方法通常只是微调了颜色或主体，却无法真正捕捉到你照片中的那种“神韵”或特定的分布特征。

论文提出的问题是：我们能否在不送艺术家回学校重修的情况下，引导这位预训练好的艺术家，画出完全符合你那 50 张照片风格的作品？

解决方案：MMD Guidance（统计指南针）

作者提出了一种名为 MMD Guidance 的新方法。你可以把它想象成给艺术家提供了一个统计指南针，在他们绘画的过程中，一步步地指引方向，使其向你的特定风格靠拢。

以下是其工作原理的拆解，通过简单的概念进行说明：

1. “最大均差”（MMD）就是那个指南针

通常情况下，要比较两组事物（比如“我的 50 张猫的照片”与“艺术家的新画作”），你需要成千上万个样本才能确定它们是否匹配。如果你只有 50 张照片，标准的数学工具往往会感到困惑或失效。

MMD 是一种特殊的数学工具，它非常擅长在其中一组样本很少的情况下比较两组数据。它就像一个灵敏的雷达，能够察觉到：“嘿，这幅新画正在偏离你那

50 张参考照片的风格。”

2. “逆向扩散”过程就是绘画

扩散模型通过从充满静态噪声（就像电视雪花）的画布开始，并逐渐去除噪声来揭示图像。这个过程分为许多个微小的步骤（就像剥洋葱一样）。

MMD Guidance 在这个“剥离”过程中进行干预。在每一个步骤中，指南针（MMD）都会检查当前的“带噪”图像与你的 50 张参考照片是否匹配。

如果图像偏离你的风格太远，指南针就会施加一个温柔的推力（数学梯度），将图像导回你的参考风格。
这种做法不需要改变艺术家的脑子（模型的参数）。这就像是在拍摄现场，导演在场边对演员低声传达指令，而不是重写剧本。

3. “潜空间”捷径（秘诀所在）

在高清图像（如 4K 照片）上计算这种指南针方向是非常缓慢且计算量巨大的。这就像是通过测量沙滩上的每一粒沙子来导航一艘巨轮一样困难。

论文中的巧妙之处在于，他们在**“潜空间”（Latent Space）**中进行导航。

类比： 想象艺术家并不会立即画出最终的照片。首先，他们会画出一个粗略的、压缩后的轮廓（即“潜”版本）。这个轮廓捕捉了猫或汽车的本质，而不包含所有细微的像素细节。
MMD 指南针就在这个粗略的草图上工作。因为草图更小、更简洁，所以指南针运行得更快、更准确。一旦草图被引导到了正确的风格，艺术家便会基于这个被引导过的草图完成精细的绘画。

特色功能：听从提示词

论文还展示了当你有文本提示词（例如“戴帽子的猫”）时，该方法是如何运作的。

问题： 你可能想要一只“戴帽子的猫”，但要求它看起来像你家那只特定猫的风格。
解决方案： 作者使用了一个“乘积核”（Product Kernel）。想象这是一个双向无线电：一个频道监听文本（“戴帽子的猫”），另一个频道监听视觉风格（你的参考照片）。指南针只有在文本内容与参考照片匹配时，才会推动图像向你的参考照片靠拢。如果你要求画一只“狗”，指南针就会忽略你的猫照片。这确保了生成的图像既符合正确的主题，又符合正确的风格。

实验结果显示

作者在合成数据（数学形状）和真实图像（人脸、汽车、动物）上进行了测试。

“模态”测试： 他们证明了如果你的参考照片大多是“橘猫”和“黑猫”（跳过了白猫），那么受引导的模型也会学会跳过白猫。它匹配的是你数据的分布，而不仅仅是平均值。
质量： 生成的图像与原始模型一样高质量，但看起来更像你的特定参考集。
效率： 由于这一切都发生在“潜空间”（粗略草图阶段）且不需要重新训练，因此运行起来既快速又廉价。

总结

MMD Guidance 是一种无需重新训练即可定制强大 AI 图像生成器的方法。它不需要重新训练 AI（这既慢又贵），而是利用一种聪明的数学指南针（MMD），温柔地引导 AI 的生成过程，使其趋向于你的特定参考照片。它就像是 AI 的 GPS，确保最终的输出既符合你的独特风格，也符合你的数据，即使你只有寥寥数张样本可以提供。

技术摘要：用于无训练分布自适应的 MMD 指导技术

问题陈述
预训练扩散模型是无条件和有条件样本生成的强大生成先验。然而，它们的输出往往会偏离用户特定的目标分布，这在仅有少量参考示例（例如 50–100 个）的领域自适应任务中是一个关键问题。由于内存限制和缺乏大规模目标数据集，重新训练或微调这些模型通常在计算上是不可行的或不切实际的。现有的推理阶段指导方法（如分类器指导或分类器自由指导）通过优化代理目标（如类概率或调节强度）来调整采样轨迹，而不是直接将生成的分布与目标参考分布对齐。因此，这些方法无法显式地匹配由一小组参考样本定义的任意目标分布。

方法论
本文提出了 MMD 指导（MMD Guidance），这是一种无需训练的机制，通过在反向扩散过程中引入最大均值差异（Maximum Mean Discrepancy, MMD）的梯度，来增强扩散过程。

核心机制： 该方法通过在每个时间步 $t$ 修改标准的反向扩散采样更新，减去关于当前样本状态的平方经验 MMD 的梯度。更新规则公式化为：
$z_{t-1} = \text{sampler}(z_t, t, \epsilon_\theta) - \lambda_t \nabla_{z_t} \widehat{\text{MMD}}^2(\hat{P}_t, \hat{Q})$
其中 $\hat{P}_t$ 是时间步 $t$ 时生成批次的经验分布， $\hat{Q}$ 是参考样本的经验分布， $\lambda_t$ 控制指导强度。
散度选择： 作者选择 MMD 而非 $f$ -散度（如 KL 散度）和 Wasserstein 距离，是因为 MMD 能够从有限的数据中提供无偏、低方差的估计，且不会受到维度灾难的影响。此外，其基于核函数的公式化形式允许进行高效的闭式梯度计算。
潜空间实现： 为了确保计算效率，该指导直接应用于潜在扩散模型（LDMs）的潜空间中。参考图像通过 VAE 编码器被一次性编码为潜表示。这降低了 MMD 计算的维度，并通过过滤像素级噪声提高了信噪比。
提示词感知自适应： 对于有条件生成，该框架通过使用**乘积核（product kernel）**扩展到了提示词感知的自适应。该核函数 $k_{\otimes}([p, z], [p', z']) = k_{\text{text}}(p, p') \cdot k_{\text{image}}(z, z')$ 同时衡量提示词（语义）和视觉（潜空间）空间的相似度。这使得指导能够使生成的样本在不重新训练去噪器的情况下，既与文本提示词对齐，又与参考对的视觉风格对齐。
梯度动力学： MMD 平方梯度由两部分组成：一个产生生成样本间排斥作用的**批内（intra-batch）项（促进多样性），以及一个产生向参考样本吸引作用的交叉（cross-term）**项（鼓励分布匹配）。理论分析提供了交叉项梯度的集中保证，确保即使在参考样本有限的情况下，它也能可靠地估计总体梯度。

核心贡献

MMD 指导： 引入了一种无需训练、推理阶段的方法，用于将扩散模型适配到由有限参考集指定的目标分布。
提示词感知扩展： 利用乘积核实现了一个实用的扩展，能够在有条件生成中实现与文本提示词和视觉风格的联合对齐。
高效实现： 采用直接在 LDM 潜空间运行的可扩展实现，与像素空间指导相比，显著降低了计算开销。
实证验证： 全面的实验证明，MMD 指导在实现卓越的分布对齐的同时，保持了样本的保真度。

实验结果
作者在合成高斯混合模型（GMMs）和真实世界图像基准测试（FFHQ、CelebA-HQ 以及 Stable Diffusion 输出的特定风格子集）上评估了 MMD 指导。

合成数据： 在 8 模态和 25 模态的 GMM 上，MMD 指导成功恢复了目标混合比例并纠正了不平衡分布，在 Fréchet 距离（FD）和核距离（KD）方面优于基准方法。
真实世界图像： 在针对 FFHQ（例如生成具有特定眼镜风格的面部）和 CelebA-HQ 的实验中，与无指导采样、分类器指导甚至需要微调的用户训练基准相比，MMD 指导实现了最高的保真度和分布覆盖得分。
有条件生成： 在文本条件设置下（使用 Stable Diffusion XL 和 PixArt），该方法成功地将生成图像的视觉风格（例如“动漫风格的猫”或“皮克斯风格的汽车”）调整为匹配参考集，同时遵循文本提示。
效率： 运行时分析表明，在潜空间中进行 MMD 指导所带来的额外计算成本相对于无指导采样而言可以忽略不计，即使对于像 SDXL 这样的大规模模型也是如此。
鲁棒性： 该方法在不同数量的参考样本（在仅 50–100 个样本时即可有效收敛）和不同的领域差距下均表现出鲁棒性。

意义与主张
本文声称，MMD 指导为在计算资源受限或用户特定数据稀缺的情况下部署生成模型提供了一种切实可行的解决方案。通过完全在推理阶段运行而不修改模型参数，该方法实现了即时部署并保护了隐私（因为没有使用用户数据进行训练）。作者强调，该方法有效地弥合了预训练基础模型的能力与特定用户需求之间的差距，在保持生成样本的多样性和质量的同时实现了分布对齐。这项工作将 MMD 指导定位为现有微调和提示工程技术的补充工具，在隐私受限或资源受限的场景中尤为具有价值。