🤖 AI

Self-Improving Diffusion Classifiers with Minority Preference Optimization

本文介绍了 MiPO，这是一种通过利用少数派偏好优化来微调预训练模型，从而在不需要额外图像数据或外部奖励模型的情况下，增强扩散模型在少数区域零样本分类性能的方法，旨在提升其对代表性不足的数据分布的感知能力。

原作者： Hyunsoo Kim, Jungmyung Wi, Soobin Um, Donghyun Kim, Suhyun Kim

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyunsoo Kim, Jungmyung Wi, Soobin Um, Donghyun Kim, Suhyun Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位超级聪明的艺术家，他花了多年时间画了数百万幅画。这位艺术家非常厉害，如果你要求他画一只“狗”或一辆“车”，他都能完美地完成。在人工智能的世界里，这位艺术家被称为扩散模型（Diffusion Model）。

最近，科学家们发现这位艺术家在玩一个猜谜游戏时也表现得异常出色：“这张图片里是什么？”这被称为扩散分类器（Diffusion Classifier）。然而，这里有一个问题：这位艺术家有点自命不凡。当他在猜测常见事物（比如标准的狗或汽车）时，他表现得非常有信心，因为他见过这些东西无数次。但如果给他看一些稀有或不寻常的东西（比如某种特定类型的怪异鸭子或一个罕见的洗手池），他经常会猜错。他很难处理这些“少数派”项目，因为他练习得不够多。

问题所在：艺术家的盲点

论文解释说，这是因为艺术家的训练主要集中在常见、流行的图像上。他擅长处理“多数派”，但对“少数派”却很糟糕。以前试图修复这一问题的尝试，就像是只在艺术家绘画时给他一张“作弊纸”。这确实帮助他画出了一些罕见的图片，但并没有真正教会艺术家如何更好地理解稀有事物。一旦作弊纸被收走，他又会回到困惑的状态。

解决方案：MiPO（少数派偏好优化）

作者 Hyunsoo Kim 及其团队创造了一种名为 MiPO 的新方法。你可以把 MiPO 想象成一位自我进化的教练，它帮助艺术家学习欣赏并理解那些稀有的事物，而无需看到新的现实生活照片。

以下是 MiPO 的工作原理，我们使用一个简单的类比：

练习环节（自我生成）： 由于艺术家没有新的照片可以看，MiPO 要求艺术家根据随机的描述（提示词）来构思并绘制图像。
“稀有度”评分： 在艺术家画完一张图后，MiPO 会对其进行检查。如果这张画看起来像是艺术家通常会忽略的东西（“少数派”区域），MiPO 会给他们高分（奖励）。如果它看起来像一张平庸、常见的图片，他们就会得到低分。
温柔的推动（LoRA 与 RL）： MiPO 使用一种特殊的轻量化工具（称为 LoRA）来微调艺术家的思维。这就像是为艺术家戴上一副特殊的眼镜，帮助他们更好地专注于稀有的细节。它使用了一种叫做**群体相对策略优化（GRPO）**的技术，这就像是在比较一组绘画作品。如果某幅画比同组中的其他画作更“稀有”，艺术家就会因为这种特定的风格而获得额外加分。
安全网（KL 正则化）： 在试图变得“稀有”的过程中，存在一个风险：艺术家可能会开始画出一些乱七八糟的东西，或者忘记如何画正常的事物。为了防止这种情况，MiPO 添加了一个“安全带”（KL 正则化）。这确保了艺术家在扩展知识的同时，依然能保持原有的技能水平。

实验结果

研究人员在五种不同的标准测试（如 CIFAR10 和 ImageNet）上测试了这位新教练。结果如下：

更擅长处理难题： 艺术家变得更擅长识别那些他以前无法处理的稀有、低密度项目。
依然擅长处理简单任务： 由于有了“安全带”的作用，艺术家并没有忘记如何绘制或识别常见事物。
无需额外照片： 整个过程仅使用文本描述完成。他们不需要喂给模型任何新的图像。
快速且灵活： 这副“眼镜”（LoRA）很小且易于佩戴或摘除。它们适用于不同类型的艺术家（不同的扩散模型），并且不会显著减慢处理速度。

核心结论

论文声称，通过让 AI 通过这种自我进化的循环来“练习”生成和识别稀有项目，AI 变成了一个更全面的观察者。它修复了 AI 只理解流行事物的偏差，使它在处理从常见物体到奇特事物的所有任务时，都更加稳健和准确。

简而言之：MiPO 教会了 AI 不要忽视那些“弱势群体”，使它成为一个更聪明、更公平的分类器，而无需任何新的训练数据。

技术摘要：基于少数派偏好优化（MiPO）的自改进扩散分类器

1. 问题陈述

扩散分类器（Diffusion Classifiers, DCs）已展示出强大的零样本分类性能，尤其是在处理分布外（OOD）样本和组合理解方面。然而，其有效性高度依赖于预训练数据的分布。目前的扩散分类器在“多数派”（高密度）区域表现出色，但在“少数派”（低密度）区域的准确率显著下降。

这种性能差距源于用于训练扩散模型的标准噪声匹配损失函数本质上向频繁出现的、高密度的样本倾斜。因此，模型的生成覆盖范围在代表性不足的区域显得非常稀疏，导致其对少数概念的感知能力较差。虽然先前的研究尝试通过推理时引导或辅助分类器来解决少数派采样问题，但这些方法通常会带来高昂的计算成本，需要外部模型，或者无法更新扩散模型本身的底层表示，从而限制了提升分类性能的能力。

2. 方法论：MiPO

作者提出了 MiPO（Minority Preference Optimization，少数派偏好优化），这是一个自改进框架，旨在通过微调预训练的文本生成图像扩散模型，在不需要额外图像数据或外部奖励模型的情况下，增强其对少数派区域的表示。

核心组件

自改进机制： MiPO 仅利用任意的标题数据（例如来自 HPSv2）来生成候选样本。它不依赖于外部图像数据集或用于奖励计算的基础模型。
少数派偏好奖励： 为了量化生成的样本对少数派区域的覆盖程度，该方法采用了基于 DDIM 的 Tweedie 公式近似。
- 对于生成的图像 $x_0$ ，添加高斯噪声以创建扰动潜变量 $x_t$ 。
- 模型通过 DDIM 逆过程重建 $\hat{x}_0$ 。
- 少数派得分（Minority Score） 定义为重建差异： $M(x_0) = \|\hat{x}_0 - x_0\|_2$ 。
- 更高的重建误差表示去噪器存在更大不确定性的区域（即少数派区域），从而作为正向奖励信号。
基于 GRPO 的强化学习： 模型使用 群体相对策略优化（Group Relative Policy Optimization, GRPO） 进行微调。
- 从相同的提示词（prompt）和初始噪声中采样多条轨迹。
- 根据少数派奖励计算组归一化优势（group-normalized advantages）。
- 更新策略以最大化生成高奖励（少数派）样本的似然概率。
LoRA 集成： 为确保效率和稳定性，更新是通过低秩自适应（LoRA）适配器而非全模型微调进行的。这实现了与各种骨干网络（如 Stable Diffusion 1.5 和 2.0）的即插即用兼容性。
KL 正则化： 为了防止策略偏离预训练分布过远（这可能会降低视觉保真度或多数派性能），在目标函数中加入了 Kullback–Leibler（KL）散度项：
$\mathcal{J}(\theta) = \alpha \mathcal{J}_{Minority}(\theta) + \beta D_{KL}(\pi_\theta \| \pi_{pre})$
这平衡了少数派探索与原始生成先验的保留。
选择性策略优化： 该方法仅更新 前 40% 的扩散时间步。实证分析表明，早期步骤对于形成粗粒度的语义和结构信息至关重要，且将更新限制在此阶段可以降低计算成本并保持视觉保真度。

3. 主要贡献

新颖的联系： 本文建立了生成中的少数派采样与扩散分类器感知能力之间的直接联系，证明了增强低密度区域的生成覆盖可以提高零样本分类性能。
MiPO 框架： 一种自改进方法，通过仅利用标题数据衍生的少数派偏好奖励来微调扩散模型，消除了对外部图像数据、外部奖励模型（如 CLIPScore、ImageReward）或逐提示词优化的需求。
高效优化： 将 GRPO 与 LoRA 以及选择性时间步更新相结合，实现了稳定、提示词自适应的少数派采样，且推理开销极低，参数占用量小。
全面评估： 该方法在五个标准数据集上进行了评估，证明了在零样本分类准确性和少数派图像生成质量方面的提升。

4. 实验结果

作者在 SD 1.5 和 SD 2.0 骨干网络上对多个数据集进行了 MiPO 的评估：

零样本分类：
- CIFAR10： 从 85.38% 提升至 87.89% (SD 1.5)。
- CIFAR10-C（鲁棒性）： 从 57.72% 提升至 59.76% (SD 1.5) 以及从 64.61% 提升至 65.33% (SD 2.0)。
- ImageNet-Tiny： 从 46.50% 提升至 47.30% (SD 1.5) 以及从 51.45% 提升至 55.25% (SD 2.0)。
- Caltech & SUN09： 在两种骨干网络上均观察到一致的增益。
- 注：论文承认在处理像 LabelME 和 VOC2007 这样复杂的、包含多目标的数据集时，性能不够稳定或出现了轻微下降，将其归因于领域差异和标注的不一致性。
少数派生成：
- MiPO 在少数派敏感指标（Minority Score, JEPA-SCORE）上达到了与最先进的 MinorityPrompt 基准相当或更优的表现，同时保持了高水平的感知质量（CLIPScore, HPSv3）。
- 至关重要的是，MiPO 以 完全提示词自适应 的方式运行（每张图 1 秒），而无需 MinorityPrompt 所需的沉重逐提示词优化（每张图 63 秒）。
人类偏好：
- MiPO 获得了最高的 ImageReward 分数（0.228），高于基准值（0.184）和 MinorityPrompt（-0.026），表明其在面向少数派的生成与人类偏好的视觉质量之间取得了更好的平衡。

5. 意义与主张

本文主张扩散分类器的感知本质上偏向于多数派区域，而这种偏差可以通过 少数派偏好优化 来缓解。通过证明增强低密度区域的生成覆盖可以直接转化为提升识别能力，作者认为扩散模型的“感知”与其“生成”能力是密不可分的。

MiPO 的意义在于它能够在 不增加额外图像数据或外部模型 的情况下改进扩散分类器，而是依靠由少数派奖励驱动的自改进循环。作者将其定位为迈向更稳健且公平的生成模型的一步，表明通过高效的策略优化（GRPO + LoRA），实现稳定、提示词自适应的少数派采样是可行的，并且这种方法能带来切实的零样本分类任务收益。

论文对其局限性保持了审慎态度，指出该方法依赖于基于标题的自改进，这可能导致在存在显著领域差异或标注模糊的数据集上出现不稳定的改进。此外，作者也承认在最大化少数派显著性与保留预训练先验的高级美学对齐之间存在内在的权衡。