💻 computer science

Towards Consistent and Efficient Dataset Distillation via Diffusion-Driven Selection

本文提出了一种新颖的数据集蒸馏框架，该框架利用预训练扩散模型，基于预测噪声损失和类内聚类来选择具有代表性的图像块，从而实现了一种比现有基于生成的方法在大型数据集上表现更优的流线型单步过程。

原作者： Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正试图教一名学徒烹饪一场盛大且复杂的宴会（就像一个包含数千道菜品的完整 ImageNet 数据集）的大厨。通常情况下，你必须向学徒展示每一道菜、每一种食材以及每一个步骤。这既耗时，又需要巨大的厨房（内存），还会消耗大量的燃气（计算能力）。

数据集蒸馏（Dataset Distillation） 的概念就是制作这样一个精巧的“小抄”或“精简菜单”，它如此完美，以至于学徒只需通过研究这寥寥几例，就能掌握整场宴会的精髓。

过去“小抄”存在的问题

过去，科学家们尝试通过两种方式来制作这些精简菜单：

逐像素优化（Pixel-by-Pixel Optimization）： 试图通过数学手段去微调几张图像中的每一个像素，使其达到完美。这就像是用手去雕刻一件杰作，速度极慢，而且只适用于小型、简单的菜品（如 CIFAR-10）。当你试图处理像 ImageNet 这样庞大的宴会时，整个厨房都会因为复杂度过高而“爆炸”。
AI 生成（AI Generation）： 使用强大的 AI（扩散模型）从零开始“发明”看起来像真实菜肴的新图像。问题在于，这个 AI 是在与你的菜单不同的“菜单”（互联网）上训练出来的。它可能会发明出一只看起来像“云朵”的“金毛寻回犬”，或者一只看起来像“长着翅膀的鱼”的“鲨鱼”。这造成了分布偏移（distribution shift）——这些“伪造食物”的味道并不完全符合真实食物的味道。

全新的解决方案：“扩散驱动的选择”（Diffusion-Driven Selection）

本文作者提出了一种聪明的新方法来制作这份小抄。他们不是要求 AI 去创造新的食物，而是要求 AI 充当评论家，去寻找厨房里现有的真实食物中最精华的部分。

以下是他们的方法是如何运作的，我们用一个简单的类比来说明：

第一步：“盲测品鉴”（第一阶段）

想象你有一张真实的金毛寻回犬的大照片。你想知道：“这张照片中哪一部分最像‘金毛寻回犬’？”

你使用一个预训练好的 AI（Stable Diffusion），并让它猜出将一张空白屏幕变成“金毛寻回犬”所需的噪声（静态噪声）。
然后，你再让它猜出将一张空白屏幕变成“一只狗”（不强调具体品种）所需的噪声。
神奇之处在于： 通过对比这两个猜测，AI 会标出哪些像素让这只狗看起来特指为“金毛寻回犬”。这就像是 AI 用激光笔指向了狗的垂耳和金色的毛发，并说道：“这部分才是重点！”
他们从真实的图像中裁剪出这些被“激光指向”的局部块（patches）。他们并不是在制作新图像，而是在切割真实图像中最精华的部分。

第二步：“分组派对”（第二阶段）

现在你拥有了成千上万个这样的“精华片段”。有些是耳朵，有些是尾巴，有些是鼻子。

如果你只是把它们乱丢进一个袋子里，那会非常混乱。
因此，作者使用了一种聚类技术（就像按颜色和图案来分类袜子一样）将相似的局部块组合在一起。
他们从每个组中挑选出最具代表性的那只“袜子”，以确保最终的精简菜单既具有多样性（diversity），又能捕捉到每个类别的本质。

为什么这是一个游戏规则的改变者

该论文声称取得了三大胜利：

不再有“伪造食物”： 因为他们是从真实图像中切割碎片，而不是生成虚假的图像，所以数据分布与原始数据完全一致。不存在“幻觉”或奇怪的伪影。
单步流程： 旧的方法通常在你想要改变图像数量或类别类型时，必须重新运行整个过程。而这种新方法就像是一个“一键式”按钮。你只需运行一次，就能得到适用于多种不同设置的数据集。
速度与规模： 它可以在大规模数据集（如 ImageNet-1K）和复杂模型（如 ResNet-101）上运行，而之前的各种方法在这些场景下要么失败，要么耗时过长。

结果

在实验中，这种“剪切与粘贴”的方法（由 AI 识别特征进行引导）始终优于现有的顶尖方法。它产生的小型数据集在训练模型时，表现得与庞大的原始数据集一样好（甚至更好），且无需承担尝试优化像素或从头生成新图像所带来的沉重计算成本。

简而言之： 这个方法不是要求 AI 去画一幅新的狗的画像，而是要求 AI 指向真实照片中最像狗的部分，将其剪切出来，并整理成一份精简且完美的学习指南。

技术摘要：通过扩散驱动的选择实现一致且高效的数据集蒸馏

问题陈述

数据集蒸馏旨在合成一个紧凑的数据集，使训练出的深度模型能够达到与原始全量数据集相当的性能，从而降低内存和计算成本。然而，现有的基于优化的方法（例如梯度匹配）面临着巨大的像素级优化空间，限制了其在 CIFAR-10/100 等小规模数据集上的可行性。近期的方法虽然利用预训练的扩散模型直接生成合成图像，但仍存在显著局限性：

分布偏移： 微调扩散模型（无论是微调模型本身还是潜在空间中的图像原型）的方法往往难以处理预训练数据（如 LAION, ImageNet-1K）与目标数据集之间的分布不匹配问题，导致输出包含类别无关或噪声内容。
低效与僵化： 现有的基于扩散的方法通常需要针对特定数据集进行模型微调，或者在处理不同的类别组合或压缩率（IPC 设置）时需要多个蒸馏步骤，这阻碍了实际的可扩展性。

方法论

作者提出了 DDDS（扩散驱动的数据集选择），这是一个不同于生成式方法的框架，它利用预训练的扩散模型进行**补丁选择（patch selection）**而非图像生成。该方法采用单步过程，无需微调扩散模型，也无需训练代理分类器。

第一阶段：最优类别相关特征选择

该方法并非生成新图像，而是识别原始真实图像中最具信息量的区域。

微分噪声预测： 对于每个输入图像 $z$ 和目标类别标签 $c$ ，预训练的 Stable Diffusion (SD) 模型会在两种条件下预测噪声图：一种是带有类别文本提示 $c$ （例如，“一张金毛寻回犬的照片”）的条件，另一种是不带标签（无分类器引导， $\phi$ ）的条件。
代表性评分： 这两种噪声预测之间的差异， $M(z|c) = \mathbb{E}_{\epsilon, t}[N_t(z, \epsilon, c) - N_t(z, \epsilon, \phi)]$ ，量化了类别相关的信息。较高的微分损失表示该区域对于区分该类别至关重要。
补丁提取： 将噪声图上采样至原始图像分辨率。将图像划分为若干补丁（patches），并通过对微分噪声值求和来计算每个补丁的得分 $R(p|c)$ 。得分最高的补丁将被选为候选对象。

第二阶段：视觉元素聚合

为了减轻随机性并确保所选补丁的多样性，应用了基于聚类的选择策略。

特征提取： 对选定的补丁进行处理以提取 DIFT（扩散特征） 表示。这涉及在补丁的潜在表示中添加特定时间步的噪声，并通过带有文本条件的 U-Net 获取中间层激活值。
聚类与排序： 对 DIFT 特征进行 K-means 聚类。选择过程遵循双重排序规则：
1. 簇内（Intra-cluster）： 补丁根据其到聚类质心的距离进行排序（倾向于中心、具有代表性的样本）。
2. 簇间（Inter-cluster）： 聚类根据其成员的中值代表性得分 ( $R(p|c)$ ) 进行排序。
最终选择： 优先考虑排名靠前的聚类（例如前 10 个），以确保代表性和多样性。如果每类图像数 (IPC) 较低，则将多个补丁拼接以形成单张合成图像。

核心贡献

正交范式： 本文引入了一种利用预训练扩散模型进行定位（选择）而非生成的数据集蒸馏框架。这种方法直接解决了扩散先验与目标数据集之间的分布差异问题。
高效单步过程： 该方法消除了对模型微调、代理模型训练或在不同设置（类别组合或 IPC）下重复蒸馏的需求。它实现了一个完全不受限的单次通过式蒸馏过程。
最先进的性能： 大量实验表明，所提出的方法在各种数据集（CIFAR, ImageNet 子集, ImageNet-1K）和模型架构（ResNet, ViT, EfficientNet）上始终优于现有的无训练和基于优化的方法。

实验结果

高分辨率数据集： 在 ImageNet-1K 及其子集（ImageNette, ImageWoof, ImageNet-100）上，DDDS 相比于 SRe2L, RDED, Minimax 和 D4M 等基准方法取得了显著提升。例如，在 IPC=100 的 ImageNette 上，它达到了 92.0% 的准确率，而次优方法为 91.0% (MGD3)。
低分辨率数据集： 在 CIFAR-10/100 和 TinyImageNet 上，该方法达到或超过了信息匹配方法（如 DSA, IDM）和其他基于扩散的方法的性能。
跨架构泛化： 蒸馏出的数据集在包括 CNN 和 Vision Transformers (ViTs) 在内的多种教师-学生架构中表现稳健。
效率： 单步过程使得无论类别组合或 IPC 设置如何，时间成本都保持恒定，提供了显著的加速（例如，在使用 300 张真实图像进行补丁提取时，比需要重复蒸馏的方法快 4 倍）。

意义与主张

作者声称这项工作为利用扩散模型进行数据集蒸馏提供了一个全新的视角。通过从“生成”转向“选择”，该方法有效地恢复了原始数据分布，避免了由生成先验引入的偏差。该框架被强调为解决大规模数据集蒸馏中可扩展性和一致性挑战的解决方案，为当前最先进技术提供了一个实用、无需训练且高度高效的替代方案。源代码已公开，以促进进一步研究。