💻 computer science

DIVER:Diving Deeper into Distilled Data via Expressive Semantic Recovery

本文提出了 DIVER，一种新颖的双阶段数据集蒸馏框架，该框架利用预训练扩散模型，通过继承、引导和融合来恢复富有表现力的语义，从而在保持高效率的同时，克服了传统单阶段方法在过拟合和跨架构泛化方面的局限性。

原作者： Qianxin Xia, Zhiyong Shu, Wenbo Jiang, Jiawei Du, Jielei Wang, Guoming Lu

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Qianxin Xia, Zhiyong Shu, Wenbo Jiang, Jiawei Du, Jielei Wang, Guoming Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文DIVER的解释。

核心难题：“模糊的蓝图”

想象你拥有一个巨大的图书馆（原始数据集），你想用它来教机器人阅读。但图书馆太大了，而且你不能分享真正的书籍，因为它们包含私人秘密。

于是，你试图创建一张微小的、浓缩的“作弊条”（蒸馏数据集），其中包含所有重要的知识点。传统方法试图通过挤压文本，将其压缩成抽象的涂鸦来缩小这些书籍。

关键问题在于：这些涂鸦如果使用特定类型的“大脑”（特定的架构，如 ConvNet）来训练机器人，效果会很好。但如果你尝试用这种同样的涂鸦“作弊条”去训练不同类型的“大脑”（如 ViT 或 MobileNet），机器人就会感到困惑。这些涂鸦包含了太多仅适用于第一种大脑的“噪声”，而缺乏第二种大脑所需的清晰含义。这就像试图阅读一张用隐形墨水绘制的地图，它只在特定的手电筒下才有效。

解决方案：DIVER（深入挖掘）

作者提出了一种名为DIVER的新两步流程。不要仅仅把它看作是压缩书籍，而应将其视为在书籍被“挤压”后恢复“作弊条”的过程。

他们将“被挤压”的作弊条作为起点，并利用强大的 AI 工具（扩散模型）“深入挖掘”并清理它。他们通过三个神奇的步骤来实现：

步骤 1：语义继承（“黄金过滤器”）

类比：想象被挤压的作弊条是一滩泥水。你将其倒入一个特殊的筛子（VAE 编码器）中。
发生什么：筛子拦截了沉重的泥浆（那些仅第一种大脑能理解的“噪声”和奇怪模式），让纯金（高层语义）流入一个干净的容器中。
结果：你现在拥有了图像的核心概念，去除了令人困惑的伪影，但它仍然有点模糊。

步骤 2：语义引导（“指南针”）

类比：现在你想把那些“黄金”还原成清晰的图像。你有一个指南针（引导函数），它指向原始的“黄金”。
发生什么：当 AI 试图根据“黄金”绘制图像时，指南针不断低语：“紧贴原始含义！”这防止了 AI 偏离方向并编造胡话。它确保新图像仍然看起来像原始概念，只是更清晰了。

步骤 3：语义融合（“智能编辑器”）

类比：想象你在编辑一张照片。如果你试图从第一秒开始就同时修复光线和颜色，照片可能会变得怪异或模糊。
发生什么：DIVER 很聪明地知道何时应用修复。
- 早期阶段（混沌期）：它只是让 AI 生成基本形状。
- 中期阶段（语义期）：这是最佳时机。在这里，它将步骤 1 中的“黄金”与特定标签（例如“这是一只猫”）相结合，使图像变得锐利清晰。
- 晚期阶段（精炼期）：它停止添加沉重的引导，以避免使图像看起来虚假或失真。
结果：一张清晰、逼真的图像，它承载了原始数据的真实含义，却去除了会让其他机器人困惑的“泥浆”。

为何重要（结果）

该论文表明，这种新方法是一个“即插即用”的升级。你可以将旧方法制作的“作弊条”输入 DIVER，从而获得一个在不同类型的机器人“大脑”上表现好得多的合成数据集。

无需额外训练：你不需要从头重新训练 AI。你只需使用预训练工具来清理数据。
高效性：它速度快得惊人，且不需要超级计算机。它可以在标准的高端游戏显卡（RTX 4090）上使用极少的内存处理图像。
权衡：清理后的图像对于制造混乱的原始大脑来说可能略不完美，但对于任何其他人试图从中学习而言，它们都优越得多。

一句话总结

DIVER就像是将一份模糊、充满噪点的文件复印件，送入一台高科技扫描仪，去除污渍并恢复文字，然后打印出一个全新的、晶莹剔透的版本。这个新版本如此清晰，以至于无论谁的阅读风格如何，都能完美地理解它。

技术摘要：DIVER——通过表达性语义恢复深入挖掘蒸馏数据

1. 问题陈述

数据集蒸馏（Dataset Distillation, DD） 旨在将大规模、语义丰富的数据集压缩为紧凑的、人类不可读的代理数据集，以促进高效学习和隐私保护。然而，经典的数据集蒸馏框架通常采用单阶段双层优化范式。在此过程中，优化直接在像素空间进行，通常使用特定的先验架构（例如 ConvNet）来执行匹配策略（梯度匹配、分布匹配或轨迹匹配）。

这种方法导致了两个关键问题：

过拟合于特定架构模式：蒸馏后的图像倾向于学习针对蒸馏过程中使用的先验架构量身定制的特定高频模式和噪声，而非捕捉可泛化的高级语义。
跨架构泛化失败：因此，这些蒸馏图像表现出抽象、噪声化且不真实的特征，抑制了视觉语义的表达。当在不同于先验架构的异构架构（例如 Transformer、MobileNet）上评估蒸馏数据集时，会导致性能显著下降。

现有的尝试，如生成先验方法（使用 GAN）或双时间匹配，要么仍受限于昂贵的内循环机制，要么无法生成逼真的图像，要么完全背离了经典的数据集蒸馏框架，丢弃了现有蒸馏数据集的潜力。

2. 方法论：DIVER 框架

作者提出了 DIVER（通过表达性语义恢复深入挖掘蒸馏数据），这是一种新颖的双阶段蒸馏框架。与传统方法在生成蒸馏数据集后即停止不同，DIVER 将经典数据集蒸馏的输出视为第二阶段细化的中间输入。

第一阶段：经典数据集蒸馏

此阶段与标准数据集蒸馏完全相同。它利用现有技术（例如 MTT、DM、SRe2L）从原始数据集（ $O$ ）中提取紧凑的蒸馏数据集（ $D^*$ ）。作者指出，如果蒸馏数据集已经存在，则可以跳过第一阶段。

第二阶段：深入挖掘蒸馏数据（DDD）

核心创新在于第二阶段，称为深入挖掘蒸馏数据（Diving into Distilled Data, DDD）。该阶段采用预训练且冻结的扩散模型（具体为扩散 Transformer，DiT）和 VAE，将 $D^*$ 细化为合成数据集（ $S$ ），无需访问原始数据集或进行额外训练。该过程涉及三种语义恢复策略：

语义继承（Semantic Inheritance, SI）：
- 机制：使用预训练的 VAE 编码器将蒸馏图像 $x_0$ 编码为潜在代码 $z_0$ 。
- 目的：VAE 充当过滤器，将图像投影到深层潜在空间。此过程固有地过滤掉了针对先验 ConvNet 过拟合的架构特定“噪声”（高频模式），同时保留了高级语义表示。
- 初始化：反向扩散过程不是从随机高斯噪声开始，而是从继承潜在变量的噪声版本（ $z_{tf}$ ）开始初始化，该版本是通过对 $z_0$ 添加 $t_f$ 步前向噪声创建的。这确保了采样轨迹保持在原始语义结构附近。
语义引导（Semantic Guidance, SG）：
- 机制：在反向过程中引入引导函数 $G_t = ( \hat{z}_t - z_0 )^2 / 2\sigma_t$ 。
- 目的：防止从蒸馏数据集继承的语义信息在生成过程中退化或偏离过远。它引导采样生成逼真的输出，同时保持对原始蒸馏语义的忠实度。
语义融合（Semantic Fusion, SF）：
- 机制：作者利用扩散采样发生在不同阶段的观察结果：混沌阶段（CP）、语义阶段（SP）和细化阶段（RP）。语义融合将条件标签（类别信息）与继承和引导的潜在变量**仅在语义阶段（SP）**进行融合。
- 目的：全阶段引导可能导致语义模糊和伪影。通过在关键的 SP 阶段仅融合类别信息，该方法确保了注入清晰、特定类别的语义，而不会损害结构完整性或导致对标签引导的过拟合。

整个第二阶段过程是无需训练且无需原始数据的，仅依赖预训练的生成模型和蒸馏数据集。

3. 主要贡献

双阶段框架：本文将数据集蒸馏问题解耦为 DD（提取）和 DDD（细化），提出了一种增强跨架构泛化的新范式。
DDD 任务定义：作者正式引入了“深入挖掘蒸馏数据”，这是首个在不访问原始数据的情况下，从现有蒸馏数据集中提炼知识到合成数据集的工作。
语义恢复策略：将语义继承、语义引导和语义融合集成到预训练的引导扩散模型中。这些策略恢复了被架构特定模式抑制的表达性语义，且无需额外的模型训练。
效率：该方法作为传统 DD 的插件，以最小的计算开销（与原始 DiT 推理相当）和较低的 GPU 内存占用（4 GB）实现了显著的性能提升。

4. 实验结果

在 ImageNet-1K 及其子集（例如 ImageNette、ImageFruit）上进行了广泛实验，分辨率为 128×128 和 256×256。

跨架构泛化：DIVER 在未见过的架构（ResNet、ShuffleNet、MobileNet、EfficientNet、ViT）上评估时，一致提升了各种经典数据集蒸馏方法（DM、MTT、EDF、NCFM、SRe2L、G-VBSM）的性能。
- 例如，在 IPC=1 的 ImageNet 子集上，DIVER 将 MTT 在各类架构上的平均性能从约 15% 提升至约 22%。
- 在 ImageNet-1K（IPC=10）上，DIVER 将 MTT 在 ResNet-18 上的性能从 21.3% 提升至 24.5%，在 ResNet-50 上从 28.4% 提升至 31.2%。
与生成先验的比较：DIVER 在泛化能力上优于 GLaD（一种生成先验方法），且效率更高，因为它不需要计算梯度或存储生成器梯度。
消融研究：
- 模块影响：语义继承和语义引导单独使用时均能提供显著增益。两者的结合产生了最佳结果，尽管存在饱和效应。
- 引导因子：最优的引导因子（ $\gamma=0.1$ ）至关重要；过低导致引导不足，过高则导致过度依赖继承的潜在变量，削弱标签条件的作用。
- 前向步数：中间数量的前向步数（ $t_f=25$ ）平衡了高斯对齐和特征保留。
- 鲁棒性：该方法在不同的扩散骨干网络（DiT、SiT、Stable Diffusion V1.5）上均表现出一致的改进，但由于架构对齐，在 DiT 和 SiT 上的增益最为显著。
在先验架构上的权衡：论文承认，当合成数据集在与初始蒸馏相同的先验架构（ConvNet）上评估时，性能会出现可测量的下降。然而，这被视为换取跨架构泛化显著增益的可接受权衡。

5. 意义与主张

论文声称，DIVER 有效解决了经典数据集蒸馏中固有的“跨架构泛化困境”。通过将蒸馏数据集视为被抑制语义信息的来源而非最终产品，DIVER 利用预训练扩散模型强大的合成能力“深入挖掘”并恢复表达性语义。

该工作的意义在于：

方法论进步：它弥合了经典数据集蒸馏与生成模型之间的鸿沟，表明经典蒸馏数据集保留了有价值的语义信息，可以通过第二阶段细化来解锁。
实际效率：该方法无需访问原始大规模数据集，也无需额外训练，使其非常适合隐私敏感场景和资源受限环境（例如边缘计算）。
泛化性：它为在不同神经网络架构上部署蒸馏数据集提供了稳健的解决方案，这是模型异构性常见的现实世界应用中的关键需求。

作者总结道，DIVER 作为传统 DD 的一种高效、即插即用的增强方案，以最小的存储和计算开销显著提升了泛化能力。