💻 computer science

Condensing Large-Scale Datasets Directly with Minimal Information Loss

本文介绍了 CIM，这是一个新颖的指标驱动框架，它消除了现有数据集蒸馏方法中导致信息丢失的双重压缩范式，从而在 ImageNet-1K 等大规模数据集上以极低的计算开销实现了最先进的性能。

原作者： Xinyi Shang, Peng Sun, Bei Shi, Zixuan Wang, Tao Lin

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyi Shang, Peng Sun, Bei Shi, Zixuan Wang, Tao Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个包含数百万本书籍的巨大图书馆（一个像 ImageNet 这样庞大的数据集）。你想教一名学生（AI 模型）学习图书馆里的所有知识，但你没有足够的时间、空间或资金让他们读完每一本书。

旧方法：“总结、重写与猜测”问题

以往的方法试图通过一个被称为“挤压、恢复与重新标记”（Squeeze, Recover, and Relabel）的三步过程来解决这个问题。

挤压（Squeeze）： 他们试图将数百万本书中的所有知识压缩进一个单一的、微小的、压缩后的摘要（预训练模型）中。
恢复（Recover）： 然后，他们尝试将这个压缩后的摘要“展开”，从而生成一些新的、合成的图像。
重新标记（Relabel）： 最后，他们要求负责“展开”过程的计算机观察这些新图像，并猜测它们应该拥有什么样的标签（名称）。

论文的发现：“模糊照片”效应

该论文的作者发现，CIM 揭示了这种旧方法的一个重大缺陷。他们意识到，“挤压”和“恢复”步骤的作用就像一台糟糕的复印机。

信息泄露： 当你将数据挤压进一个模型，然后又试图将其作为图像提取出来时，你会丢失大量的细节。这就像是仅仅通过向一个必须凭记忆绘画的人描述一幅高清晰度画作，然后让他重新画出来。结果会是一个模糊且扭曲的混乱物。
失效的标记器： 由于新图像变得如此扭曲（看起来与原始图像不同），用于“重新标记”的计算机会感到困惑。这就像是要求一位只认识原著书籍的图书管理员去为一张模糊的复印件贴标签。管理员会猜错，给出错误的标签。这破坏了整个学习过程。

新解决方案：CIM（“直接复制粘贴”法）

与其将数据揉皱后再试图展开，作者提出了一种名为 CIM 的新方法。

把 CIM 想象成一个聪明的拼贴画制作师。

挑选最佳页面： CIM 不再试图总结整座图书馆，而是首先从原著中挑选出一组代表最重要信息的、完美的少量页面。
直接对齐： CIM 不再尝试从模型中“恢复”图像，而是直接将原始页面与新的合成拼贴画进行对比。它会询问：“这个新的拼贴画看起来和感觉起来是否与原始页面完全一致？”
填补差距： 它不断调整拼贴画，直到“信息差距”归零。它确保纹理（纸张的纹理）和含义（故事的内容）都能被完美地保留下来。

为什么这很重要

因为 CIM 跳过了混乱的“展开”步骤，所以它不会丢失信息。

速度更快： 作者声称，他们仅需在单个强大的计算机芯片上花费 80 分钟，就能将整个 ImageNet-1K 数据集（一个包含 120 万张图像的庞大集合）浓缩成一小组合成图像。
更聪明： 生成的合成图像质量极高，以至于当学生 AI 学习这些图像时，其表现优于那些使用以往方法生成的图像进行训练的学生。
更灵活： 即使学生 AI 的“大脑结构”（架构）与制作图像的模型不同，该方法依然表现出色。

简而言之

该论文认为，试图通过压缩再解压缩数据来创建训练图像，就像是试图通过先将蛋糕变成液体、冻结、然后再将其融化回来的方式来制作一个完美的蛋糕——你会丢失味道。CIM 跳过了融化和冻结的过程；它只是直接提取原始蛋糕中最好的食材，并将它们直接排列成一个新的、完美的、微小的蛋糕，且味道完全相同。

技术摘要：以最小信息损失直接压缩大规模数据集 (CIM)

1. 问题陈述

数据集蒸馏 (Dataset Distillation, DD) 旨在将大规模训练数据集压缩为小型合成集，同时保持泛化性能。近期针对大规模数据集（如 ImageNet-1K）的最先进 (SOTA) 方法（例如 SRe2L）依赖于信息提取流水线，该方法采用解耦的三阶段过程：挤压 (Squeeze)（将数据编码进预训练模型）、恢复 (Recover)（将模型参数反向映射回图像空间）以及重标记 (Relabel)（使用预训练模型重新分配标签）。

作者指出了这些基于提取的方法中的两个关键瓶颈：

极高的计算开销： “恢复”阶段需要复杂的迭代优化来反转模型参数，导致高昂的时间和内存成本。
较差的跨架构泛化能力： 蒸馏出的图像往往表现出针对特定网络定制的、不真实的纹理或语义。
根本原因： 作者认为，这种隐式的双重压缩过程（数据 $\to$ 模型 $\to$ 图像）本质上会导致严重的信息损失。这种损失造成了原始数据与合成数据之间的分布偏移 (Distribution Shift)。因此，广泛采用的重标记 (Relabel) 策略变得不再可靠；由于预训练模型是在原始分布上训练的，它在面对发生偏移的合成样本时会成为一个“不可靠的标记器”，从而产生次优的标签并损害性能。

2. 方法论：CIM 框架

为了解决这些问题，作者提出了 CIM (Condensing Information with Minimal loss，以最小损失压缩信息)，这是一个全新的、由指标驱动的框架，它放弃了存在缺陷的双重压缩范式。CIM 不再通过将数据挤压进模型再进行恢复，而是直接最小化原始数据集与蒸馏数据集之间的信息差距。

核心概念

有效信息差距 (Effective Information Gap)： 作者将样本的有效信息定义为一组观察者（例如，在各种变换下的预训练模型）所提取特征的分布。他们利用 KL 散度定义了原始样本 $x_i$ 与蒸馏样本 $\tilde{x}_j$ 之间的成对有效信息差距 ( $I_G$ )。
理论界限： 由于直接估计 KL 散度是难以处理的，作者推导出了一个定理，通过观察者组提取的特征向量之间的期望欧氏距离来界定信息差距。
优化目标： 蒸馏过程旨在最小化一组 $N$ 张原始图像与单张蒸馏图像 $\tilde{x}_j$ 之间的期望特征距离，其中原始图像通过随机裁剪和变换进行增强：
$\mathcal{L} = \mathbb{E}_{(\xi_k \sim \mathcal{G})} \left\| \zeta_k \circ \phi_{\theta_T}(x_i) - \zeta_k \circ \phi_{\theta_T}(\tilde{x}_j^{(i)}) \right\|^2$
其中 $\phi_{\theta_T}$ 是预训练的观察者模型， $\zeta_k$ 代表变换。

关键技术组件

直接对齐 (Direct Alignment)： CIM 显式地对齐原始数据集与蒸馏数据集的数据分布，确保高保真度的信息保留，无需经过中间的“恢复”步骤。
语义与纹理平衡： 为了防止在对齐深层语义特征时丢失纹理细节（这是对齐深层特征时的常见问题），CIM 利用中间层模型特征而非最终的 Logits 进行对齐目标计算。
改进的重标记 (Improved Relabeling)： 不同于标准的单次标记，CIM 采用了变换感知软标签 (Transformation-aware Soft Labeling) 策略。它基于蒸馏图像的多个变换视图生成软标签，从而提供更多样化且鲁棒的知识注入。
子集选择 (Subset Selection)： CIM 采用了子集选择机制（默认为 RDED），以识别原始数据集中那些能被预训练模型最准确重标记的关键样本，从而确保蒸馏集从高质量且具有代表性的数据开始。

3. 主要贡献

理论洞察： 本文严谨地揭示了现有基于提取的方法中的双重压缩过程会导致严重的信息损失和分布偏移，这从根本上削弱了重标记 (Relabel) 策略的有效性。
新颖框架 (CIM)： 一种指标驱动的方法，能够显式量化并最小化原始数据集与蒸馏数据集之间的信息差距，消除了对高计算成本恢复过程的需求。
最先进的性能 (SOTA)： 大量实验证明，CIM 在各种规模和架构下均建立了新的 SOTA 标准。
- ImageNet-1K (IPC=10)： 在单块 RTX-4090 GPU 上仅用 80 分钟 即可在 ResNet-18 上达到 48.7% 的 Top-1 准确率。
- 提升幅度： 优于之前的 SOTA 方法，如 NRR-DD (+2.6%) 和 DELT (+2.9%)。
- 泛化能力： 展示了卓越的跨架构泛化能力，在多种骨干网络（ResNet, ViT, MobileNet 等）上均保持高性能。
高效性： 通过避免迭代恢复阶段，CIM 显著降低了与基于优化的基准方法相比的计算开销和内存占用，同时保持或超越了它们的性能。

4. 实验结果

小规模数据集： 在不同的 IPC 设置 (1, 10, 50) 和各种架构 (ConvNet, ResNet-18, ResNet-50) 下，CIM 在 CIFAR-10 和 CIFAR-100 上均优于基准方法 (SRe2L, G-VBSM, RDED 等)。
大规模数据集： 在 Tiny-ImageNet 和 ImageNet-1K 上，CIM 达到了最高的准确率。值得注意的是，在 IPC=10 的 ImageNet-1K 上，它达到了 48.7% 的准确率，相比 DELT 的 46.1% 和 NRR-DD 的 45.8% 有了显著飞跃。
跨架构泛化： 当在 ResNet-18 上进行蒸馏并在未见的架构（如 EfficientNet-B0, ViT-T/16）上进行测试时，CIM 始终优于其他方法，验证了其保留语义和纹理信息的能力。
持续学习 (Continual Learning)： 在 5 步类增量学习设置中，CIM 显著优于 SRe2L，证明了其高保真合成数据在防止灾难性遗忘方面的效用。
消融实验： 作者验证了：
- 中间层特征对齐（中间层）在语义和纹理之间取得了最佳平衡。
- 将 4 张原始图像 ( $N=4$ ) 压缩为 1 张蒸馏图像提供了最优的权衡。
- 该框架对于压缩迭代次数 ( $M$ ) 和子集选择策略具有鲁棒性。

5. 意义与主张

本文声称 CIM 代表了数据集蒸馏的一次范式转移。通过远离本质上会降解信息的“挤压-恢复 (Squeeze-Recover)”启发式方法，CIM 直接解决了性能瓶颈的根源：信息损失与分布偏移。

作者强调，他们的方法：

恢复了可靠性： 通过确保分布的接近性，使重标记 (Relabel) 策略能够按预期发挥作用，使预训练模型重新成为可靠的标记器。
可扩展性： 它使得在单块 GPU 上以空前的速度（80 分钟）和效率完成大规模数据集（ImageNet-1K）的蒸馏成为可能。
泛化性： 它生成的合成数据集在不同网络架构下都是鲁棒的，解决了以往基于提取的方法的一个主要局限。

研究结论指出，直接最小化信息差距是解锁适用于大规模应用的高保真、高效且具泛化性的数据集蒸馏的关键。