想象一下，你正在试图教一名学生如何识别不同的动物。你拥有一个包含 140 万张照片的庞大图书馆（“全量数据集”）。但出于实际原因，你只能给这个学生一本只有每种动物 50 张照片的小笔记本进行学习。
这篇论文提出了一个简单但至关重要的问题：最好的填满这本小笔记本的方法是什么？
这里有两种主要的思路：
- “策展人”方法（核心集选择/Coreset Selection）： 你浏览百万张照片，挑选出 50 张最能完美代表该动物的真实照片。你只是在挑选现有的图像。
- “艺术家”方法（数据集蒸馏/Dataset Distillation）： 你不只是挑选照片；你使用一个强大的 AI 艺术家从头开始绘制 50 张全新的、合成的图像。其理念在于，这些 AI 绘制的照片是“完美”的范例，包含了所有必要的关键信息并进行了压缩形式呈现。
长期以来，“艺术家”方法（数据集蒸馏）一直是备受追捧的高科技解决方案。人们曾认为，因为这些 AI 绘制的图像是“合成”的且经过了优化，所以它们必然比仅仅挑选真实照片更好。
该论文的大发现：
Dolby 实验室的研究人员决定对此进行实测。他们进行了一场大规模、公平的对比实验，遵循标准化规则（不使用特殊的训练技巧来作弊），以观察究竟谁才是赢家。
以下是他们发现的结果，通过简单的解释呈现如下：
1. “艺术家”被高估了
当他们将 AI 绘制的照片与精心挑选的真实照片进行对比测试时，真实照片（策展人）通常胜出。
- 结果： 在大型、困难的数据集（如 ImageNet-1K）上，AI 绘制的集合表现往往比随机挑选的真实照片更差，更不用说比精心挑选的最佳真实照片了。
- 陷阱： 只有当研究人员在训练过程中使用特殊的“作弊码”（例如使用第二个 AI 老师来提供提示）时，“艺术家”方法才似乎能获胜。当他们移除这些“作弊码”，仅让学生从照片中自主学习时，AI 绘制的集合就落后了。
2. “艺术家”既昂贵又缓慢
把“艺术家”方法想象成为每一位学生聘请一位大师级画家来创作杰作。
- 核心集（策展人）： 你只需走进图书馆，挑出 50 本好书交给他们即可。这很快。
- 蒸馏（艺术家）： 你必须训练一个庞大的 AI 模型数天，然后运行它来生成图像。这需要消耗数百倍于常人的计算能力和时间。
- 结论： 论文发现，“艺术家”方法耗费了巨额的时间和精力，然而它们甚至往往无法产生比简单的“策展人”方法更好的结果。
3. “艺术家”的照片看起来太相似了
研究人员观察了实际的图像，以了解发生了什么。
- 策展人的笔记本： 被选中的真实照片展示了来自不同角度、不同光线、不同背景下的老鹰。这是一个多样化、丰富的收藏。
- 艺术家的笔记本： AI 绘制的照片往往看起来像彼此的克隆。它们展示了老鹰在完全相同的姿势、相同的背景下的样子，一遍又一遍。
- 为什么这很重要： 因为 AI 绘制的照片缺乏多样性（diversity），学生无法学会识别在不同情况下的动物。他们只是记住了某一个特定的“典型”视图。
核心结论
该论文认为，业界过度炒作了“艺术家”方法（数据集蒸馏）。
- 如果你追求效率： 直接挑选最好的真实样本即可（核心集选择）。它更便宜、更快，而且通常更准确。
- 如果你想比较新方法： 你不能只与其他“艺术家”方法进行比较。你必须与“策展人”方法进行比较。如果一种新的 AI 绘画技术无法击败一份简单的真实照片列表，那么它实际上并没有用处。
简而言之： 论文建议，当我们已经拥有一个巨大的真实数据图书馆时，不要再试图从头开始“合成”完美的数据。有时候，最好的学习方式就是挑选出最好的真实范例，而不是试图发明新的范例。
技术总结：重新审视用于分类任务的数据集蒸馏
问题陈述
数据集蒸馏 (Dataset Distillation, DD) 旨在合成紧凑的合成训练集，以保留在大型原始数据集上训练模型的泛化性能。尽管该领域在以数据为中心的机器学习中具有前景，但仍面临两个关键挑战：
- 评估协议不一致： DD 方法通常使用不同的流水线进行评估（例如，标准的经验风险最小化与单/多教师软标签监督）。这使得人们难以区分性能提升究竟源于蒸馏数据的质量，还是源于特定的评估设计选择。
- 对核心集 (Coresets) 的优越性缺乏实证支持： 许多 DD 方法声称其性能优于核心集选择 (Coreset Selection, CS)——即从真实数据中选择子集——其理由是限制压缩数据为真实样本会限制表达能力。然而，这些说法往往缺乏在标准化协议下，特别是在大规模数据集上，针对强 CS 基准模型的系统性比较。
此外，许多 DD 方法依赖于在全量数据集上预训练的生成模型，这限制了其在生成模型不可用的领域中的可扩展性和适用性。
方法论
作者进行了一项大规模、系统性的基准测试研究，旨在将 DD 的内在有效性与其评估伪影解耦，并严格比较 DD 与 CS。
实验设计
- 数据集： 实验在 ImageNet-1K（1,000 类）、ImageNet-100（100 类）和 ImageNette（10 类）上进行。
- 对比方法：
- DD 方法 (7 种 SOTA)： 研究涵盖了三类：
- 基于生成式训练的方法： VLCP、D3HR、Minimax（需要微调生成模型）。
- 无需生成式训练的方法： DiT-Distillation、MGD、ManifoldGD（使用带有引导采样的预训练生成模型）。
- 非生成式/解耦方法： FADRM+（通过数据残差匹配优化样本）。
- CS 方法 (3 种策略)：
- 随机采样： 一个简单的类内基准。
- AUM (累积边际)： 基于在全量数据集上训练的模型所表现出的训练动态（边际）来对样本进行评分。
- 概念引导的 CS： 使用基于 LLM 的概念瓶颈来估计样本重要性，而无需进行全量数据集训练。
- 评估协议： 为了测试对监督信号的敏感性，使用了三种协议：
- 硬标签 (Hard Label)： 模型直接在压缩集上使用原始标签进行训练（无教师）。
- 单教师软标签 (RDED)： 使用一个预训练教师生成软标签进行知识蒸馏。
- 多教师软标签 (EDC)： 使用多个教师以及混合监督（软标签 + 硬标签）。
- 指标： 除了准确率外，研究还评估了 代表性（覆盖原始分布的能力）、多样性（压缩集内的冗余度）和 构建成本（时间与计算资源）。
核心贡献
- 系统性基准测试： 本文提供了首个在统一数据集和评估协议下，将七种 SOTA DD 方法与三种 CS 策略进行全面比较的研究。
- 协议敏感性分析： 研究表明，DD 的性能与评估流水线高度纠缠，没有任何一种 DD 方法能在所有协议和数据集下始终优于其他方法。
- 对 DD vs. CS 的重新评估： 该研究挑战了“DD 本质上优于 CS”的叙事，表明 CS 方法通常能达到或超过 DD 的性能，尤其是在大规模数据集上。
- 多维度质量评估： 作者引入了一个更广泛的评估框架，包括代表性、多样性和构建成本，揭示了 CS 方法通常能提供更好的分布覆盖和效率。
结果
准确率表现
- 大规模数据集 (ImageNet-1K/100)： 在 硬标签 协议下，CS 方法（特别是 AUM 和 Concepts）始终能匹配或显著超越 SOTA DD 方法。例如，在 ImageNet-1K 且每类 10 张图像 (10 IPC) 的情况下，AUM 在 ResNet-18 上比最佳 DD 方法高出 3.3%，在 ResNet-50 上高出 4.8%。
- 软标签协议： 即使在使用单教师或多教师软标签（在这种情况下 DD 通常会获得优势）时，CS 方法依然极具竞争力，经常能匹配或超越 DD 的性能。
- 小规模数据集 (ImageNette)： DD 方法在 ImageNette 上表现良好，有时能超越 CS。然而，作者指出，“最佳” DD 方法会随协议而变化，这凸显了 DD 排名的不稳定，而 CS 则更为稳健。
- 随机基准： 几种 DD 方法甚至无法超越简单的真实数据随机子集，特别是在硬标签评估下。
效率与质量
- 构建成本： CS 方法相对于 IPC（每类图像数）表现出 常数级时间复杂度，而 DD 方法（尤其是生成式方法）则随 IPC 线性 增长。基于训练的 DD 方法由于生成模型的训练/微调而产生了巨大的成本。
- 代表性与多样性： CS 方法（特别是 AUM）实现了更优的权衡，占据了指标空间中高代表性和高多样性的区域。DD 方法倾向于集中在较窄的视觉模式上，导致较低的多样性和较高的冗余度。
- 视觉质量： 定性分析显示，CS 子集（AUM）捕捉到了多样化的姿态、视角和背景。相比之下，DD 集往往表现出重复的规范视图、伪影和不自然的纹理。
重要性与主张
本文认为，目前数据集蒸馏取得的成功需要重新评估。作者主张：
- CS 是必要的基准： 未来的 DD 研究必须包含强大的 CS 基准（如 AUM），以避免将特定于评估的增益误解为内在的数据效率。
- 标准化评估至关重要： 该领域必须采用标准化的协议，包括硬标签评估，以公平地评估蒸馏数据的真实效用。
- 实际效率： 对于大规模以数据为中心的学习，核心集选择 (Coreset Selection) 仍然是一个比当前 DD 方法更高效、更具可扩展性且更稳健的替代方案，它能以显著更低的构建成本提供相当甚至更优的准确率和更好的分布覆盖。
作者总结道，虽然 DD 在小型、易分离的数据集上展现出潜力，但在其处理大规模基准测试时，其实际优势会减弱，此时 CS 提供了一个更高效且更可靠的解决方案。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。