💻 computer science

Dataset Distillation by Influence Matching

本文介绍了影响匹配（Influence Matching, Inf-Match），这是一种通过一种新颖且高效的全微分样本级影响估计器，将合成数据集的最终训练结果与全量数据集进行对齐，从而学习紧凑型合成数据集的数据集蒸馏方法，在图像分类和视觉-语言检索基准测试中均实现了最先进的性能。

原作者： Haoru Tan, Wang Wang, Sitong Wu, Xiuzhe Wu, Yangtian Sun, Chirui Chang, Shaofeng Zhang, Xiaojuan Qi

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoru Tan, Wang Wang, Sitong Wu, Xiuzhe Wu, Yangtian Sun, Chirui Chang, Shaofeng Zhang, Xiaojuan Qi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何识别动物，而你有一个包含数百万本书（图像）的图书馆可以作为它的教科书。虽然这个庞大的图书馆能帮助机器人完美地学习，但携带、存储或发送给其他机器人却是一场噩梦。这就是**数据集蒸馏（dataset distillation）**的世界，这是一个致力于将这些巨大的图书馆缩减为微小的、口袋大小的摘要，且该摘要仍能教会机器人所需的一切知识的计算机科学领域。

长期以来，科学家们一直试图通过观察学习的过程来解决这个问题。他们认为：“如果我们能让这个微小的摘要复制机器人学习时的精确步骤、错误和日常作业，那么机器人就能学到同样的东西。”这就像是试图通过强迫某人模仿大师的每一个手指动作来教他弹钢琴，希望最后奏出的音乐是正确的。但有时，即使手指动作完全匹配，音乐听起来却很糟糕。研究人员一直在问的一个大问题是：我们能否跳过对步骤的模仿，转而关注结果？我们能否创造一个微小的摘要，确保无论机器人的学习路径如何，它最终获得的“大脑”（最终知识）都与学习了整个图书馆库后的效果完全一致？

这正是论文《通过影响匹配进行数据集蒸馏》（Dataset Distillation by Influence Matching，简称 Inf-Match）所解决的问题。来自香港大学、香港中文大学和斯坦福大学的研究团队作者认为，我们不应该再试图复制机器人的日常训练流程，而应该开始匹配最终结果。他们引入了一种巧妙的新方法，称为影响匹配（Influence Matching）。

把旧的方法想象成试图通过记录厨师每一次切菜、搅拌和调温的过程来复制一份食谱。如果你漏掉了一个微小的搅拌动作，蛋糕可能就会失败。新方法 Inf-Match 则更像是问道：“如果我从蛋糕中去掉这种特定的成分，味道会发生多大的变化？”以及“如果我加入这种新成分，风味会如何转变？”通过精确测量每一份数据在特定方向上如何“推动”机器人的大脑，该团队创造了一个微小的合成数据集，它能施加与庞大原始库完全相同的总“推力”。

为了实现这一点，他们发明了一个特殊的数学工具——“影响估计器（influence estimator）”，它就像一个超快速的计算器。这个工具不需要通过重新训练机器人数千次来观察移除一张照片后会发生什么（否则会耗时极长），而是使用一种捷径来即时预测变化。这就像拥有一个水晶球，能告诉你：“如果我把这张猫的照片换成一张狗的照片，机器人的大脑会偏移多少。”

实验结果令人印象深刻。当他们在 CIFAR-10、CIFAR-100 和具有挑战性的 Tiny-ImageNet 等标准图像数据集上进行测试时，他们的方法始终优于之前的最佳技术。例如，在 Tiny-ImageNet 数据集上，每类仅使用 10 张合成图像的情况下，Inf-Match 达到了 31.5% 的准确率，比之前的顶尖方法（NCFM）提高了 4.7%。他们还在一个视觉-语言任务（将图像与文本匹配）上测试了 Flickr30K 数据集，其方法平均超越了强基准模型 2.5%。

该论文指出，通过专注于最终的“影响”而非中间步骤，我们可以创造出更有效的小型数据集。作者展示了他们的方法在不同类型的神经网络中表现良好，甚至可以扩展到涉及图像和文本的复杂任务。虽然他们并未声称解决了 AI 的所有问题，但他们的实验有力地表明，匹配最终结果比尝试逐步复制训练过程是实现高效数据压缩更可靠的路径。简而言之，他们找到了一种在缩小图书馆规模的同时，又不丢失故事内容的方法。

技术摘要：通过影响匹配进行数据集蒸馏

问题陈述

现代深度学习依赖于大规模数据集，这造成了存储、传输和训练方面的极高成本。**数据集蒸馏（Dataset Distillation）**旨在通过合成一个紧凑且信息量丰富的合成数据集，来封装原始大规模数据集中的知识。

现有的方法主要依赖于过程对齐（Process Alignment），即优化合成数据以模仿真实数据的中间训练动态（例如每步梯度或训练轨迹）。虽然梯度匹配（GM）和轨迹匹配（MTM）等方法取得了成功，但它们存在一个根本性的局限：匹配中间过程并不能保证匹配最终结果（收敛的模型参数）。这产生了一个优化差距，即合成数据可能完美地复现了训练轨迹，却无法达到相当的下游性能或泛化能力。此外，现有量化数据影响的方法通常依赖于计算成本极高的逆海森矩阵（Inverse-Hessian）计算以及在深度神经网络中并不成立的严格凸性假设。

方法论：影响匹配 (Inf-Match)

作者提出了影响匹配（Influence Matching, Inf-Match），这是一个将优化目标从过程对齐转向**结果对齐（Outcome Alignment）**的框架。Inf-Match 不再是模仿训练步骤，而是学习一个合成集，使其对最终收敛参数的影响与全量数据集的影响相匹配。

1. 可微样本影响估计器

其核心创新是一个完全可微的样本级影响估计器，用于量化添加或删除数据如何改变最终的模型参数。

机制： 该估计器展开优化动态（SGD 轨迹）并应用一阶泰勒近似。
效率： 它避免了逆海森矩阵乘法和凸性假设，通过利用有限差分近似海森矩阵-梯度乘积，实现了线性时间复杂度（ $O(p)$ ，其中 $p$ 为参数数量）。
理论保证： 论文提供了一个估计误差的理论上界，表明误差随训练步数 $T$ 呈多项式增长（优于误差呈指数级增长的先前估计器），并受损失函数的 Lipschitz 常数和梯度范数控制。

2. 优化目标

数据集蒸馏问题被表述为最小化真实数据集的影响与合成数据集影响之间的不匹配。

目标： 最小化总参数偏移量： $\| I_{-D} + I_{+S} \|$ ，其中 $I_{-D}$ 是移除真实数据集 $D$ 的影响， $I_{+S}$ 是添加合成数据集 $S$ 的影响。
公式化： 通过代入影响估计器，该目标变成了一个可微的损失函数，用于将基于 $S$ 训练的最终模型参数与基于 $D$ 训练的参数进行对齐，而无需在蒸馏循环期间实际在 $S$ 上重新训练模型。

3. 算法流程

初始化： 使用来自 $D$ 的真实图像初始化合成集 $S$ （遵循每类图像数，IPC，设置），并使用在 $D$ 上训练的模型生成的软标签。
轨迹采样： 在 $D$ 上训练一个基础模型以记录轨迹检查点。在蒸馏过程中，采样这些检查点的一个子集以估计影响。
优化： 通过梯度下降更新合成图像和软标签，以最小化影响不匹配损失（公式 7）。使用来自 $D$ 和 $S$ 的小批量数据来高效估计海森矩阵和梯度。
渐进式采样： 采用时间步选择调度，最初采样早期检查点以捕捉基本模式，随后转向后期检查点以编码细粒度结构。

核心贡献

以结果为中心的范式： 论文将数据集蒸馏从启发式的过程匹配重新定义为严谨的结果匹配，直接针对最终的模型状态而非中间动态。
高效的影响估计器： 引入了一种可扩展的、可微的影响估计器，它能在线性时间内运行，消除了对逆海森矩阵计算和凸性假设的需求，使其适用于深度神经网络。
最先进的性能（SOTA）： 该方法在标准分类和视觉-语言任务中建立了新的基准，证明了结果对齐比过程对齐具有更优的泛化性能。

实验结果

作者在图像分类（CIFAR-10, CIFAR-100, Tiny-ImageNet）和视觉-语言任务（Flickr30K）上评估了 Inf-Match。

图像分类：
- Tiny-ImageNet (IPC=10)： Inf-Match 达到了 31.5% 的准确率，比之前的最优方法 (NCFM) 提升了 +4.7%。
- CIFAR-100 (IPC=50)： 达到了 57.4% 的准确率，分别超过 NCFM 2.7% 和 DATM 2.4%。
- 跨架构泛化： 由 Inf-Match 生成的合成数据在测试多种架构（ResNet, VGG, AlexNet）时，一致优于基线方法（MTT, DATM），表明其具有鲁棒的泛化能力。
视觉-语言 (Flickr30K)：
- 在 200 个合成样本的图像到文本检索任务中，Inf-Match 达到了 7.4% 的 Recall@1，超过 DATM 1.3%。
- 在 1000 个样本下，文本到图像检索达到了 16.4%，领先所有基线方法。
消融实验： 研究证实，真实数据初始化、可学习软标签和渐进式时间步采样的结合，对最终性能产生了协同作用。
特征空间分析： 可视化表明，不同于将样本集中在高密度区域的分布匹配（DM）方法，Inf-Match 生成的样本能有效地同时占据高密度区域和分布边缘，从而实现更平衡的表示。

意义与主张

论文声称 影响匹配（Influence Matching） 代表了数据集蒸馏的一次根本性转变。通过直接量化并匹配数据对最终模型参数的影响，该方法弥合了过程匹配方法中固有的优化差距。

作者断言，他们的方法提供了一种原则性的方式来进行数据集蒸馏，而不依赖于脆弱的启发式方法或计算上难以实现的假设。结果表明，匹配“结果”（最终参数偏移）是生成高质量合成数据集更可靠的目标，从而在多种数据集和压缩率下实现了最先进的性能。这项工作将结果对齐定位为实现可扩展且有效的数据集蒸馏的下一个逻辑阶段。