🤖 machine learning

Distill on a Diet: Efficient Knowledge Distillation via Learnable Data Pruning

该论文提出了 IF-Beta，一种高效的知识蒸馏框架，它利用影响函数和一种可学习的基于 Beta 分布的采样策略来优化数据剪枝，使得在显著减少的数据和计算量下训练的学生模型，能够超越在全量数据集上进行蒸馏的模型。

原作者： Yifan Wu, Yiqi Wang, Xichen Ye, Wenjing Yan, Xiaoqiang Li, Cheng Jin, Xiangyu Yue, Weizhong Zhang

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifan Wu, Yiqi Wang, Xichen Ye, Wenjing Yan, Xiaoqiang Li, Cheng Jin, Xiangyu Yue, Weizhong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：用“饮食控制”来教导学生

想象一下，你是一位大师级厨师（教师模型），正试图教导一名学徒（学生模型）如何烹饪出一道完美的菜肴。通常情况下，为了教好学徒，你需要让他们练习你那本厚重食谱中的每一道菜谱。这不仅耗时极长，而且会消耗大量的燃料（计算能力），让人精疲力竭。

**知识蒸馏（Knowledge Distillation, KD）**就是大师引导学徒的过程。目标是让学徒变得足够优秀，能够做得几乎和大师一样好，但速度更快，且使用的设备更少。

然而，这篇论文指出一个问题：尽管最终的学徒模型很小且高效，但在训练过程中仍然非常庞大，因为学徒必须阅读整本食谱。作者们问道：“如果我们能只给学徒一份精心挑选的、最重要的‘食谱饮食’，他们能否学得同样好，但更快、更省力？”

这就是**“以饮食进行蒸馏”（Distill on a Diet）**的核心思想。

现有方法的问题

在这篇论文之前，人们尝试通过两种主要方法来为学徒挑选“最佳”食谱，但这两种方法都有缺陷：

“重新训练”法： 为了知道哪些食谱难或易，你必须先看着学徒把整本书做一遍。这违背了节省时间的初衷！这就像是雇佣一名侦探，盯着学徒看了一个月，仅仅是为了搞清楚该给他们看哪些食谱。
“经验法则”法： 有些人只是使用简单的规则，比如“挑选难度适中的食谱”。但这种方法很僵化。有时候“中间难度”的食谱并不一定是最好的；有时候你需要的是极易和极难食谱的混合。这就像是一个死板的饮食计划，不管你的身体实际需要什么，它都只按部就班。

解决方案：IF-Beta

作者提出了一种名为 IF-Beta 的新系统。它结合了两个聪明的想法，可以在不需要预先重新训练模型的情况下，挑选出完美的“饮食”。

1. “影响函数”（水晶球）

想象你有一个水晶球，它能告诉你：“如果我们把食谱中的这一道特定菜谱拿掉，学徒的厨艺会变差还是变好？”

在论文中，这被称为影响函数（Influence Function, IF）。

旧方法： 这个水晶球通常是坏的，或者使用成本太高。
新方法： 作者找到了一种让这个水晶球高效运作的方法。他们使用了**平坦验证极小值（Flat Validation Minima, FVM）**技术。你可以把它理解为“磨练”教师的直觉。通过让教师知识的景观（landscape）变得更“平坦”且更稳定，水晶球可以准确预测哪些数据点真正重要，而无需先观察学徒在挣扎中学习的过程。

2. “Beta 策略”（灵活的厨师）

一旦你知道哪些食谱是重要的（通过水晶球），该如何挑选它们呢？

旧方法： 使用一把僵硬的尺子。“取前 10% 最难的”或“取分数在 5 到 7 之间的所有内容”。这就像是一个饮食计划说“每天吃且仅吃 3 个苹果和 2 根香蕉”，完全不顾你是否饥饿。
新方法： 作者使用了一个 Beta 策略。想象一个灵活、有弹性的网，它可以改变形状。它不再使用僵硬的尺子，而是学习如何捕捉最佳数据的“完美形状”。它可以拉伸以捕捉大部分困难样本，或者大部分简单样本，或者根据特定的教师和学生需求，捕捉一个完美的混合比例。这是一个“可学习”的饮食方案，能适应各种情况。

它是如何工作的（“双层”舞步）

该系统通过两步舞步来寻找完美的饮食：

内环（练习）： 系统快速模拟学徒在少量临时数据（即“饮食”）上的学习过程。为了实现超高速运行，它不会训练一个全新的大脑，而是在教师冻结的知识之上，只训练一个简单的“线性头”（就像是一个快速的心理笔记）。
外环（教练）： 系统检查学徒在这份临时饮食上的表现。如果饮食很好，那么“教练”（Beta 策略）就会调整“网”的形状，以便下次捕捉到更好的数据。如果饮食不好，教练就会重新塑造这张网。

这个过程运行得非常快，使得系统能够在没有沉重训练成本的情况下，找到最优的数据子集。

结果：食量更少，厨艺更精

论文在著名的图像数据集（如 CIFAR 和 ImageNet）上测试了该方法。结果令人惊讶：

优于全量数据： 在许多情况下，仅使用 50% 到 70% 数据（使用 IF-Beta 饮食）训练出的学徒，其表现甚至比使用 100% 数据训练出的学徒更好。
更快、更便宜： 由于使用了更少的数据，训练所需的时间和计算能力显著降低。
击败竞争对手： IF-Beta 击败了所有其他方法，包括那些需要昂贵重新训练或依赖僵化规则的方法。

核心启示

这篇论文认为，数据的质量比数量更重要。就像人类可以通过少数高质量的导师和范例，比读完图书馆里所有的书更快地掌握一项技能一样，机器学习模型如果能对其训练数据进行精心策划，也能学得更好。

作者称之为**“以饮食进行蒸馏”（Distill on a Diet）**，因为他们是在给学生模型喂食一份更小、营养更丰富且经过精心挑选的“数据分量”，从而让它比被强行喂食整个数据集时成长得更强壮、更快。

技术摘要：节食蒸馏：通过可学习数据剪枝实现高效知识蒸馏

问题陈述

知识蒸馏（Knowledge Distillation, KD）是将大型教师模型压缩为紧凑型学生模型的标准技术，用于实现高效推理。然而，训练过程本身仍然计算成本高昂，因为学生模型通常是在整个数据集的指导下进行蒸馏的。虽然数据剪枝（选择训练样本的子集）为降低这一成本提供了一条充满前景的途径，但现有的方法在 KD 背景下面临两个关键障碍：

评分估计中的效率与有效性权衡： 高保真度指标（如 EL2N、Forgetting 或 AUM）依赖于训练动态（例如每轮预测），而当仅提供预训练教师时，这些动态是不可用的。计算这些分数需要对教师进行昂贵的重新训练，这抵消了剪枝带来的效率增益。相反，简单的指标（如交叉熵损失 CE）虽然计算成本低，但并不可靠，因为过度参数化的网络可能会过拟合困难或标注错误的样本，导致其损失值较低，无法反映真实的样本难度。
僵化且次优的采样： 现有的剪枝策略通常依赖于固定的启发式规则（例如 top-k 选择、带有固定截断值的分层采样或滑动窗口）。这些僵化的规则无法适应不同 KD 设置中特定的数据分布和教师-学生动态，从而导致次优的子集选择。

方法论：IF-Beta

作者提出了 IF-Beta，这是一个将影响函数（Influence Functions, IF）与可学习的概率采样策略相结合的框架，旨在解决上述挑战。

1. 作为事后估计器的影响函数 (IF)

为了避免重新训练，本文利用影响函数直接从预训练教师中估计样本重要性。

平坦验证极小值 (Flat Validation Minima, FVM)： 为了在深度网络中稳定 IF 估计，作者使用锐度感知最小化 (SAM) 在验证集上对预训练教师进行微调。这强制了损失景观中的局部平坦性，与标准的 IF 方法相比，显著提高了影响估计的可靠性。
分数计算： 训练样本 $z_{tr}$ 对验证集的影响是通过计算损失相对于微调后的教师参数的梯度以及逆海森矩阵（通过高效的对角 Fisher 信息矩阵进行近似）来估算的。这产生了一个分数，其中较低的值表示更困难/更有信息的样本。

2. 可学习的 Beta 策略

不同于固定的启发式选择，IF-Beta 引入了一个由 Beta 分布参数化的 Beta 策略。

自适应采样： 给定映射到 $[0, 1]$ 的归一化影响分数，每个样本的选择概率由 Beta 分布 $Beta(\alpha(\phi), \beta(\phi))$ 进行建模。参数 $\alpha$ 和 $\beta$ 由可学习参数 $\phi$ 控制，使策略能够调整其形状（例如，专注于困难样本、简单样本或特定的窗口），以适应特定的 KD 任务。
双层优化 (Bilevel Optimization)： 策略参数 $\phi$ $ϕ$ 的优化被公式化为一个双层问题：
- 内层循环： 在由当前策略采样的子集上训练学生模型（具体为冻结教师特征上的线性分类器），以最小化 KD 损失。
- 外层循环： 更新 $\phi$ ，以最大化在采样子集上训练的学生模型的验证性能。
高效代理： 为了使双层优化变得可行，内层循环并不重新训练完整的神经网络。相反，它优化一个附加在冻结教师特征上的轻量级线性分类器。这种“代理学生”公式以极低的计算成本捕捉了 KD 动态。

核心贡献

用于 KD 的 IF： 本文证明了通过平坦验证极小值进行稳定的影响函数，可以作为一种有效且高效的事后分数估计器，消除了通过轨迹度量进行 KD 所需的昂贵教师重训练过程。
可学习的 Beta 策略： 作者引入了一个用于数据剪枝的参数化 Beta 分布，通过双层优化学习自适应采样分布，克服了固定启发式规则（如 top-k 或固定窗口）的僵化性。
高效的双层优化： 通过将内层循环公式化为冻结特征上的线性分类器，该框架实现了高效的剪枝策略优化，而无需在搜索阶段承担全量学生模型重训练的巨大成本。

实验结果

在 CIFAR-10、CIFAR-100 和 ImageNet 上针对各种教师-学生架构（ResNet、WideResNet、ViT）进行的广泛实验表明：

卓越的性能： IF-Beta 在各种剪枝比例下始终优于基准方法（包括无需重训练的方法如 Medium-Difficulty 和基于重训练的方法如 DUAL）。
超越全量数据蒸馏： 值得注意的是，使用显著更少的数据和计算量训练出的学生模型，其性能竟然超过了在全量数据集上进行蒸馏的学生模型。例如，在 CIFAR-10 上，仅保留 70% 的数据即可达到 95.69% 的准确率，而全量数据蒸馏为 95.50%。
计算效率： 即使考虑到剪枝过程的成本，IF-Beta 也能以显著更短的时间达到全量数据蒸馏的性能（例如，在 CIFAR-10 上为 0.806x 的成本）。
泛化能力： 该方法可推广到非 KD 的标准监督学习设置以及各种 KD 目标（关系蒸馏 Relational、FitNets、注意力转移 Attention Transfer），证明了数据子集的质量是一个独立于特定蒸馏算法的关键因素。

意义与主张

本文认为，训练数据的质量往往比蒸馏算法的具体细节更为关键。通过高效地识别并选择最有信息的样本，IF-Beta 将数据策展 (Data Curation) 定位为一个原则性且实用的手段，用以提升现代训练流水线的效率和有效性。这项工作表明，“节食蒸馏”（即使用精心剪枝的子集而非完整数据集）可以产生更好的泛化性能和更低的计算成本，挑战了“更多数据总是等同于更好蒸馏结果”的假设。