🤖 machine learning

RCAP: Robust, Class-Aware, Probabilistic Dynamic Dataset Pruning

本文介绍了 RCAP，一种鲁棒的、类别感知的、概率性的动态数据集剪枝算法，它能够自适应地选择每个类别中的高损失样本，从而显著提高最差组准确率和训练效率，甚至在仅使用 10% 数据的情况下，在不平衡数据集上的表现也优于全数据训练。

原作者： Atif Hassan, Swanand Khare, Jiaul H. Paik

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Atif Hassan, Swanand Khare, Jiaul H. Paik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图为一个学生辅导一场大规模的期末考试。你拥有一个包含数百万本书的图书馆（即完整的数据集）。传统上，为了获得最好的结果，你会让学生读完每一本书。但这太慢了，不仅耗费大量时间和精力，还会产生巨额的电费，甚至导致学生精疲力竭。

数据剪枝（Data pruning） 的核心思想是：“让我们只挑选最重要的书，把剩下的都扔掉。”其目标是让学生学得一样好，但速度更快、成本更低。

然而，这里有一个陷阱。如果你只是简单地挑选“最难”的书，你可能会无意中忽略了那些学生最需要攻克的罕见且困难的主题。如果学生在这些罕见主题上失利，即使他们在简单题目上表现出色，也会导致整个考试不及格。这就是研究人员所说的缺乏鲁棒性（robustness）。

于是有了 RCAP（鲁棒、类别感知、概率动态数据集剪枝）。你可以把 RCAP 想象成一位超级聪明、具有适应能力的导师，他不会只在开始时制定一份静态的读书清单并固守不变，而是会根据学生的学习进度，每天（每个训练轮次/epoch）调整读书清单。

以下是 RCAP 的工作原理，分为简单的几个步骤：

1. “类别感知”策略（均衡饮食）

想象你的学生正在准备一场包含 100 个不同学科的考试。有些学科很简单（比如“苹果”），而有些则非常难（比如“量子物理学”）。

问题所在： 如果你只是从整堆资料中抓取“最难”的问题，你可能会不小心抓取了 100 个关于“苹果”的问题（因为苹果相关的题目太多了），而一个关于“量子物理学”的问题都没抓到。这样学生会对“苹果”了如指掌，但会因为从未接触过“量子物理学”的问题而在考试中挂科。
RCAP 的解决方案： RCAP 会分别查看每个学科的“得分”（损失值/loss）。如果学生在“量子物理学”方面表现不佳，RCAP 会说：“好吧，对于今天的学习环节，我们需要确保专门为‘量子物理学’挑选一定比例的问题。”它会精确计算每个主题应该保留多少问题，以确保没有任何主题被遗漏。

2. “动态”策略（每日日程表）

大多数其他方法会在开始时选定一份学习清单，然后就再也不改动了。

RCAP 的解决方案： RCAP 是动态的。每天，它都会检查学生的家庭作业情况。
- 如果学生昨天在“量子物理学”上表现很差，RCAP 会增加今天“量子物理学”问题的数量。
- 如果学生在“苹果”这个课题上进展神速，RCAP 可能会减少“苹果”相关问题的数量。
- 它每天都会重新计算这种平衡，确保学习计划随着学生的进步而进化。

3. “概率”策略（抽奖环节）

一旦 RCAP 决定“我们需要 50 道关于量子物理学的问题”，它该如何挑选这 5-0 道题呢？

传统方法： 将所有 1,000 道“量子物理学”问题按难度排序，然后选出前 50 名。这种方法既慢又耗费计算资源。
RCAP 的方法： 它使用了一种“加权抽奖”。它给每道题发一张“彩票”。题目对学生来说越难（“损失值”越高），它获得的彩票就越大。
- 一道非常简单的题目只有一张微小的彩票（被抽中的概率极低）。
- 一道非常难的题目拥有一张巨大的彩票（被抽中的概率很高）。
- RCAP 随后抽取 50 张彩票。这比排序要快得多，但它仍然能保证最难的问题会被最频繁地选中。

4. “鲁棒”的结果（安全网）

论文声称，通过这样做，RCAP 解决了**最差组准确率（Worst-Group Accuracy）**的问题。

在现实世界中，“组”可以是不同类型的数据（例如，猫的照片与狗的照片，或者不同发色的图像）。
其他方法可能会获得很高的“平均分”，但在处理最难的那一组数据时却表现得很糟糕。
RCAP 确保即使是“表现最差”的那一组也能得到足够的关注。论文表明，在处理困难且不平衡的数据集时，RCAP 即使只使用 10% 的数据，其表现实际上优于使用全量数据进行训练的模型。

总结

RCAP 就像一位聪明且具有适应能力的教练，他：

监控学生在每个特定主题上的薄弱环节。
调整每日的学习计划，以重点攻克弱点。
利用快速且公平的抽奖系统，挑选出最难的练习题。

成果：

速度： 它使训练平均提速 8.69 倍。
质量： 它不仅节省了时间，通常还能提高模型处理困难、罕见案例的能力（鲁棒性）。
效率： 它无需额外的计算能力即可实现这一点；它只是利用了模型在正常训练过程中已经计算出的“得分”。

简而言之，RCAP 证明了你不需要读完整个图书馆才能拿到 A。你只需要一位合适的导师，在正确的时间为你挑选正确的书。

技术摘要：RCAP – 鲁棒、类别感知且概率性的动态数据集剪枝

1. 问题陈述

深度学习模型需要海量的数据集，这导致了极高的计算成本和不可持续的训练时间。虽然数据剪枝技术旨在通过移除信息量较少的样本来降低这些成本，但现有方法面临着显著的局限性：

静态与动态： 静态剪枝在训练前选择一个固定的子集，通常依赖于昂贵的预训练来确定样本的重要性。动态剪枝在训练过程中调整子集，但往往难以维持鲁棒性。
最差组准确率（Worst-Group Accuracy）： 当前最先进的动态剪枝方法（如 RS2、InfoBatch）优先考虑平均性能，但经常忽略最差组准确率。这在类别不平衡的数据集（例如，当“猫”与“狗”在 CIFAR10 中表现出较高的损失时）中尤其有害，会导致模型变得不具鲁棒性，从而在少数类或困难组上表现不佳。
类别感知： 现有方法通常缺乏一种原则性的机制，根据单个类别的难度（Hardness）在训练过程中动态调整其表示。

核心问题在于：结合类别难度进行数据剪枝是否能增强模型在平衡和不平衡设置下的鲁棒性？

2. 方法论：RCAP

作者提出了 RCAP（Robust, Class-Aware, Probabilistic），这是一种动态数据集剪枝算法，旨在优化最差组准确率并保持效率。该方法在每个 epoch 中分为两个主要阶段运行：

2.1 自适应每类子集大小

RCAP 解决了确定每个类别应保留多少样本的问题。

理论基础： 作者推导出了一个闭式解（定理 3.1），用于在固定剪枝率约束下最小化总经验误差。该解表明，具有较高累积损失（表明难度较大）的类别应当被分配比例更大的训练子集份额。
实现： 在每个 epoch $t$ $t$ ，保留每个类别样本的比例 $\alpha_j$ $α_{j}$ 是基于前一个 epoch ( $t-1$ $t - 1$ ) 的类别聚合损失计算的。
- 公式为： $\hat{\alpha}_j^{t+1} \propto \frac{\sqrt{p_j \tilde{E}_j^t}}{n_j}$ ，其中 $p_j$ 是类别比例， $\tilde{E}_j^t$ 是聚合损失， $n_j$ 是类别 $j$ 中的总样本数。
- 裁剪机制（Clipping Mechanism）： 为了确保 $\alpha_j \leq 1$ ，如果计算出的比例超过 1，多出的部分将重新分配给其他类别。这防止了算法尝试为特定类别选择超过其实际存在的样本。

2.2 自适应每类样本选择

一旦确定了每个类别的子集大小，RCAP 就会选择具体的样本。

概率采样： 为了避免确定性排序带来的高昂计算开销，RCAP 从基于单样本损失的概率分布中进行采样。
基于损失的概率： 选择类别 $j$ 中的样本 $X_i$ 的概率与 $e^{\phi_j(X_i)/\beta}$ 成正比，其中 $\phi_j$ 代表样本损失， $\beta$ 是温度超参数。
损失裁剪： 为了防止由离群值（例如，导致极高损失的标签噪声）引起的稳定性问题，损失值会针对初始化（epoch 0）时的最大损失进行裁剪。这确保了采样分布保持鲁棒，不会过度偏向噪声离群值的选择。
迭代更新： 损失值 $\phi$ 在每个 epoch 结束时根据当前模型状态进行更新，并重复此过程。

复杂度： 该方法除了标准的前向传播之外，不会产生额外的计算开销，因为所有指标都是从训练期间计算出的损失中得出的。其单样本时间复杂度为 $O(1)$ 。

3. 核心贡献

新颖算法： 引入了 RCAP，这是第一个明确结合了类别级子集规模闭式解与自适应概率采样策略的动态剪枝方法。
关注鲁棒性： 该方法专门针对提高最差组准确率，解决了现有剪枝文献中存在的关键空白，即少数类或困难类往往代表性不足的问题。
全面评估： 论文提供了对动态剪枝在类别平衡和高度不平衡数据集上的首次全面评估，涵盖六个数据集（CIFAR10, CIFAR100, ImageNet, Waterbirds, CelebA, iNaturalist）和五种不同的架构（ResNet, EfficientNet, Dinov2 等）。
高效性： 该方法在不牺牲性能的情况下实现了显著的加速，特别是在不平衡数据上。

4. 实验结果

作者在三种训练范式（从头开始训练、迁移学习和微调）下，将 RCAP 与七种最先进的基准方法（包括 CCS, MetriQ, TDDS, UCB, InfoBatch, 和 RS2）进行了对比评估。

最差组准确率： RCAP 在所有数据集和剪枝率下均一致优于所有基准方法。值得注意的是，在高度不平衡的数据集（Waterbirds, CelebA, iNaturalist）上，即使在 90% 的剪枝率下，RCAP 仍实现了卓越的最差组准确率，通常超过了在全量数据上训练的模型性能。
- 示例： 在 iNaturalist（90% 剪枝）上，RCAP 实现了约 68.5% 的最差组准确率，而其他方法性能大幅下降（例如，InfoBatch 约为 5.5%，TDDS 为 0%）。
平均准确率： 在类别平衡的数据集（CIFAR10, CIFAR100）上，RCAP 保持了具有竞争力的平均准确率，与现有方法相当或更好。
效率： RCAP 相比于全量数据训练实现了平均 8.69 倍的加速。在不平衡数据集上，它在大幅缩短训练时间的同时，实现了比全量数据训练高出 >1% 的性能提升。
超参数敏感性： 对温度参数 $\beta$ 的消融研究表明，在高剪枝率（90%）下， $\beta < 1$ 对于优先考虑高损失样本至关重要；而在中等剪枝率（50%）下， $\beta > 1$ 则能提供更好的稳定性。

5. 意义与主张

论文声称 RCAP 建立了鲁棒动态数据集剪枝的新基准。其意义在于：

解决不平衡问题： 通过根据损失动态调整类别表示，RCAP 自然地减轻了其他剪枝方法（尤其是在高剪枝率下）普遍存在的对少数类别的偏见。
实际效率： 它提供了一个“两全其美”的方案：大幅缩短训练时间（加速）并提高模型鲁棒性（最差组准确率），挑战了“剪枝必须以牺牲性能来换取速度”的观念。
泛化性： 该方法与模型无关，在多种架构和训练范式中均有效。

作者承认的局限性：

RCAP 需要几个初始 epoch 来准确近似最优的类别级比例，这可能会限制其在需要立即生效的场景（如大语言模型的少样本学习）中的应用。
温度超参数 $\beta$ 目前需要手动调优。作者建议未来的工作应致力于使 $\beta$ 在训练过程中实现自适应。