🤖 AI

Constraint-Data-Value-Maximization: Utilizing Data Attribution for Effective Data Pruning in Low-Data Environments

本文提出了约束数据值最大化（CDVM）方法，这是一种将数据剪枝构建为约束优化问题的新颖途径，旨在有效最大化模型影响力，同时对过高的单次测试贡献施加惩罚，从而在低数据场景下超越传统的基于沙普利值的方法。

原作者： Danilo Brajovic, David A. Kreplin, Marco F. Huber

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Danilo Brajovic, David A. Kreplin, Marco F. Huber

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，正试图制作一碗完美的汤。你拥有一个装满食材的巨大储藏室（你的数据），但你的厨房很小，炉灶火力不足，而且你只有时间用手中极小一部分食材来烹饪。你需要扔掉大部分食材，但保留那些能让汤味道最好的部分。

这就是当今机器学习模型所面临的问题。它们需要海量数据来学习，但存储和处理所有这些数据既昂贵又缓慢。目标就是数据剪枝：找出哪些具体的数据片段是“秘密香料”，哪些只是可以丢弃而不破坏菜肴的“填充物”。

旧方法：“人气竞赛”

很长一段时间里，科学家们试图利用基于沙普利值（Shapley values，博弈论中的一个概念）的方法来解决这个问题。这就像一场人气竞赛，每种食材都会根据它对汤的贡献度获得一个分数，这个贡献度是通过将其添加到不同组合的其他食材中来衡量的。

该论文指出，这种旧方法存在一个致命缺陷：它厌恶群体。

想象你的储藏室里有：

100 个完全相同的土豆（一个大集群）。
1 个独特稀有的松露（一个小集群）。

旧方法看着土豆说：“嗯，你们数量太多了，任何单个土豆都不那么特别。你们都是冗余的。”因此，它给它们打很低的分数。它看着那唯一的松露说：“你是独一无二的！你是必不可少的！”因此，它给它打很高的分数。

灾难发生了：当厨师开始扔掉“低分”食材时，他们首先扔掉了 99 个土豆。但随后，土豆彻底用光了。突然间，汤里完全没有淀粉，味道变得糟糕透顶。该方法过早地移除了整个土豆群体，因为它没有意识到，尽管土豆彼此相似，但群体作为一个整体却是至关重要的。

新解决方案：CDVM（“公平覆盖”厨师）

作者引入了一种名为约束数据价值最大化（Constraint-Data-Value-Maximization, CDVM）的新方法。CDVM 不像旧方法那样只是给每种食材打分并按从好到坏排序，而是像一位关心平衡的聪明厨师那样行事。

以下是 CDVM 的工作原理，使用一个简单的类比：

菜单（测试集）：想象你有一份包含 100 位不同顾客的菜单，每位顾客都有特定的口味偏好（例如，有些人喜欢咸，有些人喜欢甜，有些人喜欢辣）。
目标：你想要挑选一小篮食材（比如 10 种），以满足菜单上的所有人。
约束：CDVM 不仅仅问：“哪种食材能让汤整体最好？”它问：“如果我选了这种食材，它能帮助喜欢辣的顾客吗？它能帮助喜欢甜的顾客吗？”

CDVM 设定了一条规则：菜单上的任何顾客都不应被完全忽视。

如果旧方法会挑选 9 个土豆和 1 个松露（忽略了土豆是“淀粉类”顾客所需的），CDVM 会说：“等等。如果我选 9 个土豆，我就忽视了需要胡椒的‘喜欢辣’的顾客。让我们用一些胡椒替换一些土豆，以确保每个人都能得到一些东西。”

它将这个问题视为一个谜题：你必须最大化顾客的整体满意度，同时确保没有任何一位顾客被忽视。它迫使选择过程保留来自每个食材“群体”的至少一个代表，直到绝对不得不放弃它们为止。

为什么这很重要

该论文在六个不同的数据集（如汽车图像、文本评论和医疗数据）上测试了这种新方法，并将其与旧的人气竞赛方法进行了对比。

结果：当厨师被迫使用极少量的数据（例如只保留原始食材的 5% 或 10%）时，CDVM 方法制作出了比旧方法好得多的汤（模型）。
“预算”洞察：该论文还发现了一个令人惊讶的事实：“最佳”的 10% 食材并不一定是“最佳”20% 食材的一个子集。有时，完美的 10% 包含了一些奇怪的食材，这些食材如果你保留 20% 的份额时会保留，但如果你只保留 5% 的份额时则会扔掉。CDVM 足够聪明，可以为每一个特定的预算规模重新计算完美的组合，而不仅仅是使用单一的“从好到坏”列表。

核心结论

该论文声称，通过改变我们看待数据的方式——从“对个体进行排名”转变为“优化平衡覆盖”——我们可以显著缩小训练数据集的规模，而不会损失性能。这节省了能源和资金，特别是在我们处理非常有限的数据时。

简而言之：旧方法就像因为一个土豆不特别而扔掉所有土豆。新方法（CDVM）则说：“让我们保留一些土豆、一些胡萝卜和一些香料，这样无论顾客想要什么，我们都有东西可以提供。”

技术摘要：面向低数据环境有效数据剪枝的约束数据值最大化

1. 问题陈述

机器学习模型，尤其是大型语言模型，对数据有着永不满足的需求，而数据可用性却陷入停滞。数据估值方法旨在将单个训练实例对模型性能的影响归因，以减少数据集规模，从而节省能源并提高训练效率。然而，现有的数据剪枝（移除低价值数据）方法存在关键局限性，特别是在低数据环境中，即仅保留数据集极小比例的情况下。

作者指出了当前最先进方法（特别是基于 Shapley 值和 Banzhaf 值的方法）的三个主要缺陷：

簇大小偏差：Shapley 值和 Banzhaf 值将簇的总效用分配给其成员。因此，较大数据簇中的点比小簇中的点获得更小的边际值。这导致整个大簇被过早移除，一旦某个簇的最后一个代表被剪枝，模型性能便会急剧下降。
冗余偏差：留一法（LOO）通常将冗余样本的估值设为零，未能区分保留一个代表样本与保留多个代表样本的效用差异。
非嵌套最优子集：针对特定保留预算（例如 10%）最大化准确率的子集，并不一定是针对不同预算（例如 5%）的最优集的子集。假设嵌套性的标准剪枝策略无法适应这些特定预算的最优解。

2. 方法论：约束数据值最大化（CDVM）

为了解决这些局限性，作者提出了约束数据值最大化（Constraint-Data-Value-Maximization, CDVM），这是一个基于优化的框架，将数据剪枝视为在数据归因矩阵上的约束优化问题。

核心概念

数据归因矩阵（ $T$ ）：与标量数据值不同，CDVM 利用矩阵 $T \in \mathbb{R}^{n \times m}$ ，其中 $n$ 是训练实例的数量， $m$ 是测试实例的数量。条目 $T_{i,j}$ 量化了训练实例 $i$ 对测试实例 $j$ 预测的影响。该矩阵利用**最大样本复用（Maximum Sample Reuse, MSR）**原则进行估计，通过在采样子集上训练模型来近似影响，而无需为每个实例进行完全重新训练。
优化公式：CDVM 将剪枝表述为选择二进制向量 $w \in \{0, 1\}^n$ $w \in {0, 1}^{n}$ （指示保留哪些 $S$ $S$ 个训练实例），以在满足约束的情况下最大化效用函数。
- 目标：最大化对测试样本的总影响，同时惩罚对少数测试样本的过度集中影响。
- 约束：保留的实例数量必须等于预算 $S$ 。
- 松弛变量：为了防止“赢家通吃”（即少数测试样本主导效用）的情况，该方法引入了松弛变量 $t_j$ ，将每个测试样本的影响上限设定为阈值 $\kappa$ 。任何超过 $\kappa$ 的影响都会受到惩罚。

形式化的优化问题如下：
$\begin{aligned} \max_{w, t} \quad & \alpha \sum_{j=1}^m v_j - (1-\alpha) \sum_{j=1}^m t_j \\ \text{s.t.} \quad & v = T^\top w \\ & \sum_{i=1}^n w_i = S \\ & t_j \ge 0, \quad t_j \ge v_j - \kappa \\ & w_i \in \{0, 1\} \end{aligned}$
其中 $v_j$ 是测试样本 $j$ 的诱导效用， $\alpha$ 平衡总效用与超过阈值的惩罚。

实现

作者将二进制约束 $w_i \in \{0, 1\}$ 松弛为 $w_i \in [0, 1]$ ，以便使用 Disciplined Parametrized Programming 框架将其作为混合整数线性规划（MILP）问题求解。求解后，保留 $w$ 中前 $S$ 个条目。这种方法确保了平衡覆盖，只要预算允许，就能保证没有任何测试样本（从而没有任何隐含的数据簇）的总影响为零。

3. 主要贡献

本文做出了四项主要贡献：

现有局限性的分析：作者在理论上和实证上证明，Shapley 和 Banzhaf 归因将较小的边际贡献分配给较大数据簇中的实例，导致不平衡的移除模式，并在低数据 regimes 下产生次优的剪枝性能。
预算特异性洞察：他们表明最优保留集是预算特异性的；针对一个保留水平最大化准确率的子集，并不一定包含针对另一个保留水平优化的子集。
CDVM 算法：引入了 CDVM，将剪枝表述为归因矩阵上的优化问题，通过强制测试样本间的平衡影响，明确解决了冗余和簇大小偏差问题。
基准测试：在来自 OpenDataVal 基准的六个数据集上进行了全面评估，证明了其相对于最先进技术的强大性能和具有竞争力的运行时间。

4. 实验结果

作者在 OpenDataVal 基准的六个数据集（包括 CIFAR-10、Adult、IMDB、BBC、Pol 和 Nomao）上评估了 CDVM，保留水平从 5% 到 30%。

性能：CDVM 在 36 种配置中的 28 种（6 个数据集 $\times$ 6 种剪枝率）中实现了最先进的性能。它始终优于随机移除、DataBanzhaf 以及 DataOob/记忆化方法。
与影响优化的比较：虽然影响优化方法（Yang 等人，2023）在某些数据集（特别是 Nomao）上表现具有竞争力，但当超参数适当调整时，CDVM 是唯一一种在所有六个基准测试中始终击败随机基线的方法。
运行效率：CDVM 提供了更优的速度 - 精度权衡。虽然计算归因矩阵 $T$ 是主要瓶颈（所有半值基方法共有），但优化步骤很快。使用 5,000 个模型的 CDVM 实现了与需要 10,000 个模型的方法相当或更好的结果，且优化时间显著低于影响优化方法（后者需要 Hessian 矩阵求逆）。
鲁棒性：该方法对超参数选择具有鲁棒性。默认配置（ $\alpha=0.5$ ， $\kappa$ 源自数据集统计信息）的表现几乎与网格搜索参数相当，且没有产生任何搜索开销。

5. 意义与主张

本文声称，CDVM 为低数据环境中的数据剪枝提供了稳健的解决方案，而在该场景下，现有的基于 Shapley 的方法由于其固有偏差往往失效。通过从标量数据值转向归因矩阵上的约束优化，CDVM 确保剩余数据集保持对测试分布的平衡覆盖。

作者强调，他们的发现凸显了“数据剪枝仍有巨大的改进空间”，这直接转化为降低训练成本和能源消耗。他们指出，虽然 CDVM 在计算上具有竞争力，但主要瓶颈仍然是归因矩阵 $T$ 的计算和存储。未来的工作可以探索更高效的归因估计器，或利用 $T$ 的稀疏性以扩展到像 ImageNet 这样更大的数据集。

本文结论认为，CDVM 有效地利用数据归因来剪枝低价值示例，同时不牺牲模型质量，为随机选择和现有的基于估值的剪枝策略提供了一种实用的替代方案。