🤖 machine learning

Is Data Shapley Not Better than Random in Data Selection? Ask NASH

本文介绍了 NASH，一种新颖的数据选择框架，它将目标效用函数分解为具有 Shapley 信息量的组件，并以非线性方式聚合这些组件，从而持续且高效地选择高质量训练子集，进而克服了标准数据 Shapley 方法往往表现不优于随机选择的局限性。

原作者： Xiao Tian, Jue Fan, Rachael Hwee Ling Sim, Zixuan Wang, Nancy F. Chen, Bryan Kian Hsiang Low

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiao Tian, Jue Fan, Rachael Hwee Ling Sim, Zixuan Wang, Nancy F. Chen, Bryan Kian Hsiang Low

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，正试图制作一碗完美的汤。你拥有一个装满食材的巨大储藏室（你的训练数据），但你的锅里只能容纳少量特定的空间（你的有限预算或存储）。你的目标是挑选出最佳的一把食材，让汤的味道惊艳。

长期以来，数据科学家一直使用一种称为**数据沙普利（Data Shapley）*的方法来决定挑选哪些食材。将数据沙普利想象成一种“公平评分”。它试图计算每一种食材对最终味道的贡献程度，同时考虑它与所有其他可能的食材组合*是如何混合的。其理论是：“如果一种食材是好的，它的评分就会很高，所以我们就直接挑选得分最高的前 10 种。”

问题所在：“前 10"陷阱
该论文指出，这种“前 10"的方法往往行不通。有时，得分最高的食材实际上并不能做出最好的汤；事实上，它们可能并不比随机抓取一把食材更好。

为什么？因为“评分”（数据沙普利）试图一次性完成太多事情。

“瑞士军刀”缺陷：想象你有一把刀，切肉很棒，但切蔬菜却糟糕透顶。如果你只看这把刀的总体评分，它可能看起来像是一流工具。但如果你的汤需要大量蔬菜，那把刀就毫无用处。
论文的洞见：汤的“味道”（验证准确率）取决于许多不同的“角色”（切肉、切菜、调味）。单一的总体评分掩盖了这些具体的优势。论文表明，数据沙普利经常挑选出一堆“切肉刀”，而忽略了“切菜刀”，从而导致汤的味道很差。

解决方案：认识 NASH
作者提出了一个名为NASH（沙普利信息分量的非线性聚合）的新框架。以下是其工作原理，使用了一个富有创意的类比：

拆解（分解）：NASH 不再问“这种食材对整锅汤有多好？”，而是问“这种食材对仅肉类有多好？对仅蔬菜有多好？对仅调味有多好？”
- 论文证明，当你观察这些微小、具体的角色（例如预测某一种特定蔬菜的味道）时，数据沙普利评分变得非常准确和可靠。这些就是“沙普利信息分量”。
智能混合（非线性聚合）：现在，NASH 为每种食材的每个角色都拥有了一个评分。但它不会简单地将它们全部相加（那样只会得到旧的、有缺陷的“前 10"列表）。
- 相反，它使用了一种智能混合策略。想象一位厨师意识到：“我有很多切肉刀，但我急需切菜刀。”
- NASH 优先挑选那些能填补空白的食材。如果汤已经有了很好的肉类覆盖，NASH 就会停止挑选更多的切肉刀，转而寻找切菜刀，即使那些切菜刀的“总体”评分略低。它使用一种数学上的“曲线”规则（非线性），以确保汤获得平衡、完整的风味轮廓。

结果
该论文在许多不同的“食谱”（数据集）和“烹饪风格”（模型）上测试了这种方法，从简单的数学问题到复杂的人工智能语言模型。

旧方法：标准的数据沙普利方法的表现往往不比随机挑选食材更好。
NASH 方法：通过将问题分解为具体角色并智能地重新混合它们，NASH 持续挑选出更好的食材，创造出比旧方法更美味的汤（更高的模型准确率），且几乎没有额外的时间或成本。

一句话总结
论文指出：“不要仅仅信任你数据的总体流行度评分。将问题分解为具体任务，看看你当前的数据在哪里薄弱，然后使用一种智能的非线性规则来填补这些空白。这就是获得最佳数据选择的方法。”

论文的关键要点：

数据沙普利并没有坏，只是被用错了方式（盲目地挑选最高分）。
复杂的目标（如“好汤”）是由简单部分组成的（好的肉类、好的蔬菜）。数据沙普利在简单部分上表现极佳。
NASH 是新的框架，它利用简单部分构建更好的整体，确保你挑选的不仅仅是一堆相似的食材，而是一个平衡、高质量的子集。

技术摘要：NASH——Shapley 信息分量的非线性聚合

问题陈述

数据选择旨在识别高质量的训练数据子集，以在规模约束下优化模型效用（例如验证准确率 $u_V$ ）。尽管数据 Shapley 值及其推广形式（半值）在理论上基于合作博弈论以考量数据间的交互作用，但近期的实证研究表明，它们在实际应用中往往效果不佳。具体而言，基于针对复杂效用函数（如验证准确率）计算的 Shapley 值来选择前 $m$ 个数据点，所得子集的效果可能不优于，甚至劣于随机选择。

本文指出了导致这一失效的两个主要原因：

缺乏 Shapley 信息性：复杂效用函数涉及多个不同的“角色”（例如验证集中的不同类别或子群体）。单个数据点的单一 Shapley 值无法捕捉其在这些角色中的独特优势。因此，具有不同优势的数据点可能获得相同的 Shapley 分数，导致尽管其效用贡献不同，却受到可互换的对待。
不恰当的聚合：真实目标（例如验证准确率）以非线性方式聚合了这些角色上的性能。然而，标准的“前 $m$ 个”启发式方法依赖于线性聚合（即对 Shapley 值求和），这无法捕捉协同交互作用，即某个数据点的贡献取决于已选择的其他数据（例如，如果一个数据点覆盖了代表性不足的角色，它的价值就更高）。

方法论：NASH 框架

作者提出了NASH（Shapley 信息分量的非线性聚合），这是一个将复杂效用函数分解为 Shapley 值有效的简单分量，然后对这些分量进行非线性聚合的框架。

1. Shapley 信息性与分解

本文将Shapley 信息性形式化为一种属性，即子集的 Shapley 值之和能够指示其实际效用。作者证明，任意效用函数通常都不具备 Shapley 信息性。然而，他们展示了更简单的效用函数，特别是单个验证数据点上的预测正确性（ $u_v$ ），在“一致参与者”假设下（即某个数据点对特定验证点始终表现良好或糟糕）被证明具有 Shapley 信息性。

NASH 不是计算聚合验证准确率 $u_V$ 的 Shapley 值，而是将 $u_V$ 分解为每个验证数据点 $v \in V$ 的独立分量 $u_v$ 。随后计算这些简单分量的 Shapley 值 $\phi_i(u_v)$ 。值得注意的是，计算这些向量与计算聚合 $u_V$ 的 Shapley 值相比，不会产生额外的运行时开销，因为 $u_V$ 仅仅是 $u_v$ 的平均值。

2. 非线性聚合

为了从这些信息分量中重构复杂目标，NASH 避免了线性求和（这会恢复有缺陷的“前 $m$ 个”Shapley 启发式方法）。相反，它优化一个非线性聚合目标：
$\max_{M \subseteq N, |M|=m} \sum_{v \in V} F_T(\hat{u}_v(M))$
其中 $\hat{u}_v(M) = \sum_{i \in M} \phi_i(u_v)$ 是分量 $v$ 的 Shapley 值之和， $F_T$ 是受学习曲线启发的累积分布函数（CDF）（例如指数律）。这种非线性函数确保选择过程优先考虑那些有助于“跨越阈值”以改善预测不佳的验证点（未覆盖的角色）的数据，而不是在已经预测良好的点上累积高分。

3. 优化

NASH 目标使用贪心算法进行优化。作者表明，当 Shapley 值非负时，该目标具有单调次模性，从而保证达到 $(1 - 1/e)$ 的近似比。即使存在来自噪声数据的负值，贪心算法在实证中表现依然良好，因为有害数据（导致非次模性的原因）会被自然降低优先级。该算法引入的额外运行时开销极小，因为繁重的工作（Shapley 近似）与现有方法共享。

主要贡献

理论分析：本文形式化了Shapley 信息性属性，解释了为什么复杂的机器学习效用函数（如验证准确率）无法满足该属性，从而导致数据 Shapley 值表现不一致。
可证明的信息分量：作者识别并证明，在合理假设下，单个验证数据点上的预测正确性可作为具有 Shapley 信息性的分量。
NASH 框架：一种新颖的数据选择框架，将复杂目标分解为具有 Shapley 信息性的分量，并通过非线性聚合来选择高质量子集。
实证验证：在标准数据集（逻辑回归、KNN）和大规模语言模型微调（BERT、Llama-2）上的广泛实验表明，NASH 始终优于原始数据 Shapley 值、其他半值以及随机选择。

结果

通用数据选择：在未注入噪声（同质质量）的设置中，原始数据 Shapley 值的表现往往不优于随机选择。NASH 在这些场景中显著提升了性能，在各种选择比例下始终优于基线。
异质质量数据集：在存在标签噪声的设置中，原始数据 Shapley 值有所改善（因为它能够区分坏数据），但 NASH 仍然始终优于它。这表明 NASH 的优势（处理角色交互）与数据 Shapley 值过滤噪声的能力是不同且互补的。
兼容性：NASH 与各种半值（例如 Beta Shapley、Data Banzhaf）以及高效近似方法（例如 MC 采样、FreeShap）兼容，并始终提升它们的选择性能。
鲁棒性：该方法对聚合函数中超参数 $\lambda$ 的选择具有鲁棒性，并能与不同的效用函数（例如验证损失、均方误差）有效配合。

意义

本文声称，NASH 在很大程度上消除了数据 Shapley 值/半值仅在有限数据集或特定设置（例如注入噪声的设置）中有效的限制。通过提供一个使基于 Shapley 的选择在多样化数据集和模型规模上始终可靠且稳健的框架，NASH 促进了原则性数据估值方法的更广泛采用。这一进展支持了未来关于提高近似效率以及基础模型数据选择的研究，确保 Shapley 值的理论优势（非短视的交互作用和公平性）在实践中得以实现。