🤖 machine learning

Priority-Aware Shapley Value

本文引入了优先级感知夏普利值（Priority-Aware Shapley Value, PASV），这是一个通过结合硬性前序约束和软性优先级权重来更好地处理依赖型贡献者和信任因子的新颖框架，该框架由一种高效的采样算法支持，并通过在数据估值和特征归因任务上的实验进行了验证。

原作者： Kiljae Lee, Ziqi Liu, Weijing Tang, Yuan Zhang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kiljae Lee, Ziqi Liu, Weijing Tang, Yuan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在举办一场盛大的百乐ों餐聚会（Potluck Dinner），每个人都会带来一道菜，而目标是弄清楚每个人究竟为这场最后的饕餮盛宴贡献了多少“美味度”。在机器学习的世界里，这场“百乐ों餐”就是一个经过数据训练的模型，而那些“菜肴”则是单个的数据点或特征。

几十年来，科学家们一直使用一种叫做**沙普利值（Shapley Value）**的数学工具来公平地分配功劳。传统的规则很简单：想象每个人到达聚会的各种可能顺序。如果你第一个到达，你就能获得整张餐桌的全部功劳；如果你最后到达，你只能为已经摆满桌子的菜品所增加的那部分价值获得功劳。沙普利值是对你在所有可能的到达顺序中的贡献进行平均。

问题所在：“可互换性”假设
旧的方法假设每个人都是可以互换的。它把百乐ों餐看作是无论谁先带来沙拉、谁后带来蛋糕都无关紧要的。但在现实生活中，情况并非如此。

硬性优先级（“食谱”规则）： 有时，你必须先带来面团，然后才能带来披萨配料。如果你试图在面团之前加入配料，披萨就会毁掉。在数据层面，某些数据是“复制”自其他数据的，或者某些特征（如年龄）在逻辑上必须排在其他特征（如职业）之前。旧的方法忽略了这些规则，允许一些不可能发生的场景（如配料先于面团）来扭曲结果。
软性优先级（“VIP”规则）： 有时，我们会更信任某些客人。也许一位客人是名厨（高信任度），而另一位则以带来焦糊吐司而闻名（低信任度/高风险）。旧的方法将他们同等对待，仅仅因为他们到达的时间不同。我们需要一种方法来表达：“我们更信任这位大厨的贡献”，而不必改变食谱本身的规则。

解决方案：优先级感知沙普利值 (PASV)
作者提出了一种名为 PASV 的新方法。你可以把它想象成一个更聪明的百乐ों餐策划者，它能理解两件事：

硬性规则 (DAG)： 它尊重“食谱”。它知道面团必须在配料之前。它只考虑那些符合逻辑的到达顺序（例如：不会出现配料先于面团的情况）。
软性权重 (VIPs)： 它知道有些客人更“值得信赖”或更“具有风险”。它会调整数学计算，使得高信任度的客人更有可能在能够展现其真实价值的情境中被评估；而对于有风险的客人，它会进行更谨慎的评估，以观察他们是真的增加了价值，还是仅仅带来了噪声。

它是如何运作的（创意类比）
想象你正在试图评判一支解决谜题的侦探团队。

旧方法： 你询问每一种可能的侦探到达并破案的顺序，然后取其平均成功率。但这并不公平，如果侦探 A 必须在侦达 B 之前找到线索才能解开谜题，那么这种做法就是不公平的。旧的方法统计了 B 尝试先解开谜题的场景，而这在现实中是不可能的。
PASV 方法：
- 硬优先级： 你只允许侦探按照尊重线索逻辑的顺序（A 在 B 之前）来破案。
- 软优先级： 你有一个针对每个侦探的“信任计”。如果侦探 C 是个出了名爱撒谎的人（高风险），PASV 不会直接忽略他，而是会模拟他在调查后期才到达的情景。这旨在测试：“如果我们已经有了扎实的证据，这个撒谎者的线索究竟是提供了帮助，还是造成了混乱？”如果侦探是一位天才（高信任度），PASX 会在丰富的背景环境下测试他，以观察他的全部潜力。

“优先级扫描”工具
PASV 的一个非常酷的特性是作者称之为**“优先级扫描”（Priority Sweeping）**的诊断工具。
想象你是百乐ों餐的经理。你不确定该给那位带来“神秘砂锅菜”的客人多少信任。

使用 PASV，你可以运行一次模拟：“如果我把这位客人视为‘超级 VIP’（最高信任度），他的功劳得分会发生什么变化？”然后，“如果我把他视为‘高风险人士’（最低信任度），又会发生什么？”
通过在“完全信任”到“完全不信任”之间滑动滑块，你可以看到他们的贡献得分是保持稳定，还是会崩塌。如果得分崩塌了，你就知道他们的价值是不稳定的，高度依赖于你对他们的信任程度。这有助于你在下次决定邀请谁时做出更安全的决策。

论文的实际发现
作者在两个主要场景下测试了该方法：

数据估值（百乐ों餐）： 他们模拟了一个数据市场，其中一些数据是原创的，一些是复制的，还有一些是“被污染的”（坏数据）。
- 旧方法会给“复制者”功劳，因为它们没意识到这些数据只是个副本。
- PASV 则能正确地惩罚复制者和“投毒者”，给予原创来源更多的功劳，尤其是在调整“信任”设置时。
特征归因（侦探团队）： 他们分析了一个预测收入的数据集。
- 他们展示了特征的排序方式（例如：年龄是否在教育程度之前？）是如何改变结果的。
- PASV 让他们能够观察哪些特征是稳健的（无论信任水平如何，其价值变化不大），以及哪些特征是不稳定的（例如“原籍国”，它会根据设置的变化而剧烈波动）。

总结
PASV 是一种新的、公平分配机器学习中功劳的方法。它修复了旧方法对规则（你不能在面团之前放配料）和信任（某些数据比其他数据更具风险）的盲目性。它为我们提供了一个工具，不仅能得到一个单一的答案，还能通过询问“我对这个数据点的信任程度究竟如何改变了结果？”来对我们的决策进行压力测试。

技术摘要：优先级感知 Shapley 值 (Priority-Aware Shapley Value, PASV)

问题陈述

Shapley 值是模型无关的数据估值和特征归因的标准工具，它依赖于贡献者（玩家）具有可交换性的公理。这一假设要求对所有可能的玩家排列进行边际贡献的平均。然而，在现代机器学习应用中，这种可交换性通常是无效的，主要基于两个原因：

前置约束 (Precedence Constraints)： 贡献者可能表现出硬性的前置关系。例如，训练数据可能从上游源头进行增强或复制（使得下游贡献具有衍生性），或者领域知识可能规定某些特征（如因果祖先）必须在其他特征之前被考虑。现有的方法如前置 Shapley 值 (Precedence Shapley Value, PSV) 虽然处理了这些约束，但它们对所有有效的线性扩展进行统一处理，忽略了个体差异。
软优先级权重 (Soft Priority Weights)： 从业者通常会有特定于上下文的考量，例如信任度、风险或策展成本。例如，某个数据点可能不太值得信任，或者带有较高的法律风险。现有的加权 Shapley 值 (Weighted Shapley Value, WSV) 方法虽然引入了此类权重，但受限于特定的结构假设（有序划分），且无法处理通用的有向无环图 (DAG)。

目前的方法通常将硬性前置约束与软性权重隔离处理。目前缺乏一个能够同时整合通用前置约束和玩家特定优先级权重的统一框架，且该框架仍需保持计算可行性。

方法论：优先级感知 Shapley 值 (PASV)

作者提出了 优先级感知 Shapley 值 (PASV)，这是一种统一的 Shapley 类归因方法，它在一个单一的随机顺序框架内集成了硬性前置约束和软性优先级权重。

1. 理论公式化

PASV 将玩家 $i$ 的价值定义为在支持于偏序集 (poset) 或 DAG $([n], \preceq)$ 的线性扩展集合 $\Pi_{\preceq}$ 的分布 $p$ 上的期望边际贡献。分布 $p$ 的构建满足：

硬优先级 (Hard Priority)： 支持集被限制在 $\Pi_{\preceq}$ 内，确保没有任何排列违反前置约束。
软优先级 (Soft Priority)： 在排列构建过程中的任何步骤中，候选者的选择概率受玩家特定权重 $\lambda = (\lambda_1, \dots, \lambda_n)$ 的偏置影响。

排列 $\pi = (\pi_1, \dots, \pi_n)$ 的概率由下式给出：
$p^{(\preceq, \lambda)}(\pi) \propto \prod_{t=1}^n \frac{\lambda_{\pi_t} |\max_{\preceq}(S_t)|}{\sum_{k \in \max_{\preceq}(S_t)} \lambda_k}$
其中 $S_t = \{\pi_1, \dots, \pi_t\}$ 是目前已选择的玩家集合，而 $\max_{\preceq}(S_t)$ 表示 $S_t$ 中的极大元素集合（即下一位置的可选候选者）。

2. 公理化表征

论文提供了一个严谨的公理化表征，唯一确定了 PASV。推导过程如下：

前置随机顺序值 (Precedence Random Order Value, PROV)： 一类满足效率性 (Efficiency)、线性 (Linearity)、空玩家 (Null Player)、单调性 (Monotonicity) 和最大支持 (Maximal Support，即信用仅授予可行集中的极大元素) 的值。
状态选择因子分解 (State-Choice Factorization, SCF)： 将分布限制为因子分解形式，其中排列的概率是“状态”因子（来自 DAG 的全局偏置）与“选择”因子（来自权重的局部偏置）的乘积。
边界公理 (Boundary Axioms)：
- 权重比例性 (Weight Proportionality, WP)： 可选候选者之间的选择概率与其权重 $\lambda$ 成正比。
- 等权均匀性 (Equal-Weight Uniformity, EWU)： 如果所有权重相等，则分布退化为 $\Pi_{\preceq}$ 上的均匀分布（从而恢复 PSV）。
  PROV、SCF、WP 和 EWU 的结合唯一地导出了 PASV。

3. 极限状态

作者分析了当权重变得极端（ $\lambda_i \to \infty$ 或 $\lambda_i \to 0$ ）时 PASV 的行为。他们证明了极端权重可以诱导一种近乎确定性的平局打破机制，用于处理同时可行的玩家。在特定情况下（例如，有序划分或全局极大玩家），极端权重实际上转化为了 DAG 中的新边，从而细化了前置结构。

4. 可扩展计算

由于线性扩展的数量呈指数级增长，对于大规模 $n$ ，精确计算是难以实现的。作者开发了一种高效的 相邻交换 Metropolis-Hastings (M-H) 采样器：

初始化： 通过拓扑排序找到一个有效的线性扩展。
转移： 采样器提议交换当前排列中两个相邻且互不相关的元素。
接受： 使用局部信息（引理 4.1）计算 Metropolis-Hastings 接受率，这使得采样器能够在不枚举所有排列的情况下，收敛到非均匀分布 $p^{(\preceq, \lambda)}$ 。
估计： 通过在采样的排列上进行蒙特卡洛平均边际贡献来估计 PASV。

5. 诊断工具：优先级扫描 (Priority Sweeping)

除了点估计外，PASV 还支持“优先级扫描”分析。通过在保持其他玩家固定不变的情况下改变单个玩家（或一组玩家）的权重 $\lambda_i$ ，从业者可以追踪估值是如何变化的。这可以作为一种敏感性分析，用于识别那些其信用高度依赖于信任/风险假设或极不稳定的贡献者。

关键结果

作者在两个数据集上评估了 PASV：

数据估值 (MNIST/CIFAR10)：
- 设置： 一个包含 8 个提供者的数据市场场景，包括原始数据、增强数据、生成模型输出（Boosters）、副本和中毒数据。一个复杂的 DAG 编码了数据谱系（例如，副本依赖于原始数据）。
- 发现： 标准 Shapley 值 (SV) 过度分配了重复使用数据的信用。PSV 虽然正确地惩罚了副本，但对所有合成数据一视同仁。通过调整权重，PASV 成功地区分了高质量合成数据 (Boosters) 与低质量/重复使用数据 (Copier/Poisoner)。“优先级扫描”分析表明，副本/中毒数据的价值对权重调整高度敏感，而原始数据则保持稳定。
特征归因 (Census Income)：
- 设置： 预测收入 >$50k 的 12 个特征。作者将粗略的“有序划分” DAG（人口统计 $\prec$ 社会经济）与基于领域知识得到的详细 DAG（如教育 $\prec$ 职业）进行了对比。
- 发现： DAG 的选择显著改变了归因值。PASV 的优先级扫描识别出某些特征（如 native-country, relationship）的归因取决于其优先级权重，表现出不稳定性，而其他特征（如 marital-status）则较为稳健。这强调了正确建模前置关系的重要性，并提供了一个诊断归因敏感性的工具。

重要性与主张

论文声称 PASV 提供了一个 统一、表达力强且具备实际可行性 的归因框架，适用于存在依赖关系和不同信任水平的场景。其主要贡献包括：

统一性： 它是第一个同时处理通用前置约束 (DAG) 和软优先级权重的方法，并将 PSV 和 WSV 作为特例纳入其中。
理论基础： 它提供了坚实的公理化基础，证明了 PASV 是满足前置感知与权重感知估值的自然属性的唯一规则。
可扩展性： 所提出的 MCMC 采样器使其能够应用于精确枚举已不可能的大规模玩家集。
实际效用： “优先级扫描”诊断提供了一种全新的敏感性分析机制，允许从业者量化信任/风险假设对估值结果的影响。

作者强调，PASV 并非声称是一个“黑盒”解决方案，而是一个使结构性假设 (DAG) 和优先级假设 (权重) 变得显式且可调的工具，从而支持更稳健且具解释性的决策。