🤖 machine learning

Generalized Priority-Aware Shapley Value

本文提出了一种名为广义优先级感知沙普利值（GPASV）的新型估值方法，该方法通过将违反顺序的行为予以惩罚而非禁止，从而将沙普利值扩展至任意有向加权优先级图，进而在诸如循环大语言模型集成偏好等复杂的现实场景中实现稳健的估值。

原作者： Kiljae Lee, Ziqi Liu, Weijing Tang, Yuan Zhang

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Kiljae Lee, Ziqi Liu, Weijing Tang, Yuan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在组织一场盛大的百家宴，每个人都带一道菜，而你需要弄清楚，谁对最终这顿美餐的美味贡献最大。在机器学习领域，这被称为估值：即确定每个数据点、特征或模型对最终结果的贡献程度。

几十年来，完成这项工作的标准工具一直是沙普利值（Shapley Value）。你可以把它想象成一位公平的裁判，随机决定人们到达聚会的顺序。如果你早到，可能只能用较少的食材烹饪；如果你晚到，或许就有充足的原料可供发挥。裁判通过观察你出现后这顿饭提升了多少美味，来计算你的贡献。

然而，这位老裁判有一个盲点：除非有一条严格且不可打破的规则规定“人物 A 必须在人物 B 之前到达”，否则它假设所有人都是平等的。

问题所在：现实生活是混乱的

在现实世界中，优先级不仅仅是非黑即白的“必须”。它们通常是：

循环的：在一群朋友中，爱丽丝可能喜欢鲍勃的厨艺胜过查理，鲍勃可能喜欢查理的厨艺胜过戴夫，但戴夫可能喜欢爱丽丝的厨艺胜过鲍勃。这是一个循环。老裁判会在这个圈子里卡住，无法做出决定。
有权重的：有时，“爱丽丝必须在鲍勃之前到达”这条规则非常强硬（像法律一样），但有时它只是一个强烈的建议（像偏好一样）。老裁判将所有规则都视为绝对法律，忽略了偏好的强度。
软性的：有时，我们只是更信任某些人，或者知道雇佣他们的成本更低。老裁判不知道如何在遵守硬性规则的同时，将这些“软性”信任纳入考量。

解决方案：“广义优先级感知沙普利值”（GPASV）

本文的作者发明了一位新的、超级聪明的裁判，称为GPASV。以下是它的工作原理，使用简单的类比：

1. “软惩罚”系统（处理循环和权重）

想象一下，老裁判会直接剔除任何违反规则的座位安排，哪怕只是一点点违规。GPASV 则更加灵活。

比喻：GPASV 不使用严格的“禁止入内”标志，而是使用减速带。如果你安排的客人顺序违反了某项偏好（例如，将“老板”排在“实习生”之后），你不会被禁止入场，而是会获得一个“惩罚分数”。
工作原理：你违反强烈偏好的程度越高，惩罚分数就越高。裁判仍然会考虑这些安排，但它们被选中的可能性会降低。这使得系统能够处理循环（偏好循环）和加权偏好（强规则与弱规则），而不会陷入死循环。

2. “信任分数”（软优先级）

GPASV 还会倾听你对客人们的“软性”感受。

比喻：想象你有一份客人名单，并且为每个人都有一个“信任分数”。也许你更信任你奶奶的厨艺，胜过一个陌生人，即使那个陌生人在技术上烹饪得“更好”。
工作原理：GPASV 将硬性规则（减速带）与这些信任分数结合起来。它创造了一种平衡的视角，让一个高度受信任的客人即使在轻微违反次要规则的情况下，也能在队列中获得更好的位置。

3. “扫描式”诊断（调节旋钮）

GPASV 最酷的功能之一是，它不会只给你一个答案，而是给你一个调节旋钮。

比喻：想象一个收音机旋钮。在一端，是“仅严格规则”（硬优先级）；在另一端，是“仅纯粹信任/偏好”（软优先级）。
工作原理：作者表明，你可以转动这个旋钮，观察贡献度如何变化。如果你将旋钮转向“严格规则”，结果会呈现一种面貌；如果你将其转向“信任”，结果则会完全改变。这证明了并不存在唯一“正确”的答案；答案取决于你如何权衡规则与信任。

现实世界测试：聊天机器人竞技场

为了证明这行之有效，作者在大型语言模型（LLMs） 上测试了该方法，具体使用了来自“聊天机器人竞技场”（Chatbot Arena）的数据，在那里人类会投票选出哪个 AI 聊天机器人更好。

情境：人类投票经常形成循环（AI A 胜过 B，B 胜过 C，但 C 胜过 A）。旧方法无法处理这种情况。
实验：他们将 AI 模型视为百家宴上的“客人”。他们有两种类型的优先级：
1. 硬优先级：人类实际投票的结果（投票计数）。
2. 软优先级：AI 是“开源”（免费）还是“付费”（昂贵）。
结果：他们发现，估值中的“赢家”会根据旋钮的转动方向而发生剧烈变化。
- 如果只关注人类投票，昂贵的付费模型（如 GPT-4）占据主导地位。
- 如果关注“开源”偏好，免费模型则跃居榜首。
- 教训：你不能只是按下“计算价值”按钮就得到一个单一真理。你必须决定在人类投票与你的个人偏好（例如支持开源）之间赋予多大的权重。GPASV 使这种权衡变得可见且可调整。

总结

本文介绍了GPASV，这是一种新的数学工具，通过以下方式修复了旧方法的缺陷：

允许偏好中存在循环，而不是陷入死循环。
尊重偏好的强度（权重），而不是将所有规则都视为绝对法律。
将这些与个人信任分数（软优先级）相结合。
向用户展示，最终的“分数”取决于他们如何平衡这些不同因素，而不是一个单一的固定数值。

这就像从一位僵化、受规则束缚的裁判，升级为一位灵活、睿智的调解人，他理解现实生活中的优先级是混乱的、有权重的，有时甚至是循环的。

以下是论文《广义优先级感知沙普利值》（GPASV）的详细技术总结。

问题陈述

沙普利值及其优先级感知扩展是机器学习（例如数据点、特征或模型组件）中为贡献者分配价值的标准工具。然而，现有的优先级感知方法（如优先级感知沙普利值 PASV）依赖于限制性假设，这些假设在现代人工智能/机器学习应用中往往失效：

二元与无环约束：PASV 要求成对优先级关系被编码为有向无环图（DAG）。这禁止了循环（例如 $A \succ B \succ C \succ A$ ），并将优先级视为一种严格的二元约束。现实世界的数据（如聚合的人类偏好（孔多塞循环）或多准则比较）经常表现出循环结构。
幅度信息的丢失：PASV 丢弃了优先级证据的强度。在锦标赛胜场数、布拉德利 - 特里对数几率或 ELO 评级等场景中，偏好的幅度至关重要，但基于 DAG 的方法仅能捕捉优先级的存在性。
复制者攻击：标准沙普利值容易受到“复制者攻击”，即复制另一贡献者的贡献者会获得同等的信用。虽然 PASV 通过硬优先级解决了这一问题，但它无法处理现实世界优先级的细微差别、加权或循环性质。

方法论：广义优先级感知沙普利值（GPASV）

作者提出了 GPASV，这是一种定义在任意有向加权图上的随机顺序值（ROV），能够同时处理循环结构、加权成对优先级以及个体“软”优先级。

1. 核心定义
与将排列限制为与 DAG 一致的 PASV 不同，GPASV 在整个排列集 $\Pi$ 上定义了一个概率分布 $p(\lambda, \omega)$ 。

成对优先级（ $\omega$ ）：由加权有向图表示，其中 $\omega_{ij} \ge 0$ 编码了玩家 $i$ 应排在 $j$ 之前的强度。允许存在循环。
软优先级（ $\lambda$ ）：代表信任、成本或合规风险的个体权重。
违规惩罚：对于排列 $\pi$ ，总违规成本 $V_\omega(\pi)$ 是所有违反优先级的成对关系的权重之和。
分布公式：该分布结合了针对违规的吉布斯式惩罚与分阶段的软优先级机制：
$p(\lambda, \omega)(\pi) \propto \prod_{t=1}^n \left[ \frac{\lambda_{\pi_t} \exp\{-\beta \cdot V_\omega(\pi_t; S_t)\}}{\sum_{k \in S_t} \lambda_k \exp\{-\beta \cdot V_\omega(k; S_t)\}} \cdot \sum_{k \in S_t} \exp\{-\beta \cdot V_\omega(k; S_t)\} \right]$
其中， $\beta$ 是控制成对优先级严格程度的温度参数。当 $\beta \to \infty$ 时，该方法在 DAG 上恢复为 PASV；当 $\beta = 0$ 时，它简化为普拉凯特 - 卢斯（Plackett-Luce）分布。

2. 公理化特征
论文通过一组公理确立了 GPASV，这些公理推广了 PASV 的公理：

GSCF（广义状态选择分解）：确保分布遵循与采样方案兼容的规范分阶段形式。
GWP（广义权重比例性）：在任何阶段选择玩家 $i$ 而非 $j$ 的对数几率取决于它们的软权重 $\lambda$ 及其相对违规成本。
PVF（成对违规分解）：当软权重均匀时，分布简化为惩罚总违规的吉布斯形式。
作者证明了 GPASV 是满足这些公理的唯一 ROV。

3. 计算框架
由于排列上的非均匀分布，计算 GPASV 具有挑战性。作者开发了以下方法：

采样：一种相邻交换 Metropolis-Hastings (MH) 链，具有局部接受率，可抵消大部分全局项，从而提高了效率。
初始化：一种分阶段贪婪初始化（算法 2），从位置 $n$ 向后采样玩家，以缓解在不存在有效线性扩展的循环图中出现的“冷启动”问题。
加速：
- 效用缓存：重用重复子集的 $U(S)$ 评估。
- SNIS（自归一化重要性采样）：在“优先级扫描”过程中，跨不同的温度设置（ $\beta$ ）或软优先级尺度（ $\lambda$ ）重用排列样本。
- 代理辅助估计：使用基于回归的代理（线性或二次）来减少方差，但作者指出，由于无法将有向无环图边的交互项归零，与 PASV 相比，这会给 GPASV 带来更高的内存成本。

关键结果与实证验证

1. 模拟

混合时间：与随机初始化相比，贪婪初始化显著加速了 MH 链的混合，特别是在稠密或循环图中。
准确性：直接蒙特卡洛估计按预期收敛。代理辅助方法提高了准确性，但引入了大量的运行时间和内存开销，特别是对于二次代理，因为它们无法利用 DAG 的稀疏性。
优先级扫描：一种诊断工具，通过改变软优先级（ $\lambda$ ）来进行。作者发现，在 GPASV 下，软优先级的影响远大于在 PASV 下的影响。由于 GPASV“软化”了硬约束，个体软优先级可以更有效地重塑估值，而 PASV 的硬 DAG 约束限制了它们的影响力。

2. 应用：LLM 集成估值
该方法被用于对 20 个大语言模型（LLM）进行估值，使用：

效用：MT-Bench 上的性能（由 LLM 聚合和评判）。
成对优先级：源自 Chatbot Arena 人类偏好的循环加权图。
软优先级：对开源模型优于付费专有 API 的偏好。

发现：

非唯一估值：估值并非单一的“正确”数值。成对偏好（ $\beta$ ）与软优先级（ $\alpha$ ）之间的不同平衡会产生实质性的不同排名。
软优先级主导：在联合扫描中，节点级软优先级（开源偏好）往往主导边级图优先级。例如，增加开源模型的软优先级可以将其提升至最高排名，即使成对偏好图倾向于付费模型。
图中心：当仅优先考虑成对偏好（ $\beta$ ）时，估值集中在偏好图中的特定“中心”（例如 GPT-4），而不是将价值分散到一类模型上。

意义与主张

论文声称 GPASV 是现有沙普利变体的原则性、表达性扩展。其主要意义在于：

处理现实世界的复杂性：它是第一种能够同时处理循环、加权成对优先级和个体软优先级的方法，涵盖了经典沙普利值、PSV、WSV 和 PASV 作为特例。
权衡的透明度：作者认为，优先级感知估值“不是一键操作”。GPASV 将不同优先级信息来源（例如人类偏好图与部署约束）之间的权衡作为显式的、可扫描的输入暴露出来。
诊断的必要性：“优先级扫描”诊断揭示，软优先级在 GPASV 下的影响远大于此前在 PASV 下的认知，这表明关于软优先级（信任、成本、风险）的元数据对估值的影响比此前认识到的要重要得多。

论文得出结论，尽管 GPASV 引入了计算挑战，但其对循环和加权结构的建模能力使其对于标准 DAG 假设被违反的应用（如 LLM 评估）至关重要。