🤖 machine learning

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

本文介绍了一种可扩展的仅推理数据审计流水线，该流水线通过近似夏普里值（Shapley values）来高效识别并剔除大语言模型对齐数据集及基准测试中冲突、标注错误或不安全的记录，从而显著减少人工审计工作量，并揭示人类标注真值中的关键缺陷。

原作者： Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何成为一名乐于助人、安全且诚实的真人助手。你并没有用僵化的规则去编程；相反，你向它展示了数百万个优秀和糟糕的对话案例，让它通过实例进行学习。这就是现代人工智能获得其“个性”和安全过滤机制的方式。但问题在于，这个机器人的水平取决于你讲的故事。如果你的故事书里充满了错别字、谎言或令人困惑的矛盾，机器人就会变得混乱，并可能开始表现得举止怪异。

长期以来，检查这些故事书就像是在试图从一座果山中通过逐一观察来寻找一颗坏苹果。这种方法既缓慢又昂贵，而且经常会错过那些细微的问题。科学家们曾尝试用数学方法来确定哪些故事是最重要的，这种方法被称为“夏普利值”（Shapley value），但要精确计算这些数学题，对于庞大的数据量来说简直是天文数字，耗时太长。核心问题在于：如何在不重新阅读每一页，也不需要从头开始重新教导机器人的情况下，快速发现这些海量训练书籍中隐藏的错误、令人困惑的矛盾以及错误的建议？

这篇论文介绍了一种聪明的侦探工具，叫做“基于影响力的数据审计流水线”。把它想象成一个神奇的放大镜，它不需要重读整本书就能找到错误。研究人员并没有重新训练机器人，而是使用了一个技巧：他们问机器人：“如果我在让你读下一篇故事之前先给你看这个特定的故事，它能帮助你理解，还是会让你感到困惑？”

研究人员构建了一个系统，将相似的故事分组在一起，然后像玩“找不同”的游戏一样测试它们。他们选取一个故事，并让机器人预测结局。接着，他们先给机器人展示一个类似的“提示性”故事（就像一个线索），然后再次让机器人预测结局。如果这个“提示”故事让机器人的预测变得更差了，那就是一个巨大的危险信号。这意味着这两个故事在互相冲突，就像一个在说“始终说真话”，而另一个却在说“在这种情况下可以撒谎”。

团队在两个著名的训练数据集上测试了这个工具。首先，他们检查了一个名为 HelpSteer2 的数据集。他们的工具发现，在数千条记录中，他们可以将人类需要检查的任务量缩减 99.1%。他们揭示了隐藏的错误：人类在一些实际上充满了捏造事实或忽略重要指令的回答上，竟然给出了完美的评分。例如，他们发现有些案例中，机器人因为写了一篇看起来很完美但包含虚假日期和虚假科学文献的文章而受到了表扬，而另一篇包含相同虚假事实的类似文章却被正确地惩罚了。这揭示了一种“表面性偏见”，即人类评审员喜欢文本的外观，却并未检查事实是否真实。

接下来，他们审计了一个名为 HH-RLHF 的数据集，该数据集用于教机器人如何在两个答案之间做出选择。他们发现了数千处隐藏的矛盾，其中人类选出的“正确”答案实际上是危险或无用的。在一个令人恐惧的例子中，一名人类评审员选择了一个建议将漂白剂倒入他人眼睛作为恶作剧的回复，同时拒绝了一个仅仅是请求澄清的安全回复。该工具捕捉到了这些标准检查所遗漏的安全风险。

或许最令人惊讶的是，当他们使用这个工具来检查“测试题”（用于给机器人评分的考试）时，他们发现考试本身也是破碎的。题库中的“正确”答案往往是错误的。在许多情况下，最聪明的机器人实际上选择了更安全、更好的答案，但由于人类编写的答案解析有误，测试却判定它们是“错误”的。这表明，人工智能安全领域的一些重大问题可能并不在于机器人失败了，而在于测试本身是不公平的。

作者谨慎地指出，虽然他们的数学工具在缩小搜索范围方面极其快速且有效，但仍然需要人类（或一个非常聪明的 AI 裁判）来进行最终判断，以确定一个故事是否真的有问题。他们并没有修复数据本身，而是建立了一张高效的地图，精准地指出了哪里存在坑洼，从而让研究人员无需检查每一寸道路就能找到问题所在。通过这种方法，他们将检查大规模数据集的工作量，从查看数千项内容缩减到了仅需关注几十个高优先级的嫌疑对象，这证明了有时，寻找真相最好的方式是观察拼图的碎片是如何相互推挤与拉扯的。

技术摘要：超越 Shapley：一种用于 LLM 对齐与评估的影响力驱动型数据审计流水线

问题陈述

大语言模型（LLM）的对齐正日益受到数据质量而非模型架构的制约。随着数据集规模的扩大，海量的偏好与指令微调语料库中积累了隐藏的结构性矛盾、安全风险以及系统性的人类标注错误。目前的审计方法面临显著局限：

语义去重（Semantic Deduplication）： 在发现文本重复方面有效，但无法捕捉单个记录的功能效用或预测影响。
LLM-as-a-Judge： 虽然具有可扩展性，但这些方法依赖于人类定义的准则，通常存在偏差（例如，对响应长度的偏好），且无法在数学上确定一条记录如何影响模型的预测分布。
Data Shapley： 为数据估值提供了严谨的框架，但计算成本极高（ $O(2^N)$ ）。现有的近似方法要么缺乏记录级的粒度（需要粗粒度分组），要么局限于分类/回归任务，无法处理生成式 LLM 的机制。

目前存在一个关键的技术空白，即如何在不进行高昂计算成本的模型重训练或迭代数据采样的情况下，对生成式 LLM 进行点对点、记录级的数据估值。

方法论

作者提出了一种可扩展的、仅基于推理的数据估值流水线，通过测量条件对数似然（conditional log-likelihood）的偏移来近似 Shapley 值。该工作流由两个主要阶段组成：

第一阶段：影响力测量

语义邻域构建： 将提示词投影到稠密向量空间中（使用 Qwen3-Embedding-4B）。剥离静态系统指令以防止向量稀释。基于余弦相似度构建 $k$ -最近邻（ $k$ -NN）图。
零样本与单样本评分： 对于目标记录 $(x_i, y_i)$ $(x_{i}, y_{i})$ 和邻居 $(x_j, y_j)$ $(x_{j}, y_{j})$ ，流水线计算目标响应 $y_i$ $y_{i}$ 在两种条件下的条件对数似然：
- 基准（ $LL_{base}$ ）： 在仅给定 $x_i$ 的条件下， $y_i$ 的概率。
- 探测（ $LL_{probe}$ ）： 在复合提示词条件下， $y_i$ 的概率，其中 $(x_j, y_j)$ 作为单样本示例置于 $x_i$ 之前。
影响力计算： 预测影响力（ $\Delta LL$ ）定义为差值： $\Delta LL_{i,j} = LL_{probe}(i, j) - LL_{base}(i)$ 。正值的 $\Delta LL$ 表示建设性的影响，而负值则表明存在行为矛盾，即邻居会降低目标的预测概率。
有向图构建： 构建一个有向图 $G=(V, E)$ ，其中边代表从邻居到目标的传递影响力，并由 $\Delta LL$ 加权。

第二阶段：指标推导与审计

从图中导出三个针对每个节点的指标：

示例优势（Exemplified Advantage，被动影响力）： 衡量一条记录从其传入邻居处接收到的聚合影响力。高值意味着冗余。
示例贡献（Exemplifying Advantage，主动影响力）： 衡量一条记录对其传出邻居施加的预测贡献。这通过将 1-shot 上下文学习视为参数更新的零梯度代理，来近似 Data Shapley 值。
独一无二得分（One of a Kind Score，拓扑唯一性）： 基于 $k$ -NN 检索的不对称性量化结构唯一性（即那些能检索到邻居但自身很少被检索到的记录）。

矛盾检测范式：

无监督（隐式标签）： 标记那些示例优势或示例贡献低于阈值（ $\tau_{adv}$ ）的节点，特别关注那些相互降低彼此预测概率的互为最近邻（MNN）记录。
有监督（显式标签）： 针对奖励模型数据集的两阶段过程。首先，隔离具有负向示例贡献的“金标准”（高人类评分）记录。其次，通过寻找具有相似响应行为的低评分邻居来进行“孪生验证”（Twin Verification），以识别标注者之间的一致性问题。

核心贡献

基于影响力的估值框架： 本文引入了一种高度可扩展、仅基于推理的流水线，用于近似生成式 LLM 的 Shapley 值。与以往方法不同，它在 $O(K)$ 次前向传播内完成（其中 $K$ 是邻域大小），无需模型重训练或聚类，并推广到了开放式生成和成对偏好数据。
结构性矛盾检测： 该流水线揭示了广泛使用的数据库（HelpSteer2 和 HH-RLHF）中隐藏的结构性矛盾，而这些矛盾是标准相似性度量无法捕捉的。它识别了那些掩盖了结构性错误（如事实幻觉、忽略约束）的人类奖励记录，这些错误会降低模型性能。
暴露基准测试漏洞： 通过对 HH-RLHF 评估集的审计，该研究证明了高能力模型经常能预测出更安全或更有帮助的响应，却被客观上有缺陷的人类真实标签所惩罚，从而揭示了当前基准测试完整性的脆弱性。

实验结果

该流水线使用 Qwen3.5-9B 作为目标模型，Gemini 3.1 Pro 作为专家仲裁，在两个数据集上进行了评估。

案例研究 1：HelpSteer2

流程： 应用于 21,362 条记录，重点关注 8,434 条完美人类帮助性评分（4/4）的记录。
效率： 将人工审计搜索空间减少了 99.1%（从 8,434 条记录减少到 77 对候选对）。
发现： 识别出 18 对矛盾对和 10 条被错误标记为“完美”的独特记录。错误包括事实幻觉（例如错误的日期）、忽略格式约束以及伪造学术引用。
洞察： 揭示了人类标注中的“表面化偏差”，即结构合理但事实虚假的文本获得了高分。

案例研究 2：HH-RLHF

训练数据审计： 识别出 4,238 个矛盾和 2,841 个独特的有问题记录。类别包括安全性违规（如奖励有毒的顺从行为）、幻觉、无用的回避以及结构性失败。
评估数据审计： 应用于评估集，隔离出 108 条具有确认结构性矛盾的独特记录。
模型分歧： 在这些隔离出的“缺陷”记录上进行测试时，模型与人类标签的分歧率较基准显著上升：
- Qwen3.5-9B (FT): 分歧率从 28.9%（全集）上升至 62.04%（经验证子集）。
- Qwen3.5-27B: 分歧率从 28.67% 上升至 75.00%。
- Gemma3-12B: 分歧率从 38.34% 上升至 63.89%。
结论： 高分歧率证实了模型通常是在预测正确的行为，但基准测试的标签本身存在客观缺陷。

意义与局限性

意义：
本文提供了一个具有数学依据且高效的诊断工具，用于揭示人类标签失效并净化评估基准。它将范式从计算极其昂贵的基于重训练的 Shapley 计算，转向了一种可行的、仅基于推理的方法，同时保持了记录级的粒度。这使得快速识别系统性标注错误和验证基准完整性成为可能。

局限性：

对验证的依赖： 最终验证依赖于 LLM 评估器（如 Gemini），这可能会引入主观偏差和非确定性。
过滤器而非检测器： $\Delta LL$ 指标充当的是异常过滤器，它减少了搜索空间约 99%，但仍需要仲裁者来确认语义规则冲突。
精确度 vs 召回率： 严格的阈值优先考虑精确度，这意味着流水线并不能捕获全部的数据集错误（例如，HH-RLHF 中隔离出的 108 个错误并未涵盖基础模型中约 30% 的完整分歧率）。
人类真实性的规模化难度： 建立大规模人类真实标准来验证标注错误仍然成本极高，这限制了完全验证该流水线召回率的能力。