🤖 AI

Beyond Routing Weights: Faithful Response-Level Interpretation of Mixture-of-Experts Reward Models via Contribution Contrast

本文介绍了贡献对比（Contribution-Contrast, CoCo），一种针对混合专家（Mixture-of-Experts）奖励模型的创新响应级解释方法，该方法通过识别具有最大贡献对比的“被选中-被拒绝”响应对来确定专家的角色，从而克服了基于路由权重分析的局限性，在保持竞争力的准确性的同时，提供了更具忠实度和专业性的解释。

原作者： Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Soyoung Oh, Isabel Valera, Vera Demberg

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Soyoung Oh, Isabel Valera, Vera Demberg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人变得乐于助人、善良且聪明。你不能仅仅用一套死板的规则手册来编程，因为人类的偏好是混乱且复杂的。相反，你向机器人展示成千上万个“好”答案与“坏”答案的例子，让它学习人类喜欢什么。这就是**基于人类反馈的强化学习（RLHF）*的世界，这种技术帮助巨大的 AI 聊天机器人与我们的价值观保持一致。为了实现这一点，AI 使用了一个“奖励模型”（Reward Model），它就像一个严格的老师在给机器人的作业打分。但棘手之处在于，有时这个老师是一个“黑盒”。我们知道它会给出一个好的答案高分，但我们不知道它为什么*决定这么做。是因为答案很有趣？因为它很礼貌？还是因为它遵循了特定的格式？

为了解决这个问题，研究人员最近尝试构建了一种“混合专家”（Mixture-of-Experts, MoE）奖励模型。不要把它看作一个庞大的老师，而要看作一个由 20 位不同专家组成的教室。当一个问题进来时，一个“路由”（Router，就像一位校长）会查看问题，并决定哪位专家应该来评分。也许一位专家擅长数学，另一位擅长创意写作，还有一位擅长提供法律建议。目标是通过观察这些专家接收到了哪些问题，使它们变得易于理解。但正如我们即将探讨的这篇论文所暗示的，仅仅知道谁接到了问题，并不能告诉你他们是如何评分的。

这篇名为《超越路由权重》（Beyond Routing Weights）的论文介绍了一种窥探这些 AI 专家内心世界的新方法。作者们（来自萨尔兰大学及其他机构的团队）认为，仅仅观察一个专家接收了哪些问题，就像是在不品尝菜肴的情况下，仅凭递交给厨师的食材来评判一位厨师。因此，他们提出了一种名为 贡献-对比（Contribution-Contrast, CoCo） 的方法。CoCo 观察的是专家在区分“好”答案与“坏”答案时，其观点产生最大差异的具体时刻。通过比较这些配对，CoCo 能够揭示专家究竟在关注什么——是“简洁性”还是“循序渐进的逻辑”——而不仅仅是他们通常处理的主题。研究人员在两个大型数据集上测试了该方法，发现 CoCo 提供了一个更清晰、更诚实且更详细的图景，展示了这些 AI 专家实际在做什么，且完全没有降低 AI 执行任务的准确性。

问题所在：“校长”与“厨师”

在 AI 奖励模型的世界里，“混合专家”设置就像一所拥有校长和许多老师的学校。校长（路由）阅读学生的提问，并决定哪位老师最适合对其进行评分。如果问题是关于烹饪的，校长会将它发送给“烹饪专家”。如果是关于编程的，它就会被送到“编程专家”那里。

有一段时间，研究人员认为只要通过查看校长的笔记就能理解这些专家。他们会说：“啊，烹饪专家主要接收关于烘焙的问题，所以他们一定是‘烘焙专家’。”这被称为观察路由权重（Routing Weights）。

但本文的作者意识到，这有点像是在不品尝厨师烹饪出的菜肴，而仅凭递交给他们的食材来评判厨师。仅仅因为烹饪专家收到了一个关于烘焙的问题，并不能告诉你他们是如何评判答案的。他们是喜欢详细的食谱？还是讨厌冗长的解释？他们是否在意安全提示？路由权重只告诉了你谁接到了工作，却没有告诉你他们是如何完成工作的。这是一个残缺的故事，遗漏了最重要的部分：实际的决策过程。

解决方案：CoCo（贡献-对比）

为了解决这个问题，团队发明了 CoCo，即贡献-对比（Contribution-Contrast）。与其仅仅询问“谁得到了这个问题？”，CoCo 问的是：“哪位专家在决定这个答案比那个答案更好时，发挥了最大的作用？”

想象你是一名烹饪比赛的评委。你有两道菜：一个是完美的千层饼，另一个是稍微烤焦了的。

旧方法（路由权重）： 你查看计分卡，看到被分配给“意大利专家”来评判这一轮。你得出结论：“意大利专家喜欢面食。”但你不知道他们喜欢这道千层饼是因为它奶酪丰富、热气腾腾，还是因为它上面有罗勒。
CoCo 方法： 你查看计分卡，看到“意大利专家”在对比那道烤焦的菜时，给这道千层饼带来了巨大的加分，而其他专家大多保持中立。于是 CoCo 说：“啊哈！这位意大利专家特别喜爱带有奶酪、热气腾腾且点缀着罗勒的千层饼。”

CoCo 的工作原理是寻找专家意见成为决定性因素的答案对。它将两件事相乘：

该专家获得该问题的可能性（路由权重）。
该专家的评分对最终结果产生了多大的改变（“好”答案与“坏”答案之间的差异）。

通过聚焦于这些高影响力的时刻，CoCo 可以生成一个忠实于专家实际行为的描述。它不仅仅说“这个专家处理烹饪问题”，它会说“这个专家比起模糊的建议，更倾向于详细、循序渐进的烹饪指令”。

研究发现：更清晰的图景

研究人员将 CoCo 与其他方法进行了对比测试，包括旧有的“路由权重”方法，以及一些使用所谓“稀疏自编码器”（Sparse Autoencoders，类似于在巨大的数据堆中寻找隐藏模式）的复杂技术。他们在两个巨大的数据集上进行了测试：一个包含 70 万个样本，另一个来自 Reddit。

结果非常明确。CoCo 生成的解释具有以下特点：

更具忠实度（More Faithful）： 描述与专家在 AI 决策过程中的实际行为高度吻合。当研究人员从 AI 中移除该专家时，AI 的行为变化正如 CoCo 所预测的那样。
更具专业性（More Specialized）： 被 CoCo 描述的专家拥有非常鲜明的个性。一位可能是“严厉的语法警察”，而另一位则是“创意讲述者”。其他方法往往会产生模糊或重复的描述。
同样准确（Just as Accurate）： 至关重要的是，使用 CoCo 来理解专家并没有降低 AI 的性能。奖励模型在挑选最佳答案方面依然表现得同样出色。

在人类测试中，人们在阅读了专家的描述后，认为 CoCo 的描述是最连贯且最有用的。他们能够真正理解这个“教室”里的每位“老师”擅长什么。

为什么这很重要

这篇论文表明，如果我们想要真正理解 AI 是如何做出决策的，我们需要超越表面现象。仅仅知道一个 AI 专家处理什么主题是不够的；我们需要知道他们是如何评估响应质量的。CoCo 提供了一种方法来实现这一点，而无需重新训练 AI 或添加复杂的全新层。它是一个用于“审计”AI 的工具，帮助我们观察我们的数字老师是否真的在教授我们所认为的内容。

作者谨慎地指出，这并不是一个能揭示 AI “真实”隐藏思想的魔杖。解释的质量取决于 AI 最初被训练得有多好。如果训练数据是混乱的，那么专家也可能是混乱的。然而，在现有技术的限制范围内，CoCo 为我们提供了观察这些专门化 AI 奖励模型内心世界的、最诚实且最详细的窗口。它让我们从“根据专家接触的对象来猜测他们的行为”，转向了“理解他们究竟是如何评判所做的工作”。

技术摘要：超越路由权重：通过贡献对比实现对混合专家奖励模型的忠实响应级解释

1. 问题陈述

奖励模型是基于人类反馈的强化学习（RLHF）以及使大语言模型（LLM）与人类偏好对齐的核心。然而，理解驱动其预测的具体属性仍然具有挑战性。虽然最近的稀疏混合专家（MoE）奖励模型试图通过将提示词（prompts）路由到专门的专家来提高可解释性，但目前的解释方法仍显不足。

现有方法（如 Wang 等人，2026）通过具有最高路由权重（routing weights）的示例来表征专家。这种方法揭示了专家接收哪些提示词（提示词层面的领域），但无法解释专家是如何判断响应（responses）的。因此，这些解释只能部分解释专家行为，捕捉的是输入分配的上下文，而非直接解释模型决策的响应级偏好维度。此外，像基于分数的排序等替代方法忽略了路由权重，可能会强调那些专家具有高分数方差但对最终奖励整体影响较低的示例。

2. 方法论：贡献对比 (Contribution-Contrast, CoCo)

作者提出了 贡献对比 (CoCo)，这是一种响应级解释方法，旨在忠实地表征 MoE 奖励模型中专家的角色。

核心概念

CoCo 超越了单纯的路由权重或原始分数差异。相反，它使用贡献对比作为主要的解释信号。对于给定的偏好对 $(x, y_w, y_l)$ 和专家 $k$ ，符号化的贡献对比定义为：
$\Delta c_k(x, y_w, y_l) = \pi_{\phi,k}(x) [r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$
其中 $\pi_{\phi,k}(x)$ 是路由权重， $[r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$ 是被选中响应与被拒绝响应之间的分数差异。量值 $c_k$ 衡量了专家区分这两者强度的程度，而符号则指示了专家支持哪一个响应。

解释提取

为了解释一个专家，CoCo 选择具有最大贡献对比幅值的排名前 10 的验证示例。随后，使用 LLM 对这些对进行总结，以提取共同的对比模式，识别该模式是与共享上下文相关、与一致的偏好维度相关，还是两者兼有。

正则化

为了鼓励稀疏且多样化的贡献模式，作者改编了现有的可解释性正则化项（局部稀疏性、全局平衡和专家多样性，源自 Wang 等人，2026）。他们并非将这些正则化应用于路由权重，而是应用于偏好对的贡献对比剖面（contribution contrast profiles）。这种轻量级的改编在不改变底层 MoE 架构的情况下，使可解释性约束与对比贡献信号保持一致。

基线模型

本文将 CoCo 与以下方法进行了对比：

基于路由器的 (Router-based)： 按路由权重对示例进行排序（捕捉提示词层面的领域）。
基于分数的 (Score-based)： 按绝对专家分数差异对示例进行排序（捕捉响应级维度，但忽略了路由影响）。
基于 SAE 的 (SAE-based)： 使用稀疏自编码器（Sparse Autoencoders）提取特征的方法，如 SARM 和 WIMHF。

3. 核心贡献

新颖的解释信号： 本文引入了贡献对比作为一种信号，它能同时捕捉路由行为和偏好行为，解决了路由权重本身无法解释响应级决策的空白。
响应级表征： 不同于识别提示词领域的基于路由的方法，CoCo 能够识别响应级的偏好维度（例如，“简洁的建议而非冗长的列表”），这些维度忠实地反映了模型的实际决策过程。
mathematically
系统性研究： 本工作是对专门针对 MoE 奖励模型的解释方法进行的首次系统性研究，对比了基于路由、基于分数以及基于 SAE 的替代方案。
正则化改编： 作者展示了如何改编稀疏性和多样性正则化，使其作用于贡献对比而非路由权重，从而增强了专家角色的显著性。

4. 实验结果

作者在 700K (Dong et al., 2024) 和 Reddit (Ethayarajh et al., 2022) 两个数据集上评估了 CoCo，使用的是一个 3B 参数的 MoE 奖励模型。

自动评估

CoCo 在多个指标上均优于现有基线（SARM, WIMHF, SMoE）及替代信号（基于路由、基于分数）：

解释质量： CoCo 获得了最高的忠实度（Fidelity，即信号与 LLM 判断示例是否遵循该解释之间的相关性）。虽然 SMoE 在 700K 数据集上的冗余度（Redundancy）较低，但 CoCo 展示了强大的整体可解释性，在显著性与高忠实度和可靠性之间取得了平衡。
决策忠实性： CoCo 展示了卓越的专家-模型一致性（Expert-Model Agreement，即专家与完整模型达成一致的 top 示例比例）和移除翻转率（Removal Flip Rate，即移除该专家后改变模型预测的比例）。
专家专业化： 与其他方法相比，CoCo 专家在其排名靠前的示例上展示了更高的专家准确率（Expert Accuracy）和相对专家优势（Relative Expert Advantage）。

人类评估

五名标注员在 Reddit 数据集上对每种方法的五个专家的前 10 个示例进行了评估。CoCo 在模式连贯性（Pattern Coherence）和描述质量（Description Quality）方面均获得了最高评分，这表明其解释比基于路由或基于 SAE 的方法更具连贯性，且能更好地描述专家的角色。

消融实验

在同一 MoE 模型下使用不同训练目标的对比证实，贡献对比信号是选择信息量丰富的示例集的最高效方式。即使应用于使用基于路由或基于分数目标训练的模型，CoCo 的解释仍然比源自其他信号的解释更具忠实性和专业性。

5. 重要性与主张

本文声称，与现有的替代方案相比，CoCo 为 MoE 奖励模型专家提供了更连贯、忠实且专业化的解释。通过同时捕捉路由行为和偏好行为，CoCo 比孤立地使用路由权重或专家分数更能提供关于理解模型决策的信息基础。

作者对其主张保持了审慎的态度：

他们承认 CoCo 取决于底层 MoE 模型所学习到的结构，无法保证学习到的专家一定对应于“纯净”或具有语义意义的偏好维度。
他们指出，作为一个以数据为中心的方法，CoCo 可能会在训练数据中缺乏或弱表征模式时失效。
他们澄清，其指标（忠实度、可靠性等）是行为连贯性和决策一致性的证据，而非证明存在“地面真值”（ground-truth）解耦的证明。
在伦理方面，他们将 CoCo 定位为一种审计工具而非验证人类理想价值观的工具，指出解释可能会反映底层数据中存在的偏差。

总之，本文确立了贡献对比作为解释 MoE 奖励模型的优越信号，为理解这些模型如何与人类偏好对齐提供了一条更透明且具操作性的路径。