💬 NLP

AdaJudge: Adaptive Multi-Perspective Judging for Reward Modeling

AdaJudge 是一个统一的框架，它通过将骨干表示共同适配到判别导向空间，并将静态池化替换为自适应多视图聚合模块，从而增强了奖励建模，并在关键基准测试上超越了现有模型。

原作者： Yongliang Miao, Yangyang Liang, Mengnan Du

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Yongliang Miao, Yangyang Liang, Mengnan Du

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位法官来评判两个故事中哪一个更好。在人工智能的世界里，这个“法官”被称为奖励模型（Reward Model）。它的工作是观察一个问题和两个可能的答案，然后给出一个分数，以说明人类会更倾向于哪一个。

长期以来，这些 AI 法官一直使用一种非常僵化、一刀切的方法来履行职责。AdaJudge 这篇论文指出这种旧方法存在缺陷，并提出了一种更聪明、更灵活的方式来构建这些法官。

以下是问题的拆解与解决方案，使用了简单的类比：

问题：“单招”法官

想象一位法官只有两种读书的方式：

“最后一页”法官： 这位法官只读故事的最后一句，以此来决定故事是否优秀。
“平均页面”法官： 这位法官会阅读每一页，计算平均质量，并根据这个结果做出决定。

论文指出，这两类法官都有一个严重的盲点：

“最后一页”法官擅长捕捉那些结局糟糕的故事（比如数学题算错了答案），但他们会忽略故事的中间部分是否充满了谎言或逻辑错误。
“平均页面”法官擅长察觉整个故事是否感觉安全且礼貌，但如果故事长达 100 页，那么其中的“坏”部分可能会被大量的“好”部分所稀释，使得一个危险的故事看起来很安全。

类比： 这就像是在评判一道复杂的菜肴。

如果你只品尝最后一口（Last Token），你可能会错过整碗汤其实一直很咸。
如果你从中间舀一勺（Mean Pooling），你可能会错过最后的甜点其实烤焦了。
旧的 AI 法官被迫在这些“品尝方法”中选其一，并且无论在评判什么样的“食物”（任务）时都必须坚持这一种方法。这导致了错误的发生。

解决方案：AdaJudge（自适应法官）

作者创建了 AdaJudge，这是一个新的框架，它扮演着一个聪明的、多视角的侦探的角色。AdaJudge 不再强迫 AI 只能用一种方式阅读文本，而是根据它正在回答的具体问题来改变策略。

它分为两个阶段：

第一阶段：磨炼镜头（自适应表示精炼）

在法官开始阅读之前，AdaJudge 会给 AI 的大脑进行一次“体能训练”。

类比： 想象 AI 的大脑是一个模糊的相机。在拍摄答案的照片之前，AdaJudge 使用一个特殊的滤镜来锐化图像。它会突出那些细微的线索（比如一个微小的逻辑错误或隐藏的安全违规），而这些线索是普通相机通常会错过的。
运作方式： 它通过几个额外的、轻量级的层来“精炼”信息，使 AI 更容易识别出优秀答案与糟糕答案之间的差异。

第二阶段：动态专家组（多视角聚合）

这是核心创新。AdaJudge 不仅仅设立了一位法官，而是建立了一个由三位专家组成的专家组，并且配备了一位聪明的经理来决定应该听取每位专家的多少意见。

专家 A（最后 Token）： 专注于最终结论。
专家 B（平均值）： 观察整体氛围和一致性。
专家 C（注意力机制）： 扫描全文以寻找特定的、零散的线索（例如隐藏在第 3 段中的安全违规行为）。

聪明的经理（路由程序/Router）：
当一个问题进来时，经理会观察提示词（Prompt）并询问：“这是一个什么样的任务？”

如果是数学题： 经理会说：“我们需要仔细检查最终答案！”然后主要听取专家 A的意见。
如果是安全问题： 经理会说：“我们需要扫描全文以寻找隐藏的危险！”然后主要听取专家 C的意见。
如果是创意写作任务： 经理会说：“让我们看看流畅度和语调，”然后主要听取专家 B的意见。

这一切都是针对每一个问题即时发生的。AI 不仅仅是在选择一种策略；它是在进行自适应。

结果

论文将这种新的法官与旧有的“单招”法官以及一些非常庞大、昂贵的 AI 模型进行了对比测试。

更高的准确度： AdaJudge 在困难的基准测试（RM-Bench 和 JudgeBench）中表现得持续更高。
高效性： 即使使用较小的、更便宜的 AI 模型作为基础，AdaJudge 的表现也优于那些使用旧有、僵化方法的更大、更昂贵的模型。
灵活性： 它解决了“数学 vs 安全”的冲突。它既能在数学逻辑上保持严谨，又能在安全检查上保持彻底，而旧有的法官必须在两者之间做出牺牲。

总结

AdaJudge 就像是从一位总是用放大镜看最后一页的法官，升级到了一位拥有专家团队和聪明经理的法官。经理观察案件，决定需要哪位专家，并将他们的见解结合起来，做出尽可能最公正、最准确的决定。这使得 AI 对齐（教导 AI 遵循人类偏好）变得更加可靠。

技术摘要：AdaJudge

问题陈述

奖励模型对于使大语言模型（LLMs）与人类偏好对齐至关重要，然而当前的架构面临两个根本性的结构性限制：

静态归纳偏置（Static Inductive Bias）： 主流的奖励模型依赖于固定的池化策略（例如，最后一位标记池化或平均池化）来将序列表示压缩为标量分数。这导致了与任务依赖型偏好信号之间的不匹配。例如，推理任务通常需要局部终端线索（倾向于最后一位标记池化），而安全性或连贯性任务则需要全局、分布式的证据（倾向于平均池化）。单一的静态策略迫使模型在两者之间进行权衡，往往无法捕捉特定领域所需的空间分布证据。
表示不匹配（Representational Mismatch）： 主干 LLM 是针对下一标记预测（生成式任务）进行优化的，而奖励模型则需要细粒度的成对判别。因此，主干模型的原始隐藏状态可能缺乏必要的特征，以在没有进一步适配的情况下区分微妙的偏好线索，例如逻辑不一致或轻微的约束违反。

现有的解决方案通常依赖于扩展数据或模型规模，或者使用多个模型的计算密集型集成来实现适应性，但这并未解决单个模型奖励头存在的根本性架构僵化问题。

方法论：AdaJudge

作者提出了 AdaJudge（自适应多视角判别），这是一个统一的两阶段框架，旨在无需标记级或过程级监督的情况下，协同实现表示适配与聚合适配。

第一阶段：自适应表示精炼（Adaptive Representation Refinement）

为了解决表示不匹配问题，AdaJudge 在主干 LLM 之后引入了一个轻量级的迭代精炼模块。

机制： 该模块由 $K$ 个连续的 Transformer 块组成。
深度门控（Depth-Gating）： 通过对主干特征进行平均池化得到一个全局序列级上下文向量，该向量通过一个门控网络产生混合系数 $\alpha$ 。
精炼： 最终的精炼表示 $\tilde{H}$ 是所有中间隐藏状态（从 $H^{(1)}$ 到 $H^{(K)}$ ）的凸组合。这使得模型能够根据输入样本的复杂度，动态地强调浅层线索或累积深层推理痕迹。

第二阶段：多视角聚合（Multi-Perspective Aggregation）

为了解决静态归纳偏置问题，AdaJudge 使用一个 领域感知门控混合池化（Domain-Aware Gated Mixture-of-Pooling） 头取代了固定的读出（readout）机制。

并行专家： 精炼后的表示 $\tilde{H}$ $\tilde{H}$ 通过三个并行的池化专家进行处理：
1. 最后一位标记池化 ( $z_L$ )： 捕捉对结论敏感的信号。
2. 平均池化 ( $z_M$ )： 捕捉全局风格和连贯性属性。
3. 注意力池化 ( $z_A$ )： 检测序列中任何位置的稀疏异常。
提示词条件路由（Prompt-Conditioned Routing）： 通过对提示词标记进行平均池化得到一个独立的提示词表示 ( $z_P$ )。路由网络接收拼接向量 $[z_L; z_M; z_A; z_P]$ ，并通过 Softmax 输出混合权重 $\pi$ 。
动态评分： 最终的奖励分数 $r(x, y)$ 是三个视角分数（ $s_L, s_M, s_A$ ）的门控混合，并由 $\pi$ 进行加权。这使得模型能够根据特定提示词所需的证据空间分布，自适应地选择最佳的聚合策略。

优化

模型使用 Focal Bradley–Terry 目标函数 进行训练。损失函数包含一个 Focal 项以强调困难样本，以及一个熵正则项以防止路由分布坍缩到单一视角，从而确保模型保持多样化的聚合策略。

核心贡献

识别结构性不匹配： 本文正式指出，以生成为中心的主干模型缺乏细粒度的判别特征，且固定的池化方式无法捕捉偏好证据的多粒度特性。
统一框架： 引入了 AdaJudge，它通过深度门控块实现表示精炼，并通过领域感知路由实现证据聚合，且无需外部监督。
经验优越性： 在不同领域和模型规模下，证明了其性能持续优于强大的现成奖励模型及受控基线（相同主干，不同头部）。

实验结果

实验在 RM-Bench 和 JudgeBench 上进行，使用了基于 HelpSteer3 数据集训练的 Phi-3.5-mini-instruct、Qwen3-4B 和 Qwen3-8B 基座模型。

性能提升： AdaJudge 显著优于传统的池化基线。值得注意的是，配备 AdaJudge 的 Qwen3-8B 模型（RM-Bench 总分 71.1）超越了参数量大得多的 27B 参数 Skywork-Reward-Gemma-2 模型（70.5），展示了极高的参数效率。
解决权衡问题： 静态基线表现出冲突的性能剖面（例如，最后一位标记池化在安全性任务中表现出色，但在数学任务中表现不佳；平均池化则相反）。AdaJudge 实现了“帕累托改进（Pareto improvement）”，同时最大化了数学（80.4）、安全性（87.5）以及在困难子集上的鲁棒性（43.0）。
消融实验：
- 去除精炼阶段会导致推理密集型任务（数学和代码）的性能显著下降，证实了适配表示空间的必要性。
- 静态单视角基线（最后一位标记、平均、注意力）的表现始终低于自适应混合模型，尤其是在基准测试的“困难（Hard）”子集上。
内部机制分析：
- 对齐性： 迭代精炼增加了评分方向与真实偏好差异之间的余弦相似度，特别是在平均池化和注意力池化视角下。
- 路由行为： 门控机制学习到了各领域不同的聚合模式（例如，在代码/数学任务中对注意力池化赋予更高权重，而在安全性任务中对平均池化赋予更高权重），验证了模型适应领域特定证据分布的能力。

意义

本文认为，固定聚合策略的僵化是奖励建模的主要瓶颈。通过将表示精炼与证据聚合解耦，AdaJudge 证明了动态、实例自适应的架构可以克服静态归纳偏置的局限性。这项工作表明，未来的奖励建模不应仅仅关注数据或模型规模的扩展，而应关注能使内部表示与聚合策略与特定评估任务的特定空间和逻辑需求相匹配的架构灵活性。

局限性

作者承认存在以下局限性：

可扩展性： 目前的验证仅限于参数量在 8B 以下的模型；其在极端规模模型（70B+）上的有效性仍有待探索。
延迟： 虽然是轻量级的，但迭代精炼和路由网络相比于标准的固定池化基线，会引入额外的参数和推理延迟。
专家库： 当前实现使用了一组固定的三个池化专家。虽然该框架具有可扩展性，但最优的专家集合以及自动发现专家的潜力仍是开放性问题。
模态： 目前的评估仅限于纯文本偏好建模，未来可能扩展到多模态输入。