💬 NLP

REAR: Test-time Preference Realignment through Reward Decomposition

本文介绍了 REAR，这是一个无需训练的测试时框架，它通过分解奖励函数以选择性地重新缩放奖励组件，从而使大型语言模型与多样化的用户偏好保持一致，进而将高效的测试时扩展从可验证领域扩展到复杂的偏好对齐任务。

原作者： Fuxiang Zhang, Pengcheng Wang, Chenran Li, Yi-Chen Li, Yuxin Chen, Lang Feng, Chenfeng Xu, Masayoshi Tomizuka, Bo An

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fuxiang Zhang, Pengcheng Wang, Chenran Li, Yi-Chen Li, Yuxin Chen, Lang Feng, Chenfeng Xu, Masayoshi Tomizuka, Bo An

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、训练有素的机器人助手（一个大语言模型）。这个机器人通过大量的训练数据，学会了如何变得乐于助人、礼貌且准确。然而，有时你会有一个非常具体、个人的请求。也许你想让机器人以一种“有趣但不像电子游戏”的方式来解释数学；或者你想让它扮演一个“脾气暴躁的老侦探”。

问题在于，机器人的默认设置可能并不完全符合你的特定情绪或偏好。通常，为了解决这个问题，你必须送机器人回“学校”（重新训练）并使用新数据，这既昂贵、缓慢，又需要大量资源。

这篇论文介绍了一个巧妙的技巧，叫做 REAR（通过奖励分解进行重对齐），它能让你在机器人与你交谈的当下就修正它的行为，而无需送它回学校。

以下是它的工作原理，通过简单的类比进行了拆解：

1. 问题所在：机器人的“默认设置” vs. 你的“愿望”

把机器人的大脑想象成有两个不同的声音在同时说话：

声音 A（问题）： “我该如何正确回答这个数学题？”
声音 B（偏好）： “我该如何在回答时表现得脾气暴躁，并且避免使用电子游戏的隐喻？”

当机器人接受训练时，它学习的是这两类声音的混合体。但当你提出一个特定的问题时，这种混合比例可能会出错。也许它太专注于“正确性”，而忽略了你要求它“脾气暴躁”的要求。

2. 解决方案：“音量旋钮”（奖励分解）

作者们意识到，他们可以用数学方法将这两个声音分离开来。他们将机器人的内部“奖励”（即完成得好的感觉）视为两种不同的成分：

问题成分： 它对提示词（Prompt）的回答有多好？
偏好成分： 它在多大程度上遵循了你特定的风格？

REAR 就像是一个你可以在对话过程中调节的音量旋钮。

如果你把旋钮调大，机器人会更多地听从你的“偏好”声音。
如果你把旋钮调小，它会更多地听从“问题”的声音。

神奇之处在于，他们发现仅利用机器人自身的内部思维（其概率得分），就能计算出这个音量旋钮。你不需要新的老师，也不需要新的数据集；你只需要利用机器人现有的脑力来进行自我平衡。

3. 策略：“不断尝试，不断改进”（测试时缩放）

由于机器人无法瞬间知道哪个答案才是完美的，REAR 使用了一种名为 测试时缩放（Test-Time Scaling） 的策略。可以这样理解：

“N 选 1”法（Best of N）： 想象你让机器人写一个故事。与其接受第一个草稿，不如要求它在通常写一个故事的时间内，写出 16 个不同的版本。
评分卡： 对于这 16 个版本中的每一个，REAR 都会充当评委。它利用那个“音量旋钮”数学公式来为它们评分。它会问：“这 16 个故事中，哪一个既最好地回答了问题，又遵循了‘脾气暴躁的侦探’这种风格？”
优胜者： 机器人挑选得分最高的那个版本并将其呈现给你。

他们还使用了一种更高级的版本——树搜索（Tree Search）（就像侦探在迷宫中探索不同的路径一样）。机器人不仅仅是写出 16 个完整的句子，而是在每一步选择句子时进行探索，不断检查得分，以确保自己始终行驶在正确的轨道上。

4. 为什么这很重要

无需训练： 你不需要重新训练机器人。这就像是在听广播时调节电台频率，而不是去买一台新收音机。
适用于任何场景： 他们展示了这不仅适用于“脾气暴躁的侦探”，也适用于复杂的数学问题，甚至是视觉任务（例如观察一张图片并准确描述，而不凭空捏造）。
高效： 因为它利用机器人自身的数学逻辑，所以不需要加载另一个沉重的“裁判”程序来检查答案。相比之前的各种方法，它更快、更便宜。

总结

REAR 是一个工具，它能让你在 AI 工作的过程中，即时定制其个性或关注点。它通过在数学上将“回答问题”与“遵循你的风格”分离，然后利用“尝试多种选项并挑选最佳项”的策略来找到完美的响应。这就像是一个可以即时控制 AI 个性的遥控器，而无需从头开始重建 AI。

技术摘要：REAR：通过奖励分解实现测试时偏好重对齐

问题陈述

将大语言模型（LLMs）与多样化且个性化的用户偏好进行对齐是一个关键挑战。虽然基于人类反馈的强化学习（RLHF）等后训练方法非常有效，但它们需要高昂的数据策展和额外的训练成本，导致其在面对动态或特定用户需求时缺乏灵活性。测试时缩放（Test-Time Scaling, TTS）提供了一种无需训练的替代方案，通过在推理过程中利用额外的计算量来提高输出质量。然而，现有的 TTS 方法主要局限于可验证领域（如数学、编程），因为这些领域的正确性易于判断。将 TTS 应用于偏好对齐非常困难，因为响应质量是整体性的，无法简化为简单的可验证答案。目前的测试时对齐方法通常会施加固定的计算开销，或需要训练价值头（value heads），这限制了其可扩展性和效率。

方法论

本文介绍了 REAR (REAlignment Reward)，这是一个将测试时偏好对齐框架化为**重对齐问题（realignment problem）**的新颖框架。其核心洞察在于：基座模型的训练目标在推理时可能无法最优地满足特定用户的偏好。REAR 通过将底层的奖励函数分解为两个组成部分并动态调整它们的权重比例来解决这一问题。

1. 奖励分解

作者在最大熵强化学习（Maximum Entropy RL）框架内形式化了预训练 LLM 的奖励结构。他们假设对于状态 $s$ （问题）和偏好 $x_p$ ，奖励 $r(s \oplus x_p, a)$ 可以分解为：

问题相关奖励 ( $r_0$ )： 基座模型为了正确回答问题而最大化的隐式奖励。
偏好相关奖励 ( $r_p$ )： 捕捉响应在多大程度上满足偏好 $x_p$ 的奖励成分。

复合奖励建模为 $r(s \oplus x_p, a) = r_0(s, a) + \alpha r_p(s \oplus x_p, a)$ ，其中 $\alpha$ 是一个内在的平衡系数。

2. 重对齐奖励 (REAR)

为了使模型针对特定用户进行重对齐，REAR 引入了一个可控系数 $\hat{\alpha}$ （或 $\lambda = \hat{\alpha}/\alpha$ ）来在推理期间缩放偏好成分：
$r_{REAR}(s \oplus x_p, a) = r_0(s, a) + \hat{\alpha} r_p(s \oplus x_p, a)$

至关重要的是，作者推导出了这种奖励的高效计算公式。通过利用最大熵强化学习中最优策略与价值函数之间的关系，他们证明了 $r_{REAR}$ 可以表示为 Token 级策略对数概率的线性组合：
$S_{REAR}(\tau) = \sum_{t=0}^{T} \gamma^t \left( (1-\lambda) \log \pi(a_t|s_t) + \lambda \log \pi(a_t|s_t \oplus x_p) \right)$
该评分函数仅依赖于基座模型在两种上下文下的对数概率：仅包含问题的提示词，以及包含偏好的完整提示词。它不需要训练单独的奖励模型，也不需要生成额外的 Token 进行评分。

3. 与测试时缩放集成

REAR 评分被集成到两种 TTS 算法中：

Best-of-N (BoN) 采样： 生成 $N$ 个响应，并选择具有最高 $S_{REAR}$ 分数的响应。
多样化验证器树搜索 (DVTS)： 一种树搜索算法，使用 REAR 评分来引导分支扩展和选择，在优化偏好对齐的同时促进多样性。

核心贡献

重对齐的形式化： 本文将测试时偏好对齐形式化为一个重对齐问题，提出了作为分解目标之高效计算来源的 REAR。
无需训练的评分： REAR 仅由基座模型的内部概率导出，不需要额外的训练、奖励模型训练或推测性生成步骤。
可扩展算法： 作者开发了两种由 REAR 引导的可扩展测试时算法（BoNS 和 DVTS），能够随着样本预算的变化增强生成性能。
泛化性： 该方法通过注入特定任务的偏好文本，展示了其不仅能应用于显式偏好对齐，还能泛化到数学推理和视觉任务。

实验结果

作者在多个基准测试上使用 Qwen 和 Llama 模型对 REAR 进行了评估：

偏好对齐基准： 在 PrefEval（涵盖显式/隐式偏好和选择）、Multifaceted Bench 以及 Ping-Pong（角色扮演）上，由 REAR 引导的方法（包括 BoN 和 DVTS）一致优于包括贪婪解码、Amulet、线性对齐 (LA) 和带有生成式奖励模型的 Best-of-N (GenRM) 在内的基线模型。例如，在各项指标上，DVTS 结合 REAR 比贪婪解码平均提升了 11.6%。
长上下文鲁棒性： 与随着上下文长度增加而性能显著下降的 GenRM 相比，REAR 在长上下文场景（高达 16k tokens）中表现出更强的鲁棒性。
数学推理： 当应用于带有适当偏好文本（例如“扮演严谨的数学家”）的数学任务（MATH500, AIME, AMC）时，REAR 引导的选择优于多数投票法，显示出持续的缩放增益。
视觉任务： 在用于视觉幻觉检测的 MMHal-Bench 上，与贪婪解码和 GenRM 相比，REAR 提高了整体得分并降低了幻觉率。
跨模型迁移： 该方法无需针对特定模型进行微调即可泛化到 Llama-3.1-8B-Instruct，证实了奖励分解并非 Qwen 系列模型所特有。
效率： 由于 REAR 引导的方法避免了加载单独的模型并依赖单次前向传播进行评分，因此比需要外部奖励模型或迭代优化（如 Amulet）的基线方法显著更快。

意义与主张

本文声称 REAR 提供了一个可扩展且通用的解决方案，用于在测试时将 LLM 与用户偏好对齐，而无需训练开销或外部奖励模型。通过将奖励分解为问题和偏好两个部分，REAR 实现了对回答问题与遵循偏好之间权衡的动态控制。

作者强调，REAR 使测试时缩放能够扩展到主观、开放式领域（如偏好对齐和角色扮演），而在这些领域中传统的验证器往往失效。他们指出，虽然默认的 $\lambda = 20$ 在许多任务中都能稳健运行，但该方法允许用户调节重对齐的强度。这项工作旨在使测试时对齐更加易于获取且更高效，弥合了 TTS 在可验证领域取得成功与处理主观偏好对齐复杂性之间的差距。

承认局限性： 作者指出，REAR 向用户暴露了一个可调超参数 ( $\lambda$ )，对于具有显著不同偏好分布的任务，可能需要进行小规模的验证搜索。此外，虽然 TTS 比微调更轻量，但确定最优计算预算仍是未来的研究方向。