🤖 machine learning

Distribution-Aware Reward: Reinforcement Learning over Predictive Distributions for LLM Regression

本文介绍了分布感知奖励，这是一种强化学习目标，它通过利用连续排序概率分数评估多个解码样本来优化大语言模型，使其为回归任务生成校准的预测分布，从而相较于传统的点估计训练方法，提升了不确定性估计、排序性能和鲁棒性。

原作者： Jungsoo Park, Hyungjoo Chae, Ethan Mendes, Jay DeYoung, Varsha Kishore, Wei Xu, Alan Ritter

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Jungsoo Park, Hyungjoo Chae, Ethan Mendes, Jay DeYoung, Varsha Kishore, Wei Xu, Alan Ritter

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《分布感知奖励：基于预测分布的强化学习用于大语言模型回归》的通俗解释，辅以生动的类比。

核心难题：“独狼”与“团队”

想象一下，你试图猜测室外的确切温度。你有一位非常聪明的 AI 助手（大语言模型，LLM），它可以根据天气描述给你一个数字。

旧方法（点式奖励）：
目前，大多数 AI 训练就像一位严厉的老师给单个学生的答案打分。

AI 猜测"72°F"。老师检查："72 接近真实的 70 吗？是的。干得好。”
AI 猜测"75°F"。老师检查："75 接近 70 吗？不。做得差。”
缺陷： AI 学会了成为一只“独狼”。它试图每次都击中靶心。但如果它害怕犯错，可能会开始每次都猜测全年的平均温度（比如 60°F）。它变得安全了，但失去了所有多样性。它无法告诉你它有多“确定”。如果真实温度是 70，而 AI 每次都说是 60，从平均意义上讲它确实“接近”，但作为一个预测器它非常糟糕，因为它从不变化。

新方法（分布感知奖励）：
这篇论文介绍了一种名为分布感知奖励（DAR）的新方法。老师不再只根据一个猜测给 AI 打分，而是要求 AI 同时做出12 个不同的猜测。

AI 说：“我认为可能是 68、69、70、71、72、73、74、75、76、77、78 或 79。”
老师不再只看一个数字，而是审视整个猜测群体。
目标： 老师希望这个群体围绕真实答案（70）居中，同时分布得足够开，以表明 AI 正在考虑不同的可能性。

核心理念：“留一法”评分

老师如何判断哪些猜测是好的？他们使用了一个巧妙的技巧，称为留一法信用分配（Leave-One-Out Credit Assignment）。

想象 AI 的 12 个猜测是一群向靶子射箭的弓箭手组成的团队。

旧方法： 老师挑选一名弓箭手，看他的箭是否射中靶心，然后给他打分。如果一名弓箭手射得稍偏，但帮助团队覆盖了更广的范围，他反而会受罚。
新方法（DAR）： 老师问：“如果我们从团队中移除这名特定的弓箭手，团队的整体表现会变差吗？”
- 如果移除一名弓箭手会让团队的分布看起来太窄或有偏差，那么这名弓箭手就会获得高奖励，即使他的箭离靶心不是最近的。
- 如果移除一名弓箭手没有任何改变（因为另一名弓箭手就站在他旁边），那么这名弓箭手就会获得低奖励，因为他是多余的。

这教会了 AI 既要多样又要准确。它学会了说“我相当确定是在 70 左右，但也可能稍低或稍高”，而不是仅仅喊出一个数字。

测试场景

研究人员在三种不同类型的问题上测试了这种新的“团队评分”方法：

合成数学（训练健身房）： 他们创造了一个假数学问题，其中答案以复杂的波浪模式变化。
- 结果： 旧方法（单次猜测）感到困惑，并将波浪压平了。新方法（团队猜测）完美地跟随了波浪模式，即使是在它从未见过的区域。
代码性能（程序员）： 他们让 AI 猜测一段计算机代码的运行速度或内存占用量。
- 结果： 新方法在排序方面表现更好。如果你有 100 段代码，想知道哪些最慢，新方法能比旧方法更准确地将它们排序。它不仅仅是猜测平均速度，而是理解了快代码和慢代码之间的差异。
分子性质（化学家）： 他们给 AI 化学式（以文本字符串形式）并要求它预测诸如化学物质在水中的溶解度等属性。
- 结果： 尽管 AI 只看到了文本（而不是 3D 化学模型），但其表现与或优于专门的化学计算机。它更擅长预测可能值的范围，这对科学家来说至关重要。

为何这很重要

该论文声称，通过训练 AI 关注其猜测的形状（分布），而不仅仅是单个猜测的准确性，AI 变得：

更擅长排序： 它能告诉你哪个项目“更可能”是高值或低值。
更擅长处理不确定性： 它知道何时是在胡乱猜测，何时是充满信心的。
更稳健： 它不会退化为每次都给出同样无聊的答案。

总结

可以把旧方法想象成训练学生死记硬背考试的精确答案。而新方法（DAR）则训练学生充分理解概念，以便给出一系列合理的答案，并解释为什么答案会有所不同。这使得 AI 成为科学和工程中更可靠的工具，因为在这些领域，了解“误差范围”与数字本身同样重要。

技术摘要：面向分布感知的奖励机制用于大语言模型回归

问题陈述

大语言模型（LLM）已展现出从异构输入（文本、代码、分子字符串）预测实数量的能力。然而，大语言模型回归的标准训练目标——例如监督微调（SFT）或基于逐点奖励（如负均方误差）的强化学习（RL）——将每个解码出的浮点数视为独立的预测。

这种方法优化了单个点估计，却未能确保采样预测集合形成校准的预测分布。因此，模型往往产生 individually 接近目标但 collectively 校准不佳、过窄或单侧的预测。这种“趋均值”行为导致预测分布坍缩，无法捕捉必要的不确定性或相对排序。这一局限性阻碍了需要候选排序、不确定性估计或在不确定性下进行稳健决策的应用，在这些应用中，可能值的分布与单一最佳估计同样重要。

方法论：分布感知奖励（DAR）

作者提出了分布感知奖励（DAR），这是一种同策略强化学习目标，旨在优化由多个解码样本形成的整个预测分布的质量，而非孤立地优化单个 rollout。

核心机制

经验预测分布：对于给定输入 $x$ ，模型采样 $K$ 个 rollout，生成一组预测 $\{p_{ik}\}_{k=1}^K$ 。该集合被视为经验预测分布 $F_i$ 。
基于 CRPS 的评分：使用**连续排序概率分数（CRPS）**评估该分布相对于真实目标 $y_i$ $y_{i}$ 的质量。CRPS 是一种严格评分规则，它奖励那些既准确（集中在目标附近）又适当分散（避免退化）的分布。
- 整个集合的奖励定义为 $S_i = -\text{CRPS}(F_i, y_i)$ 。
留一法信用分配：由于强化学习需要为每个单独 rollout 分配标量奖励以更新策略，DAR 将分布级评分转化为 rollout 级反馈。它通过比较完整集合的 CRPS（ $S_i$ $S_{i}$ ）与移除该 rollout 后的集合 CRPS（ $S_i^{(-k)}$ $S_{i}^{(- k)}$ ），计算每个 rollout $p_{ik}$ $p_{ik}$ 的边际贡献。
- Rollout 奖励为： $R_{ik}^{\text{DAR}} = S_i - S_i^{(-k)}$ 。
- 如果移除某个 rollout 会恶化分布（降低取反后的 CRPS），即使该 rollout 的个体逐点误差较高，它也会获得正奖励。反之，那些未能改善分布离散度或中心位置的冗余 rollout 将获得较低或负奖励。

理论区别

本文将其与逐点平方损失（MSE）进行对比，后者在理论上是“趋均值”的，会促使预测分布坍缩为单一点（条件均值）。相比之下，CRPS 是“分布导向”的，旨在优化整个条件分布。DAR 利用这一点，通过留一法信用分配，鼓励一组居中良好且具有有用离散度的 rollout。

主要贡献

新颖的 RL 目标：引入 DAR，将优化目标从最小化个体点误差转变为最大化经验预测分布的质量。
留一法信用分配：一种特定机制，根据个体 rollout 对集体分布质量的边际贡献来分配奖励，使模型能够奖励“有用的离散度”，即使个体样本的准确性较低。
缓解多样性坍缩：该方法解决了 RL 微调倾向于降低输出多样性（策略熵）并将预测向均值坍缩的问题，确保采样的 rollout 保持足够的多样性以覆盖真实值。

实验结果

作者在三个不同的任务上评估了 DAR：合成高斯混合回归任务、代码性能预测和分子性质预测。

1. 合成分布回归

任务：预测来自异方差双组分高斯混合的目标值。
发现：DAR 在基于 LLM 的方法中取得了最高的斯皮尔曼相关性，显著优于 SFT 和逐点 MSE 奖励。它更好地保持了目标函数的全局排序，并很好地适应了其他神经基线难以处理的外推区域。

2. 代码性能预测

任务：根据源代码预测内核延迟（KBSS）和峰值内存使用量（APPS）。
发现：与 SFT 和逐点 RL 基线相比，DAR 实现了最强的秩相关性（斯皮尔曼 $\rho$ $ρ$ ）和具有竞争力或更低的平均绝对误差（MAE）。
- 在 KBSS 上，DAR 将斯皮尔曼相关性提高了 6 个百分点，超越了最强基线。
- 在 APPS 上，它将斯皮尔曼相关性提高了 4 个百分点。
- 这表明其对输入依赖变化的敏感性更强，候选排序更可靠。

3. 分子性质预测（MoleculeNet）

任务：根据 SMILES 字符串预测物理化学性质（FreeSolv、ESOL、亲脂性）。
发现：尽管仅使用 SMILES 字符串（缺乏强图神经网络基线所使用的显式图或 3D 归纳偏置），DAR 仍保持了竞争力。
- 与其他 LLM 训练策略（SFT、MSE、Value Head）相比，它在 FreeSolv 和亲脂性任务上实现了 RMSE 的统计显著改进。
- 它证明了即使没有专门的分子表示，分布级优化也能产生稳健的回归行为。

不确定性诊断

校准：分析显示，DAR 的 rollout 标准差与预测误差之间存在强烈的对数皮尔逊相关性（0.91），表明模型的不确定性估计与实际误差校准良好。
多样性：在训练期间，与基于 MSE 的 RL 相比，DAR 保持了更高的 rollout 熵和更高的“括号率”（即真实值位于最小和最大 rollout 预测之间的样本比例），证实了其对多样性坍缩的缓解作用。

意义与主张

本文主张，直接优化预测分布可使基于 LLM 的回归更加稳健且校准更好。通过将多个解码样本视为分布并奖励其集体质量，DAR 在不牺牲逐点准确性的情况下，提升了基于秩的性能（对候选选择至关重要）和不确定性估计。

作者将这项工作定位为迈向利用 LLM 作为科学领域灵活的概率回归器的一步，而不仅仅是文本生成器或点估计器。他们强调，虽然 LLM 回归在处理异构输入（文本、代码、字符串）方面提供了灵活性，但所提出的分布感知方法对于释放这些模型在需要不确定性量化和可靠排序的任务中的全部潜力是必要的，而这些正是传统逐点训练所失败的领域。这项工作并不声称要在所有领域取代专门的回归模型（如高斯过程或图神经网络），但它证明了分布感知 RL 可以使通用 LLM 在科学回归场景中具有竞争力。