🤖 machine learning

Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation

该论文介绍了 AdaGRPO，这是一个增强噪声鲁棒生成式推荐的新型框架，它通过仅将强化学习应用于策略具有不确定性且奖励模型具有判别性的样本，从而在离线指标和在线生产 A/B 测试中均优于统一的强化学习方法。

原作者： Kewei Xu, Junbo Qi, Yanyan Zou, Pengfei Zhang, Xingzhi Yao, Shengjie Li

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Kewei Xu, Junbo Qi, Yanyan Zou, Pengfei Zhang, Xingzhi Yao, Shengjie Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一位非常聪明、有创意的助手来向用户推荐电影。你有两种方式来教导这位助手：

“教科书”法（监督学习）： 你向助手展示成千上万个“用户历史 -> 正确电影推荐”的示例。助手通过记忆这些模式进行学习。这种方法安全且稳健，但它可能会陷入重复旧建议的困境。
“教练”法（强化学习）： 你让助手尝试自己猜测电影。然后，一位“教练”（一个排序算法）会观察并给出评分：“猜得好！”或“猜得差！”助手通过学习来追求高分。

问题所在：教练是有缺陷的
论文指出，在现实世界中，这个“教练”并不完美。它是基于一种数据进行训练的，而这些数据中，用户只能看到系统已经展示给他们的电影。这产生了一种偏差：

“简单”情况： 如果助手已经擅长猜测一部热门电影，教练只会给出一个通用的“做得好！”。所有的猜测得分几乎都一样。助手学不到新东西，甚至更糟——它可能会为了讨好教练而开始随机猜测，从而忘记了真正重要的东西。
“困难”情况： 如果助手需要猜测一部小众或新出的电影，教练可能会感到困惑。因为教练从未见过这部电影，它可能会给一部无聊的热门电影打高分，而不是给那部正确且独特的电影打高分。如果助手听从了这种错误的建议，它会变得越来越差。

解决方案：AdaGRPO（“选择性教练”）
作者创建了一个名为 AdaGRPO 的新系统。AdaGRPO 不会让教练 100% 地向助手大声喊指令，而是充当一个聪明的守门员。

它在让教练的建议生效之前，会询问两个简单的问题：

“助手是否遇到了困难？”（策略难度）：如果助手已经熟练掌握了答案，那么教练的建议会被忽略，因为那是多余的。
“教练现在真的有帮助吗？”（奖励辨别力）：如果教练感到困惑或存在偏差（例如，比起正确的独特电影，更偏爱热门电影），它的建议就会被忽略。

类比：“选择性导师”
把这想象成一个学生在辅导老师的指导下备考。

旧方法： 导师会对学生的每一个答案都大声指点，无论对错。如果导师累了或者有偏见，学生就会感到困惑，并开始犯错。
AdaGRPO 方法： 只有当两个条件同时满足时，导师才会开口：
1. 学生确实卡住了，不知道答案。
2. 导师对自己知道正确答案很有信心，而不是在瞎猜。

如果学生已经知道答案，导师就会保持沉默（让学生依靠自己的知识）；如果导师也不确定，他们也会保持沉默。这防止了学生养成坏习惯。

结果
团队在一个大型电子商务平台（京东）上测试了该方法：

离线测试： 新方法提高了推荐准确度（找到正确商品）的峰值，从 11.01% 提升至 12.18%，同时保持了极低的“幻觉”（编造虚假商品）率。旧方法由于过度试图讨好有缺陷的教练，最终表现变差。
真实世界测试： 当他们将此方法应用于真实用户时，它带来了更多的点击量和更长的用户停留时间。

核心结论
论文得出结论，使用 AI 进行推荐的最大挑战不在于构建一个更“聪明”的教练，而在于知道何时信任教练。通过仅在教练真正有帮助且学生确实遇到困难时才去倾听，系统可以学得更快，也更加可靠。

技术摘要：用于生成式推荐中噪声鲁棒 GRPO 的自适应损失平衡

1. 问题陈述

生成式推荐（Generative Recommendation, GR）将项目检索重新表述为在学习到的语义 ID（SIDs）上进行的自回归解码任务。虽然与传统的基于嵌入的召回相比，GR 在长尾和语义相关项目方面提供了更优的覆盖率，但它往往缺乏排序模型的细粒度判别能力。为了弥补这一差距，强化学习（RL），特别是组相对策略优化（Group Relative Policy Optimization, GRPO），已被提议用于使用生产级排序器作为奖励模型（RM）来微调 GR 策略。

然而，本文指出将 RL 统一应用于生成式推荐存在一个关键缺陷：奖励模型噪声和曝光偏差。生产级排序器是在具有曝光偏差的日志上训练的，这使得它们对于训练分布之外的项目（例如新项目或长尾项目）是不可靠的。作者识别了统一应用奖励的两种失效模式：

简单样本（Easy Samples）： 当策略已经将真实项目（ground-truth item）排在较高位置时，奖励得分会紧密聚集。由此产生的 GRPO 优势（advantage）趋于接近零，导致梯度被 RM 噪声主导，从而引发过度优化（奖励黑客行为/reward hacking）。
困难样本（Hard Samples, RM 不可靠）： 当真实项目是长尾项目时，RM 可能在局部失准，将热门的干扰项评分高于真实的真实目标。在此处应用 RL 会使策略偏离正确答案。

分层分析表明，虽然 RM 在所有样本上的总体影响接近于零，但在特定条件下——即在策略不确定（难度）且 RM 具有高判别力（可靠性）的样本上——它提供了实质性的正向引导。

2. 方法论：AdaGRPO

为了解决这些问题，作者提出了 AdaGRPO，该框架将奖励引导的优化视为选择性准入而非统一压力。其核心创新在于使用基于两个来自展开组（rollout group）的秩（rank）诊断指标，对 GRPO 损失项进行样本级的二值剪切（binary clip）控制。

每个实例 $i$ 的目标函数为：
$L_i(\theta) = L^{(i)}_{NLL}(\theta) + \lambda \alpha_i L^{(i)}_{GRPO}(\theta)$
其中：

$L_{NLL}$ 是监督式负对数似然，用于锚定所有训练实例以确保稳定性。
$\lambda$ 是全局缩放系数。
$\alpha_i \in \{0, 1\}$ 是由两个诊断指标决定的剪切系数：

诊断 1：策略侧难度 ( $f_1$ )
该条件检查真实项目 ( $y^*$ ) 是否落在策略自身排名（基于对数似然）的前 $\tau$ -分位数之外。

逻辑： 如果 $y^*$ 已经在前列，则监督损失已足够，GRPO 项是冗余的（被剪切）。如果 $y^*$ 排名较低，则策略处于不确定状态，可能需要 RL 引导。

诊断 2：奖励侧判别力 ( $f_2$ )
该条件检查 RM 是否能可靠地将真实项目与上下文无关的负样本区分开。

逻辑： RM 必须将 $y^*$ 排在诊断池（包括展开样本和采样负样本）的前 $\tau$ -分位数内，并且将所有采样的负样本排在后 $(1-\rho)$ -分位数内。如果 RM 无法区分相关项与无关项，则认为信号不可靠（被剪切）。

剪切机制：
最终系数为 $\alpha_i = f_1 \cdot f_2$ 。只有当实例既对当前策略具有难度，又得到局部可靠奖励信号的支持时，才会准入 GRPO 损失。否则，更新将退回到纯监督学习。这扩展了 PPO 在比例域（限制 Token 更新）的剪切原则，将其扩展到了样本域（排除整个实例）。

3. 核心贡献

奖励可靠性的分层分析： 本文通过实验证明，由于存在相互冲突的失效模式（易样本上的噪声与难样本上的偏差），生产级排序器对生成式推荐的总体影响可以忽略不计。研究确立了 RM 的效用是条件性的，而非全局性的。
AdaGRPO 框架： 一种新型训练目标，根据单样本诊断动态地在监督学习和 RL 之间切换。它无需学习价值网络或复杂的奖励建模，而是依赖于从现有展开统计中得出的基于秩的阈值。
噪声鲁棒优化： 通过在奖励信号要么冗余要么误导的样本上剪切 GRPO 项，该方法防止了标准 GRPO 训练中常见的检索性能“崩溃”和幻觉现象。

4. 实验结果

该方法在大规模电子商务数据集（17.5万个序列）和生产 A/B 测试中得到了验证。

线下结果：

性能： 在最佳中间检查点，AdaGRPO 将 HR@10 从 11.01% (Base) 提升至 12.18%，同时保持幻觉率 $\le 0.22\%$ 。
稳定性： 与标准 GRPO 不同（标准 GRPO 在最终检查点出现了 HR@10 严重下降至 10.39% 以及幻觉激增至 0.89% 的情况），AdaGRPO 保持了鲁棒性（HR@10: 11.63%，幻觉: 0.27%）。
对比： 在检索有效性前沿面上，AdaGRPO 优于固定的 NLL-GRPO 混合模型。添加奖励判别力条件 ( $f_2$ ) 相比仅使用难度条件 ( $f_1$ )，进一步降低了幻觉并提升了 HR。
分层分析： 收益在中间难度区间最为显著，证实了该方法针对的是 RL 最有益的特定阶段。

线上 A/B 测试：

在生产测试中，AdaGRPO 与对照组相比取得了显著的统计学收益：
- 有效项目页面浏览量 (IPV)： +0.43%
- 用户点击率 (UCTR)： +0.27%
- 停留时间 (Dwell Time)： +0.23%
相比之下，使用固定 NLL-GRPO 混合模型的基线模型在参与度指标上没有表现出统计学意义上的收益。

5. 重要性与结论

论文得出结论：将 RL 应用于生成式推荐的核心挑战不在于设计更强的奖励，而在于辨别何时可以信任奖励信号。

范式转移： 这项工作将关注点从全局奖励优化转向了局部、实例级的信任。作者认为，由于策略不确定性与奖励模型校准之间的不匹配，在推荐系统中统一应用 RL 信号本质上是有风险的。
实际效用： 结果表明，通过选择性准入策略梯度更新，生成式推荐器可以有效地利用带有噪声的生产级排序器，而不会牺牲从监督预训练中获得的结构化知识。
局限性说明： 作者承认了局限性，包括训练过程中对真实项目的依赖、对超参数 ( $\tau, \rho$ ) 的敏感性，以及需要在不同用户细分和目录新鲜度机制下进行进一步验证。他们将在线结果视为对该方法鲁棒性的强有力生产支持，而非对其优于所有基线的决定性因果证明。