技术摘要：SAPO（步对齐策略优化）

1. 问题陈述

生成式推荐将下一项预测视为自回归生成任务，其中物品被编码为语义标识符（SIDs）——由分层向量量化器生成的短粗到细的令牌序列（例如，$K=3$ 个层级）。最近的方法通过引入显式的推理轨迹（思维块）来增强这些系统，并使用可验证奖励的强化学习（RLVR）对其进行优化，通常采用带有结果奖励反馈的组相对策略优化（GRPO）。

识别出的核心问题是结果奖励信号与 SID 解码的结构化性质之间存在动作粒度不匹配：

• 粗粒度的展开级反馈：标准的结果奖励 GRPO 为整个生成的响应分配单个标量奖励（精确匹配指示器）。它仅验证最终 SID 元组是否与真实标签匹配。
• 细粒度结构：在大型目录推荐中，生成的 SID 元组可能部分匹配（例如，粗粒度令牌正确但细粒度令牌错误）。结果奖励 RL 无法区分“接近失败”（前缀正确，后缀错误）和“完全失败”（前缀错误）。
• 后果：这种不匹配导致两种失效模式：
  1. 正确步骤受罚：匹配的 SID 令牌位置与不匹配的位置一起受到惩罚，因为标量优势被广播到整个序列。
  2. 定位能力丧失：标量优势无法隔离是哪个具体的推理步骤或 SID 令牌预测导致了错误。这导致训练动态不稳定、长度漂移以及格式退化，特别是在精确匹配反馈稀疏的情况下。

2. 方法论：SAPO

作者提出了SAPO（步对齐策略优化），这是一种强化学习方法，将信用分配单元与 SID 解码过程的自然分解对齐。

核心设计：推理步

SAPO 将推理步定义为一个思维块（推理轨迹）与其对应的 SID 令牌的配对。对于 $K$ 层级的 SID 层次结构，一个响应由 $K$ 个这样的步骤组成：$(\tau^{(k)}, s^{(k)})$，其中 $\tau^{(k)}$ 是第 $k$ 个思维块，$s^{(k)}$ 是第 $k$ 个 SID 令牌。

关键组件

1. 推理步匹配奖励：
   SAPO 不是在展开结束时分配单个奖励，而是为每个推理步 $k$ 分配奖励 $r_{i,k}$。
   $$r_{i,k} = \alpha \cdot \mathbb{I}[s^{(k)}_i = s^{(k)}_{gt}] + \beta \cdot \mathbb{I}[k=K] \cdot b_i$$
   其中第一项为每个 SID 令牌位置提供密集的可验证匹配信号，第二项是在响应结构有效时，为最后一步提供的小格式奖励。这保留了精确匹配的最优性，同时提供了更密集的监督。

2. 步级组相对优势：
   SAPO 在 $G$ 个展开的组内，独立计算每个推理步 $k$ 的优势 $\hat{A}_{i,k}$：
   $$\hat{A}_{i,k} = \frac{r_{i,k} - \text{mean}_{i'}(r_{i',k})}{\text{std}_{i'}(r_{i',k})}$$
   这确保了仅在特定 SID 层级上存在差异的展开，仅在该步骤接收对比更新信号，而不是广播全局信号。

3. 步对齐代理目标与步归一化令牌聚合：
   策略梯度目标在推理步上进行优化。优势在应用于该步骤内的令牌之前，先除以步骤单元的长度（$|y^{(k)}_i| = |\tau^{(k)}| + 1$）进行归一化：
   $$J_{SAPO}(\theta) = \mathbb{E} \left[ \frac{1}{\sum |y_\ell|} \sum_{i} \sum_{k} \sum_{t \in y^{(k)}_i} \min \left( w_{i,t}(\theta) \tilde{A}_{i,k}, \text{clip}(\dots) \tilde{A}_{i,k} \right) \right]$$
   其中 $\tilde{A}_{i,k} = \hat{A}_{i,k} / |y^{(k)}_i|$。这防止了长推理块主导梯度更新幅度。

3. 主要贡献

• 粒度不匹配的识别：论文指出，结果奖励 RL 与分层 SID 解码不匹配，因为它将整个展开视为单个动作单元，掩盖了导致错误的具体令牌预测。
• SAPO 算法：一种新颖的 RL 方法，将（思维块，SID 令牌）对视为原子动作单元。它导出了每步匹配奖励、步级组相对优势以及步对齐的代理损失，且无需学习奖励模型。
• 理论一致性：作者证明，在可实现性条件下，累积的每步匹配奖励保留了精确匹配的最优性，确保更密集的监督不会改变基本目标。
• 实证验证：在三个真实世界的 Amazon 数据集（办公用品、视频游戏、工业与科学）上的大量实验表明，与结果奖励基线相比，SAPO 稳定了 RL 训练并提高了排序指标（Recall 和 NDCG）。

4. 实验结果

• 性能：SAPO consistently 优于现有的生成式推荐基线，包括传统序列模型（SASRec, GRU4Rec）、非推理生成模型（TIGER, HSTU）以及使用结果奖励 RL 的推理模型（SIDReasoner, OneRec-Think）。
  • SAPO 在主要结果表的所有列中均取得了最佳的 NDCG。
  • 在稀疏精确匹配反馈使得细粒度信用分配至关重要的设置中，改进最为显著。
• 训练动态：
  • 稳定性：SAPO 表现出更稳定的奖励轨迹，并防止了 GRPO 中观察到的奖励崩溃和振荡。
  • 长度控制：与经常遭受响应长度漂移和 KL 散度增长的 GRPO 不同，SAPO 保持了受控的推理预算和步长。
  • SID 匹配率：SAPO 显示出训练进度与实际 SID 令牌预测准确率之间更强的相关性。
• 消融研究：移除每步优势或每步匹配奖励中的任一项都会降低性能，表明这两个组件是互补的。完整的 SAPO 配置对于同时实现稳定性和高排序质量是必要的。
• 案例研究：定性分析表明，SAPO 保留了细粒度证据（例如特定的产品特征，如“步进电机控制”），而结果奖励模型通常将这些证据冲刷成通用推理，从而导致更准确的 SID 预测。

5. 意义与主张

论文主张，结构化生成的强化学习目标应反映解码器对输出的自身分解。

• 泛化性：作者建议，只要生成任务允许自然的分层分解（例如代码本、工具调用模式、结构化答案），这种层次结构就可以作为 RL 每步监督的基本来源，从而消除对学习奖励模型的需求。
• 效率：SAPO 在实现这些增益的同时没有显著的计算开销；额外的奖励和优势计算时间可以忽略不计（小于更新步骤的 1%）。
• 适度范围：作者承认局限性，指出其评估目前仅限于三个英文 Amazon 类别，且固定为 $K=3$ 的 SID 层次结构。他们不声称具有普遍优越性，但强调他们的方法专门解决了分层令牌生成中结果奖励 RL 固有的信用分配失效模式。