技术摘要：Owen-Shapley 策略优化（OSPO）

问题陈述

大型语言模型（LLMs）正越来越多地部署于生成式推荐系统中，在这些系统中，它们综合用户偏好并优化搜索查询，以调节下游检索和排序。虽然像组相对策略优化（GRPO）这样的强化学习（RL）方法通过使用序列级终端奖励（例如来自检索器的 NDCG）实现了无需参数化价值模型的训练，但它们存在一个关键的信用分配差距。

在标准的无价值模型强化学习中，单个标量优势被均匀分配给生成序列中的所有 token。这掩盖了具体哪些短语或语义片段实际上促成了高质量输出。这一局限性在推荐任务中尤为突出，因为在这些任务中，模型必须从无明确标签的语言中推断潜在的用户意图，且缺乏真实标签。此外，均匀的信用分配使模型容易受到奖励黑客攻击的影响，即模型过度拟合表面线索或利用黑盒检索器中的捷径，而不是学习鲁棒的、语义连贯的查询表示。现有的解决方案，如过程奖励模型（PRMs），需要标记的中间步骤，而基于注意力的方法往往纠缠于虚假相关性。

方法论：Owen-Shapley 策略优化（OSPO）

作者引入了OSPO，这是一个框架，它根据语义连贯的 token 片段（联盟）对最终结果的边际贡献，重新分配序列级优势。OSPO 在无评论家（critic-free）模式下运行，不需要外部价值网络。

核心机制

1. 分段与联盟：生成的响应被分解为 $N$ 个语义上有意义的片段（例如短语、句子）。OSPO 不评估所有 $2^N$ 个可能的子集（计算不可行），而是将评估限制在连续联盟（连续片段）上。这保留了语义连贯性，并将计算复杂度从指数级降低到线性 $O(N \cdot w_{max})$，其中 $w_{max}$ 是最大联盟宽度。
2. Owen-Shapley 归因：利用合作博弈论，OSPO 计算每个片段的Owen 值。片段 $j$ 的值 $\phi_j$ 是将其添加到各种连续联盟 $S$ 时，对奖励的期望边际贡献：
   $$\phi_j^{Owen} = \frac{1}{|C_j|} \sum_{S \in C_j} (v(S \cup \{j\}) - v(S))$$
   这里，$v(S)$ 是通过将联盟 $S$ 中的片段拼接成的部分序列查询检索器（或奖励模型）所获得的奖励。
3. 优势重分配：序列级优势 $\hat{A}^{(g)}$（通过 GRPO 中的组相对归一化计算）被重新分配给各个 token。token 级优势 $A_t^{(g)}$ 计算如下：
   $$A_t^{(g)} = T \cdot \tilde{\phi}_t^{(g)} \cdot \hat{A}^{(g)}$$
   其中 $\tilde{\phi}_t$ 是该 token 所属片段的归一化 Owen 值，$T$ 是序列长度。乘以 $T$ 确保了长度不变性，防止较长的序列相比较短的序列接收到不成比例地较弱的梯度信号。
4. 目标函数：策略使用截断的代理目标（类似于 PPO/GRPO）进行更新，但利用这些细粒度的、Owen 加权的 token 优势。

变体

论文评估了三种重分配策略：

• OSPO-PROP：基于归一化 Owen 值的比例重分配。
• OSPO-RANK：基于 Owen 值的序数排名进行重分配，以处理噪声估计。
• OSPO-CLIP：基于切比雪夫不等式将重分配的优势限制在一定范围内，以确保稳定性。

主要贡献

1. 无需价值模型的 principled 信用分配：OSPO 通过利用 Owen-Shapley 值，弥合了稀疏终端奖励与细粒度 token 更新之间的差距，消除了对学习评论家或过程奖励模型的需求。
2. 基于联盟的语义：通过将语义连贯的短语视为联盟博弈中的参与者，OSPO 识别出响应的哪些部分驱动了下游效用（例如检索成功），提供了比均匀分配更好的可解释性。
3. 效率与可扩展性：连续联盟约束使得计算适用于在线 RL 训练，其扩展性与片段数量呈线性关系，不同于先前基于 Shapley 的工作中的二次近似。
4. 对分布偏移的鲁棒性：该方法学习检索器无关的查询表示，能够很好地泛化到未见过的检索器和嵌入空间。

实验结果

作者在两个电子商务数据集上评估了 OSPO：Amazon ESCI（产品搜索查询优化）和H&M Fashion（上下文搜索和用户画像总结）。

• 性能提升：OSPO-PROP 在所有指标（NDCG、AP、MRR、Recall）上始终优于基线（SFT、DPO、GRPO）。在 ESCI 数据集上，OSPO-PROP（7B）实现了 0.522 的 NDCG，超过了 32B 模型（0.496）和 72B 模型（0.543，尽管 72B 在 H&M 上表现下降）。在 H&M 数据集上，OSPO-PROP（7B）达到了 0.436 的 NDCG，优于 GRPO（0.379），并在参数量仅为 GPT-4o 的一小部分的情况下，接近其性能（0.433）。
• 样本效率：OSPO 达到目标性能所需的训练步数比 GRPO 少约 50%。
• 泛化能力：在跨检索器评估中（在一个嵌入模型上训练，在另一个上测试），OSPO 保持了强劲的性能，而 GRPO 和离线方法（DPO、SFT）则显著下降。这表明 OSPO 学习了更具可迁移性的对齐信号。
• 稳定性：OSPO 表现出更低的奖励方差，并避免了 GRPO 在训练后期观察到的“奖励黑客”崩溃（例如生成空序列或最小序列）。
• 消融研究：作者发现，中等宽度的连续联盟（例如 $w_{max}=4$ 到 $8$）配合充分的采样，在局部上下文和探索之间提供了最佳平衡。非连续联盟导致性能崩溃，而非常窄的联盟则导致对表面模式的过拟合。

意义与主张

论文声称，OSPO 提供了一种principled 的、无评论家的方法来解决生成式推荐中的信用分配问题。通过从 token 级均匀性转向片段级边际归因，OSPO 使模型能够学习响应为何成功，将梯度更新集中在高贡献的语义单元上。

作者强调，这种方法使得较小的模型（例如 7B）能够在特定检索任务中与或超越更大的模型（32B、72B）以及前沿的零样本模型（GPT-4o）竞争。此外，该方法在未见过的检索器和嵌入空间中的泛化能力，突显了其在动态推荐环境中稳健部署的潜力，在这些环境中，真实偏好是潜在的，且反馈是稀疏的。这项工作表明，基于联盟的归因充当了内在正则化器，在无需训练价值函数的计算开销的情况下，促进了稳定、可迁移且可解释的行为。