技术摘要：PRL-PUTS 用于个性化效用调优

1. 问题定义

大规模推荐系统（如 Pinterest 的首页信息流）通常采用多任务排序模型，同时预测多种用户参与行为（例如点击、保存/重钉）。这些预测通过线性加权求和聚合为单一效用分数，以确定最终排序。

本文指出了当前手动调整这些效用权重方法存在的三个关键局限性：

1. 运营低效：权重选择依赖于临时的离线分析和漫长的在线 A/B 测试周期（数周至数月），导致难以快速适应不断变化的业务优先级。
2. 滞后性：全局权重通常被视为静态常数。随着底层排序器通过新数据和特征进行更新，先前调优的权重会与当前模型分布产生错位。
3. 缺乏个性化：全局权重对所有用户和场景强加单一的目标权衡，未能考虑异质的用户意图。在生产规模下，手动枚举依赖上下文的权衡是不可行的。

核心挑战在于构建一个系统，能够在遵守严格的生产约束（有限的模型重训练频率和服务时延复杂度）的同时，实现快速、感知上下文且可治理的多目标权衡。

2. 方法论：PRL-PUTS

作者提出了PRL-PUTS（面向个性化效用权重调优的生产就绪、与排序器无关的基于帕累托扫描的强化学习框架）。该框架将效用权重调优建模为单步、基于价值的强化学习（RL）问题。

2.1 核心公式

• 状态（$s$）：表示请求上下文，包括用户画像信号、长期偏好（嵌入向量）、近期行为历史以及服务时上下文（设备、界面、时间）。
• 动作（$a$）：应用于排序器现有各目标预测的效用权重向量。为了管理复杂性和风险，系统仅控制离散子集的权重（在 Pinterest 的具体实现中，特指重钉和P2P 展示的权重），而固定其他权重。动作空间被离散化为紧凑的候选值集合。
• 奖励（$r$）：与受控目标相对应的请求级参与行为结果向量。为了稳定学习，奖励根据事件是否发生被截断为二元值（0 或 1）。
• 目标：智能体学习为给定请求 $s$ 选择权重向量 $w$，以最大化即时参与奖励。该问题被建模为上下文多臂老虎机（$\gamma=0$ 的单步马尔可夫决策过程）。

2.2 模型架构

PRL-PUTS 采用双头价值模型：

• 输入：状态嵌入（通过 Transformer 和 MLP 从用户历史和上下文导出）与动作嵌入（归一化的效用权重）的拼接。
• 骨干网络：共享的三层多层感知机（MLP），包含批归一化（Batch Normalization）和 ReLU 激活函数。
• 输出头：两个独立的头分别预测每个目标的预期奖励（$Q_{Repin}$ 和 $Q_{P2P}$）。输出通过 Sigmoid 函数限制在 $[0, 1]$ 范围内，解释为条件成功概率。
• 训练：模型使用无偏探索日志进行训练，采用两个目标的均方误差（MSE）损失之和。

2.3 推理时的帕累托扫描

一项关键创新是将学习与策略选择分离。

• 模型并非为固定权衡训练单一策略，而是学习特定于目标的价值函数。
• 在推理时，引入标量化参数 $\alpha \in [0, 1]$ 来控制目标的相对重要性：
  $$a^* = \arg\max_{a \in A} \left( \alpha Q_{P2P}(s, a) + (1 - \alpha) Q_{Repin}(s, a) \right)$$
• 通过在离线状态下对 $\alpha$ 进行网格扫描，系统从单个训练好的模型中诱导出一族确定性策略。
• 治理：这些策略使用保留的探索日志通过离线策略评估（OPE）进行评估，以构建经验帕累托前沿。利益相关者可以可视化可行的权衡，并通过配置选择运行策略（特定的 $\alpha$），而无需重新训练模型。

2.4 生产集成

• 排序器无关性：PRL-PUTS 作为现有排序器之上的解耦控制层运行。它不修改排序器的内部预测或候选生成。
• 延迟：该框架与排序推理并行运行。由于仅需请求级特征且不依赖物品级特征或中间排序器计算，它增加的服务延迟可忽略不计。
• 回退：稳健的回退机制确保如果推理失败或超时，系统将恢复到静态生产权重。

3. 主要贡献

1. 与排序器无关的 RL 公式：本文引入了一种单步、基于价值的 RL 方法，其中动作为应用于现有排序器预测的效用权重向量，实现了无需重训练核心排序器的请求级上下文控制。
2. 通过帕累托扫描实现可操作的治理：该框架利用推理时对标量化参数的扫描来生成一族策略和经验帕累托前沿。这使得利益相关者能够在不重新训练模型的情况下，选择与当前业务目标相符的运行策略。
3. 生产集成：该系统设计为与排序推理并行运行，不增加服务延迟，并已成功部署于 Pinterest 的首页信息流中。
4. 端到端证据：作者证明，离线帕累托扫描的权衡估计能够可靠地预测在线指标变化，验证了收益源于上下文个性化而非简单的全局权重偏移。

4. 实验结果

该框架使用来自随机化生产流量的无偏探索日志以及 Pinterest 首页信息流的在线 A/B 测试进行了验证。

• 离线到在线的一致性：在不同运行策略下，离线 OPE 估计与在线指标变化之间存在强相关性（皮尔逊相关系数 > 0.98）。
• 全局策略性能：
  • 一个偏向 P2P的策略（$\alpha=0.24$）实现了成功会话数 +0.13% 的增长（一项核心参与指标），同时重钉数提升 +0.66%，P2P 展示数提升 +0.30%（相较于基线）。
  • 观察到了预期的权衡：偏向重钉的策略增加了重钉数，但略微减少了 P2P 展示；而偏向 P2P 的策略则反之。
• 个性化与全局调优对比：
  • 当将 PRL-PUTS 与静态基线（调优至匹配 PRL-PUTS 产生的平均权重）进行比较时，静态基线表现出中性或负面结果。
  • PRL-PUTS 实现了重钉数 +0.12% 的提升和P2P 展示数 +0.21% 的提升，证明改进源于依赖上下文的权重选择（个性化），而非效用函数的全局重加权。
• 群组分析：该系统成功将不同的 $\alpha$ 值应用于不同的用户群组（核心用户、休闲用户、剩余用户），展示了针对特定用户细分在权衡曲线上进行可控的偏移。

5. 意义与主张

本文主张 PRL-PUTS 解决了大规模推荐器中手动效用调优相关的“运营和产品债务”。通过将控制层与排序器解耦，它实现了：

• 速度：通过配置更改（$\alpha$）快速更新运行策略，而非长达数周的重训练周期。
• 治理：透明、可视化的帕累托前沿，使利益相关者能够就权衡做出明智决策。
• 安全性：小型、可审查的控制面（离散权重动作），支持安全回滚和增量部署。

作者将这项工作定位为生产环境的实用解决方案，在这些环境中模型重训练频率较低且服务延迟至关重要，证明了强化学习可以有效地应用于效用聚合层，以实现个性化多目标优化。

6. 局限性与未来工作

本文承认了若干局限性：

• 视野：单步公式针对即时、请求级结果进行优化，未明确捕捉长期影响（如留存率或未来参与行为）。
• 目标数量：当前的具体实现侧重于两个目标以保证可解释性；扩展到三个或更多目标需要更复杂的标量化或约束选择方法。
• 动作空间：使用离散动作集限制了探索风险，但相较于连续空间，可能会错过细粒度的最优策略。

未来的工作建议探索更长视野的决策制定（需要轨迹日志和自举方法），并在保持样本效率和安全性同时扩展到更丰富的动作空间。