🤖 machine learning

PageLLM: A Multi-Grained Reward Framework for Whole-Page Optimization with Large Language Models

本文介绍了 PageLLM，这是一种多粒度奖励框架，它利用隐式用户反馈，同时优化整体页面搜索与推荐中的粗粒度页面级连贯性和细粒度项目级布局，在无需昂贵人工标注的情况下显著提升了排名指标和生产业务关键绩效指标。

原作者： Xinyuan Wang, Liang Wu, Dongjie Wang, Yanjie Fu

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyuan Wang, Liang Wu, Dongjie Wang, Yanjie Fu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一家庞大而繁忙的数字化百货公司的经理。每当顾客走进来，你都有一个巨大的产品仓库供他们挑选。你的工作不仅仅是挑选几件好商品；你还得为他们安排整整一个购物页面。

这就是**全页优化（WPO）**所面临的挑战。仅仅找到合适的鞋子是不够的；你还得决定：

把鞋子放在页面的什么位置？
应该把它们放在袜子旁边，还是帐篷旁边？
你是否展示了太多红色的鞋子，而蓝色的太少？
页面是否过于杂乱，还是枯燥地重复？

长期以来，计算机在处理这个问题时显得力不从心，因为它们太“笨”了，无法理解整体图景，或者需要昂贵的人工经理来手动评估每一个页面布局。

于是，PageLLM出现了。这是一个新系统，利用“超级智能助手”（大型语言模型）来自动设计这些页面。但这里有个陷阱：作者发现，简单地告诉人工智能“做一个好页面”效果并不好。这就像告诉一位厨师“做一顿美味的饭菜”，却没有指明他们是应该专注于牛排的味道（单个商品），还是整个菜单的平衡（页面布局）。

以下是 PageLLM 如何利用简单的类比来解决这个问题：

1. 问题：“盲”厨师

此前尝试利用人工智能解决此问题存在两大难题：

“人工评分”瓶颈：要训练人工智能，通常需要人类查看两个不同的页面，然后说“我更喜欢 A 页面而不是 B 页面”。为数百万用户做这件事既昂贵又缓慢。
“单粒度”错误：大多数人工智能系统只从一种角度看待问题。
- 有些只关注单个商品（例如，“用户点击了这个特定的鞋子吗？”）。这就像一位只关心牛排是否煮熟，却忽略了汤是冷的、沙拉已枯萎的厨师。
- 另一些只关注整个页面（例如，“这个页面看起来多样吗？”）。这就像一位只关心菜单平衡，却没注意到牛排已经烧焦的厨师。

2. 解决方案：“双重视角”奖励系统

作者意识到，要训练人工智能，你需要两种不同类型的反馈协同工作，就像一位拥有两只眼睛的厨师：一只眼关注细节，一只眼关注大局。

他们构建了一个名为PageLLM的系统，该系统利用“隐式反馈”（用户的实际行为，如点击和购买），而不是要求人类对页面进行评分。他们将这些杂乱的数据转化为四种“训练场景”：

相关性：展示用户肯定不想要的商品。
排序：交换商品的顺序，以观察用户是否在意谁排在第一位。
多样性：展示一个只包含一种类型商品（例如，全是红色鞋子）的页面，以此教导人工智能多样性是好的。
冗余性：展示过多相似的商品聚集在一起，以此教导人工智能要分散布局。

3. 魔法技巧：“粗粒度”与“细粒度”奖励

这是核心创新所在。PageLLM 在同一数据上训练两个独立的奖励头（可以想象为两位不同的评委）：

评委 A（页面级教练）：这位评委一次性审视整个购物页面。他们会问：“这是一个平衡、连贯的列表吗？它是否涵盖了不同的类别？”他们非常擅长发现整个菜单是否无聊或重复。
评委 B（商品级教练）：这位评委审视单个商品及其位置。他们会问：“将这个商品从第 5 位移动到第 2 位，是否让用户点击更多？”他们非常擅长发现大局所忽略的微小但关键的细节。

为什么要两者兼备？
论文发现，如果只使用评委 A，人工智能会生成一个外观不错的页面，但会错过用户真正想买的特定商品。如果只使用评委 B，人工智能会挑选出很好的商品，但将它们排列得杂乱无章、令人困惑。

结果：当你结合两位评委时，人工智能在正确排序商品方面的表现比仅使用一位评委提高了46.8%。这就像有一位指挥（评委 A）确保整个乐团协同演奏，同时有一位独奏家教练（评委 B）确保每位小提琴手都拉准了音符。

4. 现实世界的证明

该团队不仅是在实验室里测试，他们还在一个拥有1000 万用户的真实电商网站上进行了尝试。

结果：该系统使商店的总销售额（GMV）增加了0.44%，点击量增加了0.14%。
为何重要：在拥有数百万客户的业务中，如此微小的百分比意味着数万次额外的销售。

5. “懒惰”部署的额外红利

该系统的一个巧妙副作用是它易于部署。因为“页面级教练”（评委 A）非常擅长审视整个列表，公司可以在其现有的、较慢的计算机服务器（CPU）上仅使用这一部分，同时慢慢升级其强大的服务器（GPU）以运行完整的人工智能。这就像在准备好完整的高清照片之前，就能先使用菜单的草图。

总结

PageLLM是一种组织在线购物页面的新方法。它不再要求人类对每个页面进行评分，而是通过向人工智能展示页面布局的“糟糕示例”（过于重复、顺序错误、缺乏多样性）来训练它。它利用两个不同的反馈循环——一个关注大局，一个关注微小细节——以确保人工智能创建的页面既在逻辑上平衡，又能完美契合用户想要点击的内容。其结果是，无需人工评分团队，就能提供更智能、更盈利的购物体验。

技术摘要：PageLLM

问题陈述

全页优化（WPO）涉及生成一个完整且经过排名的搜索或推荐结果页面，该页面需在相关性、多样性、位置曝光度和冗余性之间取得平衡。虽然大语言模型（LLM）通过将页面生成视为条件序列生成，为 WPO 提供了一种统一的方法，但其在 Web 规模环境中的适应面临三个关键瓶颈：

监督数据的稀缺性与成本：标准的人类反馈强化学习（RLHF）需要昂贵的人工标注来比较整个页面。在工业规模下，目录和受众规模的线性增长使得这种方法变得不可行。
单粒度奖励的局限性：现有方法通常将奖励坍缩为单个标量（要么是页面级，要么是物品级）。页面级奖励捕捉全局一致性，但忽略了对于点击率至关重要的细粒度位置偏移。相反，物品级奖励优化了单个物品的放置，但无法确保整个页面具有多样性和非冗余性。
互补的失效模式：本文认为，单粒度公式以“镜像”的方式失效。移除页面级信号会损害全局列表的一致性，而移除物品级信号则会损害位置的锐度。单独依靠任何一种信号都不足以最大化用户满意度。

方法论：PageLLM 框架

PageLLM 提出了一种基于奖励的三阶段微调框架，该框架仅利用隐式用户反馈，将监督解耦为两种互补的粒度。

1. 基于隐式反馈的数据构建

该框架不使用人工标签，而是从用户 - 物品交互日志（例如 Amazon Review 语料库）中构建训练数据：

黄金列表（Golden Lists）：对于每个用户，通过过滤正向交互（ $r_{ui} > 3$ ）、按细粒度流行度重新排序并平衡类别多样性，构建一个“黄金”排名列表。
偏好对家族（Preference-Pair Families）：生成四类负向列表以定位特定的失效模式，从而与黄金列表形成对比对：
- 非偏好（ $\sigma_{np}$ ）：低评分物品（相关性失效）。
- 排序（ $\sigma_{rk}$ ）：黄金列表中相邻物品的交换（位置失效）。
- 多样性（ $\sigma_{d}$ ）：用同质化物品替换独特物品（多样性失效）。
- 冗余（ $\sigma_{rd}$ ）：过度集中来自同一类别的物品（冗余失效）。

2. 多粒度奖励建模

核心创新是一个解耦的奖励模型，包含两个在相同偏好数据上训练但目标不同的头：

粗粒度（页面级）奖励（ $R_c$ ）：一个 Bradley-Terry 模型，将整个生成的列表作为一个单元进行评分。它学习类别混合和平均相关性等全局线索，提供对噪声反馈的稳定性。
细粒度（物品级）奖励（ $R_f$ ）：一个对单个物品进行评分并取平均值的模型。它被训练用于检测对参与度敏感的位置交换（例如，交换两个相邻物品如何影响总体评分）。
组合：最终奖励是简单的求和（ $R = R_c + R_f$ ）。作者认为这种加法方法优于乘法，因为它保留了独立的梯度，并允许产生超加性的性能提升。

3. 基于 PPO 的 RLHF 微调

预训练的 LLM（例如 GPT-2）经历一个三步训练过程：

元信息预训练：模型通过在元提示上进行评分预测和下一 token 预测，适应推荐语义。
监督微调（SFT）：模型在黄金列表上进行微调，以学习输出模式和基线分布。
PPO 优化：模型使用结合的多粒度奖励进一步通过近端策略优化（PPO）进行优化。针对 SFT 参考策略的 KL 散度惩罚防止模型漂移到退化的输出空间。

主要贡献

反馈到奖励的管道：形式化了四类偏好对，将嘈杂的隐式反馈转化为可用于页面生成的 RLHF 监督，无需人工标签。
多粒度奖励架构：引入了解耦的奖励系统，将页面级 Bradley-Terry 模型与物品级位置交换模型配对，实证证明了它们的互补性。
可扩展性证据：在七个 Amazon 类别上针对十一种基线进行了全面评估，包括一项涉及 1000 万用户的在线 A/B 测试，以及关于冷启动鲁棒性和骨干网络效率的研究。
部署模块化：证明了奖励的加法性质允许将粗粒度的页面级组件作为 CPU 侧的排序特征进行部署，从而促进在现有基础设施上的增量 rollout。

实验结果

离线性能：在七个 Amazon 类别上，PageLLM 优于十一种基线（包括矩阵分解、序列 Transformer 和其他基于 LLM 的推荐器）。与无奖励变体相比，其 NDCG@100 最高提升了46.8%。在具有细微偏好的类别（奢侈品、体育、乐器、美容）中，提升最为显著。
消融研究：移除页面级或物品级奖励头会显著降低性能（分别使 NDCG@100 降低 17.8% 和 15.2%），证实了这些信号是互补的，而非冗余的。
在线 A/B 测试：在拥有超过 1000 万独特用户的商业电子商务搜索引擎上部署，PageLLM 在一周时间内使GMV 增加了 0.44%，点击率（CTR）增加了 0.14%。
鲁棒性：在冷启动模拟（数据减少 50%）中，PageLLM 的退化程度小于序列模型（SASRec）和自编码器（Multi-VAE）基线。
骨干网络效率：比较 GPT-2 和 Llama3.2-1B 的实验表明，GPT-2 为该任务提供了性能与计算成本的最佳帕累托平衡，表明限制因素是奖励结构而非模型容量。

意义与主张

本文主张，基于 LLM 的 WPO 的主要瓶颈并非缺乏监督数据，而是监督信号的粒度。通过将奖励解耦为页面级和物品级组件，PageLLM 成功利用仅隐式反馈将 LLM 与 Web 规模的 WPO 目标对齐。

作者强调，这种方法：

消除了对昂贵人工标注的需求。
解决了“单粒度”失效模式，即现有方法无法同时优化全局页面一致性和局部物品放置。
提供了一条通往生产部署的实用路径，这由成功的 1000 万用户 A/B 测试以及能够在 CPU 基础设施上部分部署组件的能力所证明。

该工作得出结论：源自隐式反馈的多粒度奖励足以将 LLM 扩展到生产级别的全页优化，为推荐系统提供了一条新途径，将页面视为一个连贯的生成实体，而非一组评分物品的集合。