🤖 AI

Generative Long-term User Interest Modeling for Click-Through Rate Prediction

本文提出了 GenLI，一种用于点击率预测的生成式长期用户兴趣模型，该模型以兴趣生成模块取代传统的以目标为中心的检索，从而捕捉多样化且具备交互感知能力的用户兴趣，同时实现 $O(1)$ 的行为检索复杂度，以提升效率与准确性。

原作者： Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位厨师，试图猜测顾客接下来想点什么菜。你有一本巨大的笔记本，记录了这位顾客在过去几年里查看、点击或购买过的每一件物品。这就是论文中提到的“长期用户行为”。

目标是预测顾客是否会点击某个特定的新物品（例如一家新餐厅或一款新产品），从而提高“点击率”（CTR）——即人们实际选择你所展示内容的频率。

以下是旧方法的弊端，以及这篇新论文 GenLI 如何解决它。

旧方法：“以目标为中心”的搜索

以前，系统的工作方式就像一位图书管理员，只寻找与你手中那本书的确切标题相匹配的书籍。

过滤器：如果你正在看一张披萨的图片，系统会扫描你的整个历史记录，只提取出 10 个看起来最像披萨的物品。
缺陷：这忽略了大局。也许你喜欢披萨，但也喜欢徒步旅行、科幻电影和购买园艺工具。只关注“像披萨”的东西，系统就会忽略你的其他爱好。这就像仅凭一个人的最爱食物来评判他，而忽略了他的个性。
速度问题：为了找到那 10 个像披萨的物品，图书管理员必须将你当前的物品与历史记录中的每一个物品逐一比较。随着你的历史数据增长到数百万条，这变得极其缓慢，就像试图通过逐一检查每一根干草来在干草堆里找针一样。

新方法：GenLI（“生成式”厨师）

作者提出了一种名为 GenLI 的新系统。GenLI 不再仅仅寻找匹配项，而是试图首先理解顾客当前的心情和兴趣，然后再查找相关的历史记录。它通过三个富有创意的步骤运作：

1. 兴趣生成器（IGM）：洞察氛围

GenLI 不再问“什么看起来像披萨？”，而是查看你的最近行为（最近的几次点击），并问：“这位用户此刻是什么样的人？”

它创建了三种不同的兴趣“心情地图”（分布）：
- 显性兴趣：你明确点击过的内容（例如，“我确实想要披萨”）。
- 隐性兴趣：系统向你展示但你没有点击，却可能仍然喜欢的内容（例如，“我看到了一份沙拉，没有点击，但也许我只是现在还没饿到想吃它”）。
- 相对兴趣：两者之间的差异（例如，“此刻我更喜欢披萨而不是沙拉”）。
类比：这就像厨师在厨房里嗅探空气。厨师不再仅仅抓取看起来像当前订单的食材，而是感知到顾客“正处于辛辣口味的心情”或“怀旧的情绪”。这一过程无需先查看具体的目标物品，因此不会遗漏任何隐藏的兴趣。

2. 行为检索（BRM）：魔法查找

一旦 GenLI 拥有了这些“心情地图”，它就需要从你庞大的历史记录中找到相关的物品。

旧方法：将目标物品与每个历史物品进行比较（慢！）。
GenLI 方法：它使用简单的查找。因为“心情地图”是预先计算好的，系统只需检查记分卡。这就像拥有一个预先排序的索引，你可以瞬间跳转到“辛辣”部分或“怀旧”部分。
结果：它挑选出符合这些心情的顶级物品。这极其快速（在数学上，它是 $O(1)$ ，意味着无论你拥有 100 个物品还是 1000 万个物品，所需时间都同样微小）。

3. 兴趣融合（IFM）：融合风味

最后，系统将为每种“心情”找到的物品（辛辣的、怀旧的等等）与你正在查看的当前物品混合在一起。它使用一种“门控机制”（智能开关）来决定在做出最终预测之前应关注多少每种兴趣。

为何这很重要（结果）

该论文在来自美团（一家巨大的中国生活和配送应用）的真实世界数据以及 Amazon 和淘宝等公共数据集上测试了这种方法。

准确性：GenLI 在预测用户点击内容方面优于所有之前的“最先进”模型。由于它没有忽略用户的其他兴趣，它显著提高了预测准确性。
速度：由于它停止了缓慢的一对一比较，速度变得快得多。这对于需要在毫秒内做出决策的在线系统至关重要。
现实世界的成功：论文指出，GenLI 已部署在美团的广告系统中。它目前每天为数亿用户提供服务。在实时测试（A/B 测试）中，它将点击率提高了 0.776%，将千次展示收入提高了 1.567%。

总结

简而言之，旧系统就像一位只寻找与你手中那本书相似书籍的图书管理员。GenLI 则像是一位首先理解你当前心情和多样化品味，然后无需查看你手中书籍的标题就能瞬间从书架上抽出完美书籍的图书管理员。它更快、更智能，并为平台创造更多收入。

技术摘要：用于点击率预测的生成式长期用户兴趣建模（GenLI）

问题陈述
点击率（CTR）预测是广告和推荐系统中的基础任务，高度依赖于从海量历史行为序列中准确建模长期用户兴趣。当前最先进的方案通常采用由通用搜索单元（GSU）和精确搜索单元（ESU）组成的两阶段框架。GSU 基于与目标物品的相似度检索相关行为子集，而 ESU 则通过注意力机制对这些行为进行聚合。

作者指出了现有以目标为中心的 GSU 方法的三个关键局限性：

兴趣表示不完整：由于仅关注与特定目标物品相关的行为，这些模型忽略了其他潜在的用户兴趣，导致兴趣特征存在偏差且不完整。
计算瓶颈：基于匹配的检索过程需要计算目标物品与每条历史行为之间的成对相似度分数。随着用户行为序列的增长（通常达到数千项），这成为在线服务中耗时的瓶颈。
忽视行为交互：成对架构将目标物品与单个行为孤立地进行比较，忽略了用户历史行为之间存在的交互信息和模式。

方法论：GenLI 框架
为解决这些问题，作者提出了GenLI，一种生成式长期用户兴趣建模框架。与传统基于检索的方法不同，GenLI 采用与目标无关的生成式方法。该框架包含三个核心模块：

兴趣生成模块（IGM）：
- 输入：IGM 利用短期行为序列（最近的 $l$ 条行为），而非目标物品。
- 机制：它采用多头注意力（MHA）处理这些短期行为。查询向量由最新行为的嵌入和一个可学习的查询向量组成，以捕捉交互知识。
- 输出：该模块生成多个离散的兴趣分布，代表实时用户兴趣的不同方面：
  - 显性兴趣（ $\mathbf{p}_E$ ）：源于直接交互（例如点击），通过对点击物品进行负对数似然优化得到。
  - 隐性兴趣（ $\mathbf{p}_I$ ）：源于曝光物品（未点击的展示），代表稳定的长期偏好。
  - 相对兴趣（ $\mathbf{p}_R$ ）：定义为显性分布与隐性分布之差（ $\mathbf{p}_E - \mathbf{p}_I$ ），捕捉用户兴趣的变化趋势和决策对比。
- 关键特征：此过程与目标无关，确保生成的分布涵盖更广泛、更多样化的用户兴趣。
行为检索模块（BRM）：
- 机制：BRM 不计算成对相似度，而是执行简单的查找操作。对于每个生成的兴趣分布，历史行为根据其唯一 ID 映射到分布索引（通过模运算）被分配分数。
- 效率：这将加权每条行为的时间复杂度降低至 $O(1)$ 。
- 选择：该模块为三个兴趣分布（ $\mathbf{B}_I, \mathbf{B}_E, \mathbf{B}_R$ ）分别选择前 $k$ 条行为，总共检索出 $K$ 条行为。此过程自然地融入了生成阶段的交互信息并过滤了噪声。
兴趣融合模块（IFM）：
- 聚合：来自每个分布的选定行为分别使用多头注意力进行聚合，其中目标物品嵌入作为查询。
- 融合：生成的兴趣嵌入被拼接，并通过门控机制（带 Sigmoid 激活函数的 MLP）处理，以产生最终的长期用户兴趣特征向量（ $\mathbf{x}_l$ ）。
- 预测：该特征与短期兴趣、侧边信息以及目标物品嵌入拼接，通过标准 MLP 预测 CTR。

主要贡献

首个长期兴趣生成式方法：作者声称是首个在 CTR 预测任务中专门引入生成式方法来建模长期用户兴趣的，摆脱了以目标为中心的检索模式。
端到端框架：GenLI 将兴趣生成、行为检索和兴趣融合集成到一个统一的、端到端可训练的框架中，可轻松插入现有的 CTR 模型。
多样性与效率：通过生成与目标无关的分布，该模型捕捉了多样且完整的用户兴趣。同时，基于查找的检索显著降低了计算复杂度，优于基于匹配的方法。

实验结果
作者在三个数据集上评估了 GenLI：Amazon（书籍）、TaoBao（淘宝）以及来自美团的大规模工业数据集。

离线性能：
- 在 Amazon 和 TaoBao 数据集上，GenLI 达到了最先进（SOTA）的性能，优于 TWIN、SIM 和 ETA 等强基线模型。具体而言，相较于最佳基线，其在 Amazon 和 TaoBao 上的 AUC 绝对提升分别为 0.61% 和 1.03%。
- 在工业数据集上，GenLI 将 AUC 提升了 0.22%（优于 TWIN），同时减少了推理时间（4.6 毫秒 vs. TWIN 的 7.9 毫秒）。
- 消融研究证实，所有三种生成的分布（显性、隐性、相对）均对性能有贡献，其中显性兴趣的影响最为直接。
在线性能：
- 在美团外卖平台（处理 30% 流量）的 A/B 测试中，与生产基线相比，GenLI 实现了CTR 提升 0.776% 和 千次展示收入（RPM）提升 1.567%。
- 该模型已完全部署于现实世界的广告系统中，每日服务数亿用户。

意义与主张
论文声称 GenLI 成功平衡了准确性与效率，这是工业级 CTR 系统的关键要求。通过将范式从以目标为中心的检索转变为生成式、与目标无关的建模方法，GenLI 克服了兴趣捕捉不完整和高计算延迟的局限性。作者强调，能够在没有成对匹配瓶颈的情况下建模多样且潜在的兴趣，使得大规模个性化更加稳健。成功的部署和积极的在线指标验证了生成式方法在长期用户兴趣建模中的实际应用价值。