💬 NLP

Query as Anchor: Scenario-Adaptive User Representation via Large Language Model

本文提出了"Query as Anchor"框架，通过构建工业级用户理解预训练数据集 UserU、设计基于双塔大模型的查询感知用户表示架构以及引入基于聚类的软提示微调技术，成功解决了工业场景下用户表征在通用性与任务敏感性间的平衡难题，并在支付宝的多个基准测试及在线 A/B 测试中验证了其卓越性能与高效部署能力。

原作者： Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Ziyi Gao, Xiaotong Lin, Yun Liu, Xing Fu, Yu Cheng, Yongchao Liu, Weiqiang Wang, Zhongle Xie

发布于 2026-02-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Ziyi Gao, Xiaotong Lin, Yun Liu, Xing Fu, Yu Cheng, Yongchao Liu, Weiqiang Wang, Zhongle Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 "Query as Anchor"（以查询为锚点） 的新系统，它是蚂蚁集团（Alipay）为了更聪明地理解用户而开发的一种技术。

为了让你轻松理解，我们可以把用户想象成一本厚厚的、杂乱无章的日记，里面记录了这个人过去 90 天里所有的行为：买了什么、点了什么外卖、搜了什么、在哪个小程序里待了多久等等。

以前的系统就像是一个死记硬背的图书管理员：

不管你是想问“这个人适合买保险吗？”还是“这个人喜欢什么口味的菜？”，管理员都会把这本日记压缩成同一张固定的卡片（静态向量）。
这张卡片是通用的，但不够灵活。比如，你想看“理财能力”，卡片里可能混入了太多“买菜”的噪音，导致判断不准。

而这篇论文提出的 "Query as Anchor" 系统，则像是一位超级聪明的私人顾问。它的核心思想是：“同一个用户，面对不同的问题，应该展现出不同的侧面。”

下面我用三个生动的比喻来拆解它的核心魔法：

1. 核心魔法：以“问题”为锚点 (Query as Anchor)

比喻：照镜子
想象用户是一面镜子。

旧方法：不管谁来照，镜子都只反射出一个模糊的、固定的人影。
新方法：这面镜子是智能的。
- 如果你拿着“理财”的标签（查询/Query）去照，镜子会立刻调整角度，只反射出用户“有钱、爱存钱”的那一面，把“爱买零食”的噪音过滤掉。
- 如果你拿着“点外卖”的标签去照，镜子又会调整，只反射出用户“爱吃火锅、喜欢打折”的那一面。
原理：系统不再预先算好一个死板的用户画像，而是根据你当下想问什么问题（Query），动态地重新组装用户的特征。这个“问题”就是锚点，它把用户复杂的行为数据“锚定”到了具体的场景上。

2. 训练数据：UserU 数据集 (User Understanding)

比喻：给 AI 看“带答案的习题集”
要让这位“私人顾问”变聪明，光有日记（用户行为数据）是不够的，因为日记里全是流水账，AI 看不懂。

做法：作者们造了一个巨大的**“用户理解题库” (UserU)**。
- 题目：把用户过去 90 天的行为（日记）喂给 AI。
- 答案：让 AI 自己预测“他明天可能会做什么？”或者“他是个什么样的人？（比如：注重健康、喜欢省钱）”。
- 自我反思：AI 生成答案后，还会像学生改错题一样，回头检查答案是否符合日记里的事实，把胡编乱造的部分删掉。
效果：通过这种“做题 + 改错”的预训练，AI 学会了如何从杂乱的行为中提炼出真正的“人性”和“意图”，而不仅仅是记住数字。

3. 部署技巧：KV-Cache 加速 (像“预加载”一样快)

比喻：只换“滤镜”，不换“底片”
在支付宝这种拥有数亿用户的场景下，如果每次问一个问题都要重新把用户 90 天的日记读一遍，电脑早就累瘫了，用户也要等半天。

旧方法：每次问问题，都重新读一遍日记 -> 太慢。
新方法 (Query as Anchor)：
1. 预加载：系统先把用户的 90 天日记（底片）读一遍，存进一个高速缓存（KV-Cache）里。这就像把一本厚书的内容全部背下来，放在手边。
2. 只换滤镜：当你要问“理财”时，系统不需要重读那本书，只需要往手里加一个“理财滤镜”（Query），瞬间就能算出结果。
3. 再换滤镜：当你接着问“外卖”时，系统还是用那本背下来的书，只是把“理财滤镜”换成“外卖滤镜”，瞬间又算出结果。
效果：无论你要问多少个不同的问题，系统只需要读一次用户的日记，剩下的都是“秒级”响应。这让它在大规模商业应用中既快又省成本。

总结：它带来了什么改变？

更懂你：不再是“千人一面”的标签，而是“千人千面”的动态理解。同一个人在不同场景下（比如风控 vs 营销），系统能看到他不同的重要特质。
更灵活：以前为了适应不同场景（如防诈骗、推广告），需要训练很多个不同的模型。现在一个模型就能搞定所有场景，只需换个“问题”即可。
更省钱：通过“预加载 + 换滤镜”的技术，极大地降低了计算成本，让这种高精度的 AI 能真正用在支付宝的数亿用户身上。

一句话总结：
这就好比给每个用户发了一本动态的“超能力书”，以前不管谁来问，书里翻出来的都是同一页；现在，谁拿着什么问题来问，书就自动翻到最相关的那一页，而且翻书的速度快得惊人。

这是一篇关于利用大语言模型（LLM）进行场景自适应用户表征学习的学术论文，标题为《Query as Anchor: Scenario-Adaptive User Representation via Large Language Model》。该研究由蚂蚁集团（Ant Group）及多所高校联合提出，旨在解决工业级用户建模中静态嵌入无法适应多场景、多任务需求的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

工业级用户表征学习需要在“通用的鲁棒性”与“特定任务的敏感性”之间取得平衡。现有的主流方法面临以下三大挑战：

场景适应性差与跨任务泛化能力弱：现有的用户嵌入通常是静态的、任务无关的（Static, Task-agnostic）。它们无法灵活适应下游多样化的决策场景（如信贷评估、营销优化、风险控制），导致工业系统往往需要维护多个特定任务模型，增加了复杂度和维护成本。
模态与语义鸿沟：用户行为数据（如支付记录、点击流）通常是稀疏的、符号化的且高度异构的，这与 LLM 预训练所依赖的密集、以语言为中心的数据存在显著差异。直接微调 LLM 难以有效捕捉工业数据的复杂动态。
大规模异构数据整合困难：工业数据在不同场景下的相关性差异巨大，缺乏机制来有选择地关注场景相关信号、抑制噪声，同时在不引入过高推理开销的情况下压缩大规模行为数据。

2. 核心方法论 (Methodology)

作者提出了 Query-as-Anchor (Q-Anchor) 框架，将用户建模从静态编码转变为动态的、查询感知的合成。主要包含以下三个核心组件：

2.1 UserU 预训练数据集

为了赋予 LLM 深度的用户理解能力，构建了工业级预训练数据集 UserU，包含两部分：

基于行为的交互数据集 ( $D_{future}$ )：将用户过去 90 天的多模态行为（支付、小程序、搜索等）与未来的行为预测摘要配对，通过“未来行为预测”任务学习时序规律。
合成问答数据集 ( $D_{uqa}$ )：利用 LLM 生成基于用户画像的“用户理解”问答对（如理财规划、健康管理），并通过“自我反思”机制修正答案，确保事实准确性。这提供了通用的用户理解语义先验。

2.2 Q-Anchor 嵌入架构

分层粗到细编码器 (Hierarchical Coarse-to-fine Encoder)：
- 将原始多模态行为序列投影为初始嵌入。
- 通过事件适配器（Event Adapters）细化原子特征。
- 通过模态适配器（Modality Adapters）聚合模态级趋势。
- 最终通过用户适配器（User Adapter）生成全局用户表示。
- 这种分层设计允许 LLM 根据查询关注细粒度事件或高层摘要。
双塔架构与联合优化：
- Anchor Tower (锚塔)：接收分层用户 Token 和自然语言查询（Query），将查询置于序列末尾作为“锚点”，生成查询感知的用户嵌入。
- Semantic Tower (语义塔)：将目标答案编码为稠密向量作为真值。
- 优化目标：结合对比损失（InfoNCE，对齐用户嵌入与语义向量）和生成式损失（Next-Token Prediction，重构答案），确保嵌入既具有判别性又富含语义。

2.3 场景自适应与推理加速

基于聚类的软提示微调 (Cluster-based Soft Prompt Tuning)：
- 在预训练后，冻结主干网络，引入可学习的软提示（Soft Prompts）和类别原型。
- 通过原型对比损失，将用户嵌入拉向特定场景的类别中心，实现轻量级的场景适配，避免灾难性遗忘。
KV-Cache 加速推理：
- 利用“查询即锚点”的结构，将耗时的用户前缀（Prefix）编码一次并缓存（KV-Cache）。
- 针对不同场景的查询，只需计算短查询后缀的增量状态。
- 这使得单一模型能以极低的延迟为多个场景生成自适应嵌入，支持高并发。

3. 主要贡献 (Key Contributions)

UserU 数据集：构建了首个工业级用户理解预训练数据集，通过规则驱动的未来预测和 LLM 生成的反思式问答，填补了用户行为与语义理解之间的空白。
Query-as-Anchor 框架：提出了一种查询条件化的机制，将用户行为编码与特定场景目标解耦，实现了“一模型多场景”的通用表征。
高效适配与推理：引入了软提示微调实现场景 specialization，并利用 KV-Cache 优化实现了多场景下的低延迟推理。
大规模实证：在支付宝的 10 个工业基准测试和两个在线 A/B 测试中验证了有效性。

4. 实验结果 (Results)

离线基准测试：
- 在支付宝的 10 个二分类任务（涵盖用户活跃、风控、营销敏感度）上，Q-Anchor (Prompt Tuned) 取得了 SOTA 性能。
- 平均 AUC 达到 0.8225，KS 值达到 0.5267。
- 相比最强的通用基线（Llama-Embed-Nemotron-8B），AUC 提升了 9.84%，KS 提升了 38.4%。
- 消融实验表明，对比学习是核心驱动力，预训练提供了必要的行为先验，而软提示微调显著提升了场景特异性。
在线 A/B 测试：
- 场景一（IVR 现金储备推广）：嵌入感知的发送时间决策使提现率提升 12.5%，户均未结清余额提升 5.3%。
- 场景二（信贷逾期风险识别）：业务关键的 KS 分数提升了 1.96%。
可扩展性分析：
- 数据规模：性能随预训练数据量增加而提升。
- 模型规模：发现“缩放悖论”，0.5B 模型在固定数据预算下表现优于 1.5B 和 3B 模型（梯度衰减导致优化困难），0.5B 是性价比最优解。
- 提示微调：仅需 6 个可学习 Token 和 500 步微调即可达到性能饱和。

5. 意义与影响 (Significance)

范式转变：从“多模型多场景”转向“统一表征 + 轻量级场景适配”，大幅降低了工业系统的部署复杂度和维护成本。
工业落地价值：证明了 LLM 在处理稀疏、异构的工业用户数据时的可行性，并通过 KV-Cache 优化解决了 LLM 推理延迟高的问题，使其能够直接应用于支付宝这样的高并发生产环境。
可解释性：通过注意力机制分析（如软提示微调后对“账单”模态注意力的提升），展示了模型如何动态聚焦于与特定场景最相关的特征，增强了决策的可解释性。

综上所述，该论文提出了一套完整的、可落地的工业级用户表征解决方案，成功利用大语言模型实现了跨场景、低延迟、高精度的用户理解，为金融和电商领域的个性化服务提供了新的技术路径。