RGAlign-Rec: Ranking-Guided Alignment for Latent Query Reasoning in Recommendation Systems

1. 研究背景与问题定义 (Problem)

背景：
在现代电商聊天机器人中，主动意图预测 (Proactive Intent Prediction) 是实现“零查询 (Zero-Query)"推荐的关键能力。系统需要在用户未输入任何内容时，仅凭行为信号（如订单状态、历史对话、用户画像）和上下文，预判用户可能遇到的服务瓶颈（如物流延迟、支付失败），并从知识库 (KB) 中推荐相关意图。

核心挑战：
现有的工业级系统面临两个根本性挑战：

1. 语义鸿沟与模态不匹配 (Semantic Gap & Modality Mismatch)：
   • 传统的深度推荐模型 (DLRM) 依赖离散的 ID 特征（如用户 ID、意图 ID）进行协同过滤。
   • 聊天机器人的意图是文本丰富且语义细粒度的。
   • 在零查询场景下，如何将稀疏的行为特征与知识库中连续的文本意图描述对齐，是一个巨大难题。
2. 目标错位 (Objective Misalignment)：
   • 通用大语言模型 (LLM) 通常针对人类偏好（如流畅度、有帮助性）进行对齐（如通过 SFT 或 DPO）。
   • 这些目标与下游的排序任务指标（如 CTR、点击率）并不直接对应。
   • 直接生成的 LLM 语义表示虽然对人类可解释，但往往无法最大化排序指标，导致“可理解但不可用”。

---

2. 方法论：RGAlign-Rec 框架 (Methodology)

为了解决上述问题，作者提出了 RGAlign-Rec，一个将 LLM 语义推理与查询增强 (Query-Enhanced, QE) 排序模型相结合的闭环对齐框架。

2.1 核心组件

1. LLM 语义推理器 (User Query Reasoner, $\pi$)：
   • 输入处理： 将离散的异构特征（用户画像、行为序列、上下文）通过“特征口语化 (Feature Verbalization)"转化为自然语言片段（Chain-of-Thought 提示）。
   • 推理过程： 使用 LLM (Qwen3-4B) 根据上下文推理出用户的潜在查询 (Latent Query)。
   • 表示学习： 采用 Last Token Pooling (LTP) 策略，提取 LLM 最后一个 token 的隐藏状态作为用户的潜在查询语义向量 ($e_{LTP}$)。这比传统的平均池化或外部 Sentence-BERT 更能捕捉序列的全局上下文。
2. 查询增强推荐模型 (QE-Rec)：
   • 在经典的双塔架构基础上增加了一个 Query Tower。
   • 三塔结构： User Tower (用户特征), Intent Tower (意图 ID+ 语义), Query Tower (LLM 生成的 $e_{LTP}$)。
   • 打分函数： 结合用户 - 意图的协同信号 ($z_u, z_i$) 和 查询 - 意图的语义匹配信号 ($z_q, z_i$)。
   • 去偏： 引入置信度预测器进行端到端的自动去偏。

2.2 核心算法：排序引导对齐 (Ranking-Guided Alignment, RGA)

RGA 是一个多阶段训练范式，利用下游排序信号反馈来优化 LLM 的推理能力，形成闭环：

• 阶段 1：初始 QE-Rec 训练
  • 冻结 LLM 推理器，训练 QE-Rec 模型。
  • 目的：建立一个稳定的 Reward Model (RM)，用于评估生成的查询对排序任务的贡献。
• 阶段 2：排序引导对齐 (RGA)
  • 多模型蒸馏与采样： 利用多个 LLM (GPT, Gemini, CompassMax 等) 生成候选查询，通过 QE-Rec 模型打分，计算 NDCG。
  • Best-of-N 采样策略： 选择 NDCG 最高的查询作为正样本 ($Q_w$)，其他作为负样本 ($Q_l$)。特别提出了 V2 (Non-Qwen3 Filtering) 策略，排除推理器自身生成的样本，防止模型自拟合，强制其学习外部高质量信号。
  • 两阶段对齐：
    1. RG-SFT (监督微调)： 使用最佳查询对 LLM 进行微调，使其生成能提升 CTR 的查询。
    2. RG-CL (对比学习) vs RG-DPO (偏好优化)：
       • RG-DPO： 基于 token 概率的偏好优化，最大化最优与次优查询的奖励边界。
       • RG-CL (核心贡献)： 基于表示层面的对比学习 (InfoNCE)。直接对齐 LLM 的隐藏状态 ($h_i$) 与最优查询的语义嵌入 ($e^+_i$)。实验证明，RG-CL 比 RG-DPO 更稳健，能更好地解决几何空间上的错位，避免奖励黑客 (Reward Hacking)。
• 阶段 3：闭环校准 (Closed-Loop Calibration)
  • 使用对齐后的 LLM 重新训练 QE-Rec 模型，形成“推理器优化排序器 -> 排序器反馈优化推理器”的闭环。

---

3. 主要贡献 (Key Contributions)

1. RGAlign-Rec 架构： 首次将 LLM 语义推理器深度集成到查询增强的三塔推荐框架中，有效解决了零查询场景下的语义鸿沟。
2. 闭环排序引导对齐 (Closed-Loop RGA)： 提出了一种创新的训练范式，利用排序模型作为奖励模型，通过 RG-CL (表示级对比学习) 和 RG-SFT，将下游排序目标显式地注入到 LLM 的生成策略中，解决了通用 LLM 与特定任务目标的错位问题。
3. 工业级验证： 在 Shopee 的大规模工业数据集上进行了验证，证明了该方法在离线指标和在线 A/B 测试中的显著收益，特别是 RG-CL 策略在迭代优化中的鲁棒性。

---

4. 实验结果 (Results)

4.1 离线实验 (Shopee 数据集)

• 整体性能： RGAlign-Rec (Full) 相比生产基线 (Baseline) 取得了显著提升：
  • GAUC: +0.12% (相对误差降低 3.52%)。
  • Recall@3: +0.56%。
  • NDCG@3: +0.35%。
• 消融实验发现：
  • LTP vs BGE： 使用 LLM 最后一个 Token 的池化 (LTP) 显著优于使用外部 BGE 模型映射，证明了端到端优化的重要性。
  • 对齐策略： 表示级对齐 (SFT+CL) 比偏好级对齐 (SFT+DPO) 更稳健，在迭代 refinement 中表现更好。
  • 采样策略： V2 (Non-Qwen3 Filtering) 策略通过排除推理器自身生成的样本，有效防止了自拟合，获得了最高的 Recall@3 (68.11%)。

4.2 在线 A/B 测试

• CTR (点击率)：
  • 仅引入 QE-Rec (Raw LLM) 带来 +0.98% 的 CTR 提升。
  • 引入 RGAlign-Rec (RGA 对齐) 后，在 QE-Rec 基础上再提升 +0.13%。
• IHR (意图命中率)： 显著提升，证明模型能更准确地识别用户真实意图。
• CSAT (客户满意度)： 对齐后 CSAT 微降 (-0.21%)。作者分析认为，虽然意图识别更准了，但后续回复内容的质量可能受限于其他因素，这表明意图排序与内容质量是正交的挑战。

---

5. 意义与影响 (Significance)

1. 理论与实践结合： 该论文不仅提出了理论上的对齐方法，更在 Shopee 这一亿级用户的工业级聊天机器人中落地，证明了 LLM 推理能力可以通过排序信号进行“蒸馏”和“对齐”，从而服务于具体的业务指标。
2. 解决工业痛点： 针对工业界常见的“通用模型好用但业务指标不涨”的痛点，提出了一套可落地的闭环训练方案，特别是 RG-CL 策略为处理 LLM 与推荐系统的目标错位提供了新的思路。
3. 零查询推荐的新范式： 展示了如何利用 LLM 将离散的日志数据转化为连续的语义意图，极大地提升了零查询场景下的用户体验和转化率。

总结： RGAlign-Rec 通过构建一个“推理 - 排序 - 反馈”的闭环系统，成功将大模型的语义理解能力与工业级推荐系统的排序目标进行了深度对齐，显著提升了电商聊天机器人的主动服务能力。