技术摘要：通过 SemRaD 弥合信息鸿沟

1. 问题定义

本文探讨了电子商务领域中的新用户冷启动问题，特别是针对交互历史稀疏的用户进行用户终身价值 (LTV) 和 转化率 (CVR) 预测的挑战。标准的序列模型（如 DIN、SASRec）依赖于丰富的历史数据；当用户轨迹仅包含少量事件时，预测结果会退化为群体平均值，从而导致营销效率低下并错失留存机会。

作者识别了两种现有方法及其具体局限性：

1. 基于 LLM 的语义增强： 虽然大语言模型 (LLM) 可以通过推断用户意图来使稀疏的历史记录稠密化，但它们通常生成的是非结构化的自由文本理由 (rationales)。在生产环境中，这些文本存在噪声、难以验证，且在不同用户或市场变化之间缺乏一致性，难以实现工程化落地。
2. 利用特权信息学习 (LUPI)： 该方法使用一个能够访问转化后信号（特权信息）的“教师”模型，来训练一个仅能看到转化前数据的“学生”模型。然而，朴素的蒸馏往往会失败，因为教师与学生之间的信息鸿沟 (information gap) 过大，且在不同用户之间具有异质性 (heterogeneity)。单一的共享蒸馏路径倾向于对这些不同的状态进行平均化处理，无法有效地将知识转移给那些最需要它的特定用户。

2. 方法论：SemRaD 框架

作者提出了 SemRaD（语义推理感知蒸馏），这是一个旨在通过两个互补组件来弥合信息鸿沟的框架：结构化语义推理流水线和后验感知蒸馏网络。

A. 结构化语义推理流水线

Sem-RaD 没有生成自由文本，而是采用了一个**“发现—精选—审计”的工作流**，以创建一套固定的、可解释的行为维度模式（例如：时间分辨率、交易规模）。

• 模式构建 (Schema Construction)： LLM 提出候选维度，由第二个 LLM 调用进行去重和整合，随后由领域专家进行评审，以确保维度的独立性和预测相关性。
• 语义画像 (Semantic Profiling)：
  • 转化前 ($Z_{pre}$)： LLM 分析稀疏的转化前日志，生成由各维度构成的稠密语义画像 (Densified Semantic Profile)。这是部署后的学生模型所使用的唯一 LLM 衍生信号。
  • 转化后 ($Z_{post}$)： 在训练期间，LLM 分析具有特权信息的转化后日志，生成未来的画像。
  • 后验融合 ($Z_{fused}$)： 一个融合提示词 (fusion prompt) 用于协调转化前与转化后的推理。它识别哪些转化前信号具有真正的预测性，并解决矛盾，从而产生一个后验蒸馏目标 (Hindsight Distillation Target)。该目标为教师提供了自洽的监督信号，使其能够学习到有意义的信息，而非原始且可能存在矛盾的信号。

B. 后验感知蒸馏网络

该框架使用同步蒸馏范式，包含一个学生模型（在线运行）和一个教师模型（仅用于训练）。

• 语义门控编码器 (Semantic-Gated Encoder)： 为了处理用户异质性（即不同维度对不同用户的重要性不同），模型使用语义门控编码器。它使用冻结的文本嵌入器对每个语义理由进行编码，并通过门控机制计算每个用户的权重。这使得模型能够专注于对特定用户最有信息量的维度。
• 蒸馏专家 (Distillation Experts)： 为了应对异质性的信息鸿沟，该框架使用蒸馏专家取代了单一的共享蒸馏路径。一个以教师表示为条件的 Gumbel-softmax 路由选择多个专家 MLP 中的一个，来从学生输入中重建教师的目标。这使得模型能够根据特定用户的数据状态调整转移策略。
• 训练目标： 总损失结合了任务特定的监督损失（LTV 使用 Huber 损失，CVR 使用 BCE 损失）、软目标知识蒸馏 (KD) 以及专家路由重建损失。

3. 核心贡献

1. 结构化语义推理流水线： 用基于模式的“发现—精选—审计”工作流取代了非结构化的 LLM 理由。这产生了用于推理的稠密语义画像和用于训练的后验蒸馏目标，确保了系统的一致性和可操作性。
2. 后验感知蒸馏网络： 通过后验融合目标实现教师与学生之间的知识桥接，并通过蒸馏专家处理用户间的差异，避免了单路径蒸馏的脆弱性。
3. 生产环境部署与泛化性： 证明了 SemRaD 在不同任务（LTV 和 CVR）、不同学生骨干网络（Transformer、DIN、Avg-Pooling）以及不同 Profiler LLM 之间的泛化能力。并在大规模工业场景中验证了其有效性。

4. 实验结果

实验在大型工业数据集（12 万用户）上进行，并通过 Keeta 的为期四周的在线 A/B 测试进行了验证。

• 离线性能： 与生产级的基准模型相比，SemRaD 实现了：
  • LTV (基尼系数) 提升了 1.9%。
  • CVR (AUROC) 提升了 1.0%。
  • 消融实验证实，结构化语义画像和后验感知蒸馏（包括专家模块）对于达到峰值性能都是必要的。
• 数据效率： SemRaD 仅使用 9% 的训练数据就达到了生产系统在 LTV 上的表现，同时还将 CVR 提升了 0.8%，凸显了语义画像的信号效率。
• 在线 A/B 测试： 在实际部署（5% 流量，约 1 万用户）中，SemRaD 显示出：
  • LTV 相对提升 1.0%。
  • CVR 相对提升 0.43%。
  • 由于使用了门控 MLP，服务延迟略有增加（P50: +7.6%, P99: +34%），但在推理阶段无需调用 LLM（画像已缓存）。
• 机制分析：
  • 门控权重： 学习到的门控权重符合专家直觉（例如，“导航意图特异性”占据主导地位），验证了模式的实用性。
  • 蒸馏专家： 路由机制在没有显式监督的情况下，自然地将用户聚类为不同的状态（例如：转化用户 vs 非转化用户）。
  • 信息鸿沟： 与朴素蒸馏相比，SemRaD 显著降低了冷启动用户在教师与学生之间的预测差异，证实了后验融合使特权监督变得更易于学习。

5. 重要性与声明

本文声称 SemRaD 有效解决了冷启动预测中的双重挑战：非结构化语义噪声和异质性信息鸿沟。通过将 LLM 推理转化为结构化模式，并通过后验融合协调特权信号，该框架实现了从具有特权信息的教师向数据稀疏的学生进行稳健的知识转移。

作者强调，该框架具有模型无关性 (model-agnostic)，并已成功应用于 Keeta 的其他生产任务，包括 CTR 预测、用户模拟以及沉默用户重新激活。这项工作证明，将结构化语义推理与先进的蒸馏技术相结合，可以在保持数据效率和工程可行性的同时，产生显著且可衡量的业务价值。