技术摘要：跨用户生命周期的不确定性感知自适应推荐

1. 问题陈述

现代推荐系统在应对不同生命周期阶段的用户不确定性时，面临着一个根本性的二分法困境。

• 低活跃用户（LAUs）： 其特征是交互历史稀疏，这类用户极易受到模型脆弱性的影响。针对 LAUs 的预测若存在高不确定性，将因推荐不可靠而带来用户立即流失和脱离互动的重大风险。
• 高活跃用户（HAUs）： 拥有丰富数据，这类用户提供了一个将不确定性作为探索信号的机会。对于 HAUs 而言，高不确定性表明存在未探索的兴趣空间，为内容多样化和扩展推荐生态系统提供了契机。

核心挑战： 现有的大规模推荐模型通常输出点估计值，缺乏内在的置信度评分。最先进的深度学习模型往往校准不佳，意味着高预测分数并不能保证可靠性。此外，传统的不确定性量化方法无法满足工业界需求：

• 贝叶斯/蒙特卡洛 Dropout（MC Dropout）： 提供原则性的估计，但因需要多次随机前向传播或后验采样，导致延迟过高，难以承受。
• 共形预测（Conformal Prediction）： 计算高效，但通常仅提供全局误差保证，缺乏个性化过滤所需的细粒度、特定于输入的粒度。

这造成了一个操作缺口：系统无法在实时中区分“容易”的预测与“高风险”的预测，从而导致脆弱用户群体的用户体验下降，以及活跃用户群体的探索机会错失。

2. 方法论

作者提出了一个统一的、生产就绪的框架，该框架量化特定于输入的认知不确定性，并根据用户活跃程度应用差异化策略。该框架支持两类主要模型：点估计模型（如点击率 CTR 预测器）和概率模型。

2.1 不确定性量化

系统将不确定性定义为认知不确定性（源于数据有限或模型容量的模型不确定性），而非偶然不确定性（固有的数据噪声）。

• 针对点估计模型（确定性）：

  • 方法： 系统估算每个用户 - 物品对的预期预测误差（EPE）。
  • 实现： 训练一个辅助评论家网络（Critic Network）（$g_\phi$）来直接预测 EPE。
  • 训练机制： 推荐模型被冻结，而评论家网络则每日利用输入特征与从先前模型检查点导出的实现泛化误差组成的元组进行训练。评论家网络接收多视图输入表示（原始特征 + 中间嵌入 + 最终输出），以估算 $U_{point}(x)$。
  • 原理： 基于特定层级（例如在 LAUs 之间）内固有行为随机性相似的假设，EPE 可作为模型不确定性的代理指标。

• 针对概率模型：

  • 方法： 系统利用**经验贝叶斯（Empirical Bayes）**过程。
  • 实现： 模型根据输入 $x$ 输出条件先验的超参数（例如 Beta 分布参数 $\alpha, \beta$）。
  • 分解： 利用全方差定律，预测方差被分解为数据噪声和模型不确定性。该框架隔离出模型（认知）不确定性分量：$U_{prob}(x) = \text{Var}_{\theta|x}(\mathbb{E}[Y|\theta, x])$。
  • 训练： 模型通过最大边际似然（Type-II MLE）进行训练，以学习依赖于输入的先验，而无需对潜在参数进行点估计，从而在训练过程中保留不确定性。

2.2 校准

原始不确定性评分通过经验校准集转换为可操作的阈值。对于给定的分位数水平（例如 0.95），建立阈值 $\tau_{point}$ 和 $\tau_{prob}$ 以定义“高风险”物品，而无需参数假设。

2.3 双策略部署

该框架根据用户细分应用不同的策略：

1. 针对 LAUs 的风险规避降权（Deboosting）：

   • 目标： 通过抑制不可靠的推荐来防止用户流失。
   • 机制： 如果物品的不确定性评分（$U_{point}$ 或 $U_{prob}$）超过校准阈值，则将其标记为高风险。从基础相关性分数中减去降权惩罚 $D$：$r_{final} = r_{base} - D \cdot \mathbb{I}_{risky}$。
   • 结果： 高不确定性物品被过滤掉或降低排名，以确保数据稀疏的用户获得稳定、高质量的体验。

2. 针对 HAUs 的风险寻求探索：

   • 目标： 增强多样性并发现潜在兴趣。
   • 机制： 高认知不确定性被视为探索奖励，遵循**置信上限（UCB）**原则。最终分数被提升：$r_{final} = r_{base} + \omega \cdot U_{HAU}$，其中 $\omega$ 是探索权重。
   • 结果： 系统优先为活跃用户推荐未充分探索的内容领域，促进生态系统的长期活力。

3. 主要贡献

1. 统一的不确定性量化框架： 一个生产就绪的系统，结合了用于确定性模型中 EPE 估计的辅助评论家网络，以及用于概率模型中方差估计的经验贝叶斯模块。这提供了每个用户、每个物品的置信度评分，且无需传统贝叶斯推断带来的延迟开销。
2. 针对 LAUs 的定向降权： 一种实用策略，利用校准的不确定性阈值主动过滤高风险推荐，解决冷启动和稀疏数据挑战，以减轻用户流失。
3. 驱动 HAUs 的不确定性探索： 一种机制，利用高认知不确定性作为兴趣扩展的积极信号，使用 UCB 原则奖励模型驱动的不确定性，从而提高推荐多样性。
4. 大规模实证验证： 在主要直播平台上的全面验证表明，不确定性感知排序既改善了脆弱用户的留存率，也提升了活跃用户的多样性。

4. 实验结果

该框架在主要直播平台的生产流量上进行了为期 14 天的评估，重点关注低活跃用户（LAUs）和高活跃用户（HAUs）。

4.1 离线分析

• 相关性： 评论家预测的 EPE 和贝叶斯先验方差均显示出与实现误差的高斯皮尔曼相关性（>0.65），显著优于多头集成（Multi-head Ensembles）和 MC Dropout 基线。
• 趋势对齐： 随着直播会话时长的增加，不确定性评分正确下降（反映了均方误差 MSE 的降低），验证了模型与数据积累相关的领域直觉相一致。

4.2 在线 A/B 测试（LAUs）

风险规避降权策略带来了统计显著的改进：

• 留存率： HLT7（过去 7 天的每小时生命周期）提升了 +0.0577%。
• 质量： 有价值观看时长比率（VWR）增加了 +0.512%。
• 效率： 虽然原始直播观看时间略有下降（-0.16%），但 HLT 效率（每牺牲单位观看时间获得的留存增益）为正值（0.0549），表明以低价值消费换取更高留存是成功的权衡。
• 溢出效应： 应用停留时长增加了（+0.16%），表明对整体平台粘性产生了积极影响。

4.3 在线 A/B 测试（HAUs）

基于 UCB 的探索策略在不妨碍参与度的情况下改善了多样性指标：

• 多样性： Show Tag/U（展示的平均唯一类别标签）提升了 +2.1%。
• 平衡性： Top1 Tag UV Ratio（单一兴趣过度集中的比例）优化了 -0.42%。
• 参与度： 直播观看时间保持稳定（+0.16%，无统计显著性），证实探索并未降低用户体验。

4.4 消融研究

• 统一框架与组件对比： 结合 EPE 和贝叶斯不确定性产生了最佳结果。仅使用 EPE 或仅使用贝叶斯方差导致的增益较低，证实了它们的互补性。
• 基线对比： 多头集成和 MC Dropout 等结构启发式方法表现出显著较低的性能（例如，MC Dropout 仅带来 +0.036% 的 HLT7 提升，而统一框架为 +0.0577%）。这表明随机权重扰动或简单集成无法在复杂的 DCN 架构中有效捕捉实例级的认知风险。
• 随机基线： 随机标记物品为高风险产生了中性或负面结果，证明改进是由不确定性估计的质量驱动的，而不仅仅是降权行为本身。

5. 意义与主张

论文主张，明确的不确定性估计是工业级推荐系统的关键但常被忽视的组成部分。通过将认知不确定性视为 LAUs 的风险和 HAUs 的机会，该框架实现了双重目标：

1. 稳定性： 保护脆弱用户免受模型脆弱性的负面影响，直接提升留存率和满意度。
2. 活力： 系统性地扩展活跃用户的推荐生态系统，防止信息茧房并鼓励内容发现。

作者强调，他们的方法 bridging 了理论不确定性量化与实际、低延迟部署之间的差距。通过避免昂贵的采样方法，转而使用学习的评论家网络和经验贝叶斯，他们提供了一种可扩展的解决方案，能够按物品粒度量化置信度。结果强调，不确定性感知排序不仅是理论上的改进，更是构建更安全、更透明、更可信的推荐生态系统在高 stakes 环境中的实际必要性。

作者承认的局限性：

• 依赖稳定的每日重训练管道以获取 EPE 样本。
• 在复杂的多模态环境中，Beta 先验可能过度简化了行为变异性。
• 由于缺乏真实标签，对认知不确定性的评估是间接的。
• 短期安全性（降权）与长期数据获取之间的权衡。
• 缺乏对异质性 LAU 子细分内部的明确区分。