技术摘要：用于鲁棒排序与分配的表示课程学习 (Representation Curriculum)

1. 问题陈述

现代数字市场排序系统运作于动态的曝光分配机制之上。这些系统高度依赖于内生且受曝光影响的信号（例如：流行度估计、历史 CTR/CVR 以及基于 ID 的表示），因为在近似平稳的需求条件下，此类信号具有极强的预测性，并能解释观测结果中的显著方差。

然而，这种预测能力引发了一种学习病态现象：

• 捷径学习 (Shortcut Learning)： 在训练早期，接触到依赖于曝光的信念信号会引导优化动力学转向对这些信号的过度依赖。
• 梯度饥饿 (Gradient Starvation)： 在成对或列表式排序学习 (LTR) 中，强预测因子（历史信念）会在训练初期产生巨大的分值差距，导致损失函数饱和。这会抑制较弱但至关重要的线索——即与曝光无关的价值信号（例如：基于内容的竞争力和语义意图亲和力）——的梯度。
• 后果： 学习到的策略倾向于固化既有优势者，降低冷启动泛化能力，并降低在分布偏移下的鲁棒性。这会导致自我强化的曝光循环，从而损害发现机制、公平性和平台的长期健康。

现有的缓解策略（如反事实学习、监督塑造、收缩、架构约束和随机掩码）通常是语义无关的，或者无法控制学习能力随时间在不同特征组之间的分配方式。

2. 方法论：表示课程 (Representation Curriculum, RC)

作者提出了表示课程 (RC)，这是一种语义感知的训练时干预手段，通过阶段性地调度特征利用过程，以防止对历史信号的捷径依赖。

核心机制

RC 将特征划分为两个语义组：

1. 基于内容的价值信号 ($x_C$)： 无论先前的曝光情况如何均可获取（例如：物品属性、查询-物品亲和力）。
2. 依赖于曝光的历史信念信号 ($x_H$)： 源自过去的交互（例如：稳定的 CTR、历史交易量）。

RC 实施了一个两阶段训练课程：

• 第一阶段 (仅内容)： 模型仅在基于内容的信号 ($x_C$) 上进行训练，历史信号被掩码处理 ($x_H = 0$)。这迫使学习器开发出一种鲁棒的“内容路径”，能够在不依赖历史捷径的情况下解释标签的变化。
• 第二阶段 (全量 + 锚定)： 引入历史信号 ($x_H$)。然而，优化过程被锚定在第一阶段的解上，以保留已学习到的内容表示。这通过两种互补的锚定策略实现：
  1. 预测锚定 (掩码一致性)： 强制要求第二阶段模型在掩码输入（即 $x_H=0$ 时）上的预测与第一阶段模型保持一致。
  2. 参数锚定 (内容路径保护)： 显式地正则化内容路径参数 ($\theta_C$)，使其保持接近第一阶段的参数值 ($\theta_C^{(1)}$)。

第二阶段的目标函数结合了主任务损失、标准正则化以及锚定项：
$$\mathcal{L}_{total} = \mathbb{E}[\mathcal{L}(f_\theta(x_C, x_H); y)] + \lambda \Omega(\theta) + \mu_1 \mathcal{L}_{pred}(\theta) + \mu_2 \mathcal{L}_{par}(\theta)$$

模型无关性

RC 可应用于不同的假设类：

• 神经网络： 实现于双塔架构中，通过锚定物品侧的内容塔来实现。
• 梯度提升决策树 (GBDT)： 通过仅使用内容特征拟合初始的一组树 ($M$)，然后使用全量特征继续提升剩余的树 ($T-M$)，并将第一阶段的输出视为固定的基础边际 (base margin)。

3. 理论保证

作者在高斯线性岭回归设定下对 RC 进行了形式化，以推导闭式解和可验证的充分条件。

• 帕累托权衡 (Pareto Tradeoff)： 分析表明，RC 允许在对观测源分布 ($P$) 的性能与强调冷启动或低曝光细分市场的战略目标分布 ($Q$) 之间进行量化的权衡。
• 风险界限：
  • 源分布性能： 相对于使用全量特征训练的标准模型，RC 在分布 $P$ 上保持了有界的遗憾 (regret)。
  • 目标分布鲁棒性： RC 显著降低了在目标分布 $Q$（特别是当 $x_H$ 不存在或不可靠的“冻结启动”场景）上的期望风险。
• 提升条件： 论文提供了 RC 在保持对源分布具有竞争力的同时，严格降低目标分布风险的充分条件。这些条件取决于协方差矩阵的 Schur 补的条件数以及全量模型与仅内容模型之间的边际差异。

4. 实验结果

RC 的有效性通过公开基准测试和大规模在线部署得到了验证：

• MSLR-WEB (排序学习)： RC 成功降低了高预测性历史信念信号的特征重要性。这种转变改善了冷启动物品的排序质量，且对整体性能的下降微乎其微。

• MovieLens (推荐系统)： 在神经双塔设定下，RC 引导模型更依赖于内容特征。这显著提升了“冻结启动”（模拟历史信号不可用场景）下的表现。

• eBay 赞助搜索 (在线 A/B 测试)： 在一个实时电子商务系统的随机实验中显示，通过 RC 训练的策略：
  • 增加了新上架物品（冷启动物品）的曝光速度和销售速率。
  • 保持了中性的聚合关键绩效指标 (KPI)，表明向基于内容的价值转移并未损害整体市场效率。

5. 意义与主张

论文声称，表示课程 (RC) 通过显式控制学习的时间轨迹，而非仅仅控制最终目标或数据分布，从而提供了优于现有方法的独特优势。

• 机制设计： RC 作为一种机制设计工具，能够将学习过程与符合福利目标的（如支持新供应商）目标对齐，同时不牺牲历史数据的预测能力。
• 鲁棒性： 通过防止过度依赖内生信号的“捷径”，RC 生成的策略在面对分布偏移时更加鲁棒，并且在处理战略性子群体（冷启动）时具有更好的泛化能力。
• 实用性： 该方法具有模型无关性，可以无缝集成到现有的训练流水线（神经或树模型）中，仅需极小的架构改动，仅需一个阶段性的训练计划和锚定约束。

作者总结道，RC 有效地将依赖从历史信念信号转向了基于内容的价值信号，从而在对头部效应 (head performance) 进行受控权衡的同时，实现了对冷启动群体的一致性增益。