技术摘要：离线评估中的日志策略设计

问题陈述

离线评估（OPE）是利用由不同“日志”策略收集的数据来估计目标处理策略（例如，新的推荐系统）价值的关键机制。虽然 OPE 使得无需在线部署即可进行高风险实验成为可能，但其准确性在很大程度上取决于生成数据的日志策略。现有文献通常将日志策略视为固定的、可能未知的行为策略，转而专注于改进估计量（例如，逆倾向评分加权、双重稳健估计）。然而，在实践中，日志策略的选择会显著影响 OPE 估计的偏差和方差，特别是在大动作空间且奖励稀疏的有限样本情形下。

本文解决的核心问题是如何设计日志策略（具体而言，即动作倾向性 $\pi_l(a|x)$），以最小化给定目标策略 $\pi_t$ 的逆倾向评分加权（IPW）估计量的均方误差（MSE）。该设计必须应对一个根本性的奖励–覆盖权衡：将概率质量集中在高奖励动作上可以减少奖励实现带来的方差，而确保覆盖目标策略可能选择的动作对于控制由动作采样引起的偏差和方差则是必要的。

方法论

作者将问题置于上下文多臂老虎机（Contextual Bandit）设定中（即没有状态转移动力学的马尔可夫决策过程），其中上下文 $X$ 来自分布 $p_X$，动作 $A$ 由日志策略 $\pi_l$ 选择。奖励 $R$ 是二值的，服从 $Bernoulli(\mu(a, x))$ 分布。

1. 目标函数

主要目标是最小化 IPW 估计量 $\hat{V}_{IPW}(\pi_t | \pi_l)$ 的 MSE：
$$MSE = E[(\hat{V}_{IPW} - V(\pi_t))^2] = Bias^2 + Variance$$
作者明确推导了作为日志策略 $\pi_l$ 函数的偏差 - 方差分解。他们指出，虽然重叠性（确保对于所有 $\pi_t(a|x) > 0$ 的 $a$，都有 $\pi_l(a|x) > 0$）可以消除偏差，但这并不一定能最小化 MSE，特别是在样本量较小时。

2. 信息机制

本文在不同信息约束下分析了最优日志策略，根据对目标策略 ($\pi_t$) 和奖励分布 ($\mu$) 的知晓程度进行分类：

• 未知的 $\pi_t$ 和未知的 $\mu$：在缺乏信息的情况下，极小化极大（minimax）最优策略是均匀随机化。这与当待估量未知时，无信息先验是最优的直觉相一致。
• 已知的 $\mu$，未知的 $\pi_t$：最优策略分配与 $\frac{\mu(a,x)}{c + \mu(a,x)^2}$ 成比例的质量，在优先选择高奖励动作的同时保持安全边际。
• 未知的 $\mu$，已知的 $\pi_t$：最优策略是直接在目标策略 $\pi_t$ 下记录数据。
• 已知的 $\pi_t$ 和已知的 $\mu$：这是理想情况。最优日志策略遵循指向目标策略的Neyman 分配：
  $$\pi_l^*(a|x) \propto \pi_t(a|x)\sqrt{\mu(a,x)}$$
  该解按目标策略的质量与奖励概率平方根的乘积对动作进行加权。

3. 中间设定与实际约束

认识到完美信息很少可得，本文将框架扩展到中间设定：

• 目标策略的分布：当确切的目标未知但已知分布 $Pr(\pi_t)$ 时，最优日志策略针对的是“二阶伪目标” $\tilde{\pi}_t(a|x) = \sqrt{E[\pi_t(a|x)^2]}$。
• 含噪奖励估计：当 $\mu$ 通过带有噪声的模型 $\hat{\mu}$ 估计时，直接代入 $\hat{\mu}$ 会放大方差。作者提出了后验收缩（posterior shrinkage），将含噪估计向每个上下文的均值收缩。在高斯分层先验下，推导出了最优收缩权重，从而得出一种“经验贝叶斯”解释，其中收缩参数是从保留数据中估计的。
• 软贪婪类：对于因工程或组织约束导致理论最优解不可行的设定，本文提出了三类由“贪婪度”参数索引的策略：Top-k、Softmax 和幂归一化。这些类别在均匀随机化和确定性贪婪选择之间进行插值，允许企业通过单个超参数来平衡奖励 - 覆盖权衡。

主要结果

1. 改进日志的最优性：在 $\pi_t$ 和 $\mu$ 均已知的情况下，最优日志策略 $\pi_l^*$（Neyman 分配）产生的 IPW 估计量的 MSE 低于直接运行目标策略 $\pi_t$（在线评估）。此外，$\pi_l^*$ 在日志期间获得的期望奖励高于 $\pi_t$ 本身。这表明，与在线 A/B 测试相比，优化的离线评估可以同时提高统计精度和用户体验。
2. 奖励 - 覆盖权衡：本文形式化地指出，最优日志策略很少与目标策略完全相同。即使目标策略已知，日志策略也必须平衡采样高奖励物品（以减少奖励方差）与采样目标策略选择的物品（以减少采样方差）之间的关系。
3. 噪声的影响：在不进行收缩的情况下使用含噪奖励预测，会导致次优的日志策略，其表现甚至可能不如均匀随机化。后验收缩显著缓解了这种风险，通常使得即使在奖励模型不完美时，优化的日志策略也能优于在线评估。
4. 启发式算法的性能：仿真表明，简单的“软贪婪”策略（特别是 Top-k 和幂归一化）可以接近理论最优的 MSE。在有限样本情形下，有意截断动作支持（引入轻微偏差）相比于强制严格重叠的策略，可以降低整体 MSE。

意义与贡献

本文声称提供了一个统一的框架用于日志策略设计，超越了临时的启发式方法或仅关注安全性的约束。其意义在于：

• 理论根基：它将日志策略设计与最优实验设计（Neyman 分配）和重要性采样中的经典问题联系起来，在各种信息约束下提供了可处理的优化解。
• 可操作的指导：它为企业在选择候选系统时提供了具体策略，特别是在目标策略未知或奖励估计含噪的情况下。提出的收缩方法和软贪婪类为实施提供了实用工具。
• 双重收益：它挑战了“用于评估的数据收集必须牺牲用户体验”的观念。结果表明，理论上最优的日志策略可以产生既更精确的离线评估又更高的即时奖励，优于被评估的策略。
• 权衡的澄清：通过在日志设计背景下明确刻画奖励 - 覆盖权衡以及偏差 - 方差分解，本文阐明了何时以及为何不同的日志策略（例如，均匀策略 vs. 贪婪策略 vs. Neyman 策略）是合适的。

作者总结道，虽然他们的理论结果依赖于某些假设（例如使用 IPW 和弱重叠性），但它们为企业改进离线实验工作提供了原则性基础，用数据驱动的、理论优化的日志策略取代了像均匀随机化这样的保守后备方案。