🤖 machine learning

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

本文提出了一种新颖的跨领域离策评估与学习框架，该框架利用来自目标域和源域的历史数据集来克服诸如少样本数据、确定性日志策略以及新动作等关键挑战，从而在现有方法因高方差或有限探索而失效的情景下，实现有效的策略评估与优化。

原作者： Yuta Natsubori, Masataka Ushiku, Yuta Saito

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuta Natsubori, Masataka Ushiku, Yuta Saito

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正试图在暴风雨中航行的船长，但你从未航行过这条特定的航线。你有一张记录了你当前船只过往航程的地图（即“日志数据”），但这张地图并不完整。也许是前任船长过于谨慎，只在平静的水域航行，从而留下了未被测绘的危险礁石；又或者，因为船只太小无法探索整个海洋，导致地图完全缺失。在计算机科学的一个被称为机器学习的领域中，这是一个被称为**上下文多臂老虎机（Contextual Bandits）**的常见问题。它描述了计算机如何根据情况（即“上下文”）来做出决策——例如推荐一部电影、建议一种药物或展示一条广告——而无需在现实世界中尝试每一个选项（因为那可能既昂贵又危险）。

为了解决这个问题，科学家们使用了一种名为**离策评估（Off-Policy Evaluation, OPE）**的技术。你可以把 OPE 想象成一个用于决策的“飞行模拟器”。与其在真实的人身上测试新策略（这很冒险），不如利用旧数据在计算机中运行，看看它在实际操作中表现会如何。问题在于，如果旧数据过于枯燥（比如船长只做了一件事），或者新策略想要尝试旧船长从未尝试过的选项，大多数模拟器就会失效。如果旧数据中没有特定动作的记录，模拟器就无法猜测会发生什么，从而导致荒谬的猜测或彻底失败。这篇论文探讨了这种棘手的场景：即旧数据过于有限、过于僵化，或者完全缺失了关键的新选项。

这时，来自博报堂（Hakuhodo DY Holdings）和康奈尔大学的研究人员提出了一个巧妙的新方法来修复这个损坏的模拟器。他们称之为跨域离策评估与学习（Cross-Domain Off-Policy Evaluation and Learning）。想象一下，你正试图在一个全新的、未知的海洋中学习冲浪（“目标域”），但你所在的本地海滩（“源域”）有着不同的波浪模式。如果你只观察自己的海滩，当看到一个从未在你那里出现过的巨浪时，你可能会感到困惑。但是，如果你还能观看一段在邻近海洋冲浪的视频呢？即便水流略有不同，波浪的物理特性可能是一致的。

作者提出，与其受困于当前情境下那些枯燥或不完整的资料，你可以借鉴来自其他相似情境（其他“领域”）的见解。他们意识到，虽然每个医院、每个国家或每组用户都是独特的，但它们通常共享一些底层模式。例如，某种治疗方法在两家不同的医院中效果可能相似，即使患者的人口统计特征略有差异。该论文介绍了一种名为 COPE（跨域离策评估）的新方法。它的工作原理是将“奖励”（好的结果）拆分为两个部分：一个是在相似群体中通用的共享部分（类似于波浪的一般物理特性），以及一个仅针对你所在群体的独特部分（类似于当地的风向）。

通过利用来自其他领域的数据来确定“共享部分”，COPE 可以填补由于在你的特定数据中从未尝试过某些动作而留下的空白。这就像是利用邻近城市的地图，来推断出你所在城镇中地图遗漏的一条街道的布局。研究人员在视频分享应用（KuaiRec）的真实数据上测试了该方法，并发现当目标数据稀缺、旧数据过于僵化（确定性强）或存在全新的动作尝试时，他们的方法比传统方法准确得多。他们证明了，通过结合来自多个来源的数据，同时小心地处理它们之间的差异，我们可以更有效地评估和学习新的策略。他们展示了在以往方法会直接放弃或产生巨大误差的情况下，我们的方法依然表现出色。

在实验中，他们模拟了以下场景：新动作占所有可能选择的 80%，或者旧数据极其有限，以至于每个动作只有一个数据点。在这些极端情况下，他们的新方法显著降低了误差，优于标准方法。他们还表明，这种方法不仅适用于“评估”（检查一个策略），也适用于“学习”（寻找最佳策略）。该论文指出，通过将不同的数据源视为一个相互关联的家族而非孤立的岛屿，我们可以构建出更聪明、更安全且更具适应性的决策系统，尤其是在我们缺乏从零开始学习所需的数据时。

技术摘要：上下文多臂老虎机（Contextual Bandits）的跨域离策评估与学习

1. 问题形式化

本文针对上下文多臂老虎机在面对现实应用（如个性化医疗、广告、教育）中常见的三个特定且具有挑战性的场景时，现有离策评估（OPE）和离策学习（OPL）方法的局限性进行了研究：

确定性日志策略（Deterministic Logging Policies）： 历史日志策略以概率 1 选择特定动作，缺乏随机探索。
新动作（New Actions）： 新策略可用的动作在历史日志数据中从未被观测到。
少样本数据（Few-Shot Data）： 目标域的日志数据极其有限。

标准的估计器，如逆倾向得分法（IPS）和双重稳健法（DR），依赖于**共同支持（Common Support）**假设（条件 2.1），该假设要求新策略采取的任何动作在历史日志策略中必须具有非零的被采取概率。当该假设由于确定性或新动作而失效时，这些估计器会因为缺乏对未探索动作的奖励信息而产生严重的偏差。此外，通过聚合多个领域数据来缓解这一问题的朴素尝试（例如 IPS-ALL）往往会因为忽略了不同领域间数据生成过程（DGP）的差异而引入巨大的偏差。

为了解决这个问题，作者提出了一个新的问题形式化：跨域 OPE/L。在这种设定下，目标是利用不仅限于目标域（ $T$ ）有限的日志数据，还包括来自多个源域（ $S$ ）的历史日志数据集，来评估并优化目标域中的策略。这些源域可能具有不同的上下文分布、奖励分布和日志策略，但它们共享相同的动作空间。

2. 方法论

2.1 奖励函数分解

所提方法的核心是将任何领域 $k$ 的期望奖励函数 $q_k(x, a)$ 分解为两个部分：
$q_k(x, a) = \underbrace{g(x, a, \phi(k))}_{\text{领域簇效应}} + \underbrace{h(x, a, k)}_{\text{领域特定效应}}$

领域簇效应 ( $g$ )： 同一簇 $\phi(k)$ 内各领域共有的成分。它捕捉了共享的因果效应（例如，不同医院之间相似的治疗效果）。
领域特定效应 ( $h$ )： 每个特定领域 $k$ 所特有的成分，代表了对簇平均值的偏离。

2.2 COPE 估计器

作者提出了**跨域离策评估（COPE）**估计器，它利用这种分解来处理支持不足的问题：

估计簇效应： 对于领域簇效应 $g$ ，COPE 使用来自目标簇 $\phi(T)$ 内所有数据的多重重要性加权（MIW）。这使得估计器能够利用源域的探索数据来评估目标域中未被探索的动作，前提是这些动作在簇内是被探索过的。
估计特定效应： 对于领域特定效应 $h$ ，COPE 使用仅在目标域日志数据上训练的奖励回归 ( $\hat{q}_T$ )。这纠正了目标域的独特特征。

最终的 COPE 估计器结合了这两个部分：
$\hat{V}_{COPE}(\pi; D_{\phi(T)}) = \underbrace{\frac{1}{n_{\phi(T)}} \sum_{k \in \phi(T)} \sum_{i=1}^{n_k} \frac{\pi(a_i^k|x_i^k)}{p_{\phi(T)}(a_i^k|x_i^k)}(r_i^k - \hat{q}_T(x_i^k, a_i^k))}_{\text{在簇数据上进行 MIW}} + \underbrace{\frac{1}{n_T} \sum_{i=1}^{n_T} \sum_{a \in A} \pi(a|x_i^T)\hat{q}_T(x_i^T, a)}_{\text{在目标数据上进行回归}}$
这里， $p_{\phi(T)}(a|x)$ 是在目标簇内平均后的上下文与动作的联合分布，作为重要性权重的分母。

2.3 向策略学习的扩展 (COPE-PG)

该框架通过推导策略梯度估计器（COPE-PG）扩展到了离策学习（OPL）。该估计器使用相同的分解方式来更新策略参数 $\theta$ ，从而实现学习能够选择新动作或处理确定性日志场景的策略，其原理是利用了源域的梯度。

2.4 理论性质

放宽的支持条件： 该方法依赖于共同簇支持（Common Cluster Support）（条件 3.1），只要日志策略在簇内具有共同支持（而不一定是仅在目标域内），该条件即成立。这使得即使目标域的日志策略是确定性的或存在新动作，只要簇内包含探索数据，评估依然可行。
偏差分析： COPE 的偏差由回归误差在簇内的加权平均值与目标域误差之间的差异来表征。在**条件成对正确性（CPC）**条件（即回归模型能准确保持簇内领域与目标领域之间相对奖励差异）下，证明了 COCOPE 是无偏的。
泛化性： COPE 被证明是现有估计器的严格泛化。如果簇大小为 1（仅包含目标域），它就退化为标准的 DR。如果簇包含所有领域，它则趋近于 DR-ALL（尽管带有偏差修正）。

3. 主要贡献

问题形式化： 引入了跨域 OPE/L，这是一个利用源域数据来解决目标域中 OPE/L 挑战（确定性日志、新动作、少样本数据）的新颖设定。
新估计器 (COPE)： 一种基于奖励函数分解（簇效应 vs. 特定效应）和多重重要性加权的创新估计器。它在理论上比标准 IPS/DR 在更宽松的条件下实现了无偏性。
策略梯度扩展： 开发了 COPE-PG，使得在传统梯度估计器因缺乏探索而失效的场景下也能进行策略学习。
实证验证： 在真实推荐数据集（KuaiRec）和合成数据上的全面实验表明，与基准方法（IPS、DR、DM 及其“ALL”领域变体）相比，COPE 在均方误差（MSE）、偏差减少和策略值优化方面表现优异。

4. 实验结果

作者在不同条件下将 COPE 和 COPE-PG 与基准方法（IPS(T), DR(T), DM(T), IPS-ALL, DR-ALL, DM-ALL）进行了对比评估：

新动作： 随着目标域中新动作比例的增加，COPE 保持了低偏差和低 MSE，而仅针对目标的算法（IPS(T), DR(T)）表现出高偏差，而朴素的聚合方法（IPS-ALL）由于 DGP 不匹配而失效。
确定性日志： 当目标域中很大一部分用户具有确定性日志策略时，COPE 依然保持鲁棒且低偏差，而标准方法则表现出迅速增加的偏差。
少样本数据： 在低数据量场景下（例如每个动作仅 1 个数据点），COPE 显著优于表现最好的基准（DM），在某一场景下实现了 6.79 倍的 MSE 降低。
OPL 性能： COPE-PG 成功学习了能够选择高奖励新动作的策略，这是仅针对目标的方法所不具备的能力。即使在确定性日志程度增加的情况下，它仍能保持较高的策略值。
超参数敏感性： 该方法对目标簇大小 $|\phi(T)|$ 表现出鲁棒性，在各种簇规模下表现良好，尽管中等规模（如 6-8）能产生最优结果。

5. 重要性与主张

本文主张，现有的 OPE/L 方法受限于共同支持假设，导致它们在涉及确定性日志、新动作或稀疏数据的现实场景中难以奏效。通过将问题形式化为跨域 OPE/L，作者提供了一个实用的解决方案，可以利用相关领域（如其他医院、国家或用户细分群体）丰富的历史数据。

这项工作的意义在于其能力：

使能够在高风险环境下（在线 A/B 测试风险高或无法进行时）安全地评估和学习新策略。
通过从源域转移探索信息，克服了少样本设置下的“方差 vs. 偏差”权衡，且不会引入朴素数据聚合带来的偏差。
提供了一种有理论依据的方法（通过奖励分解和 MIW），能够在标准方法失效的条件下，在分析上保证无偏性。

作者总结道，虽然目前的领域聚类依赖于启发式方法（经验平均奖励），但该框架为研究向目标明确的跨域迁移（特别是针对解决确定性日志和新动作等未解决问题）开辟了新的方向。