🤖 machine learning

A More Accurate Algorithm Comparison through A/B Testing using Offline Evaluation Methods

本文挑战了 A/B 测试始终优于离线评估的传统观点，揭示了 A/B 测试可能由于缺乏正相关性而导致更高的选择误差率，并提出了一种通过与假设的中间算法进行逐步比较来有意诱导这种相关性的新颖估计量，从而显著减少准确选择算法所需的数据量。

原作者： Koki Konishi, Masataka Ushiku, Yuta Saito

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Koki Konishi, Masataka Ushiku, Yuta Saito

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇使用简单语言和日常类比对该论文进行的解释。

核心问题：选择最佳食谱

想象你经营着一家餐厅，想要在两种新食谱之间做出选择：食谱 A 和 食谱 B。你想知道顾客更喜欢哪一个，以便将其推广给所有人。

通常情况下，“金标准”（实现这一目标的最佳方式）是 A/B 测试。你把食谱 A 给一半的顾客吃，把食谱 B 给另一半顾客吃，然后统计好评的数量。这被认为是由于最准确的方法，因为你是在使用真实的、新鲜的数据进行测试。

然而，这里有一个陷阱：

成本高且风险大： 如果食谱 B 非常难吃，你可能会在发现问题之前，就毁掉了半数顾客的用餐体验并损失金钱。
需要大量数据： 为了达到 100% 的确定性，你需要提供成千上万碗汤。

因此，许多餐厅会先尝试 离线评估（Offline Evaluation）。这就像是让你的主厨根据一本“食谱书”（历史数据）来品尝汤的味道，而无需实际端给顾客。这种方法既安全又便宜，但通常不如真实的品尝测试那样准确。

意外发现

本文作者进行了一项测试，发现了一个非常奇怪且违反直觉的现象：

有时，“安全”的方法（离线评估）在挑选赢家方面，竟然比“金标准”（A/B 测试）表现得更好。

在他们的实验中，标准的 A/B 测试方法（他们称之为 AVG）出错的概率约为 27%，而离线方法出错的概率仅为 9%。

为什么“金标准”会失败？
想象你在评判两名跑步选手：爱丽丝（Alice）和鲍勃（Bob）。

A/B 测试方法 (AVG) 让爱丽丝去纽约的跑道比赛，让鲍勃去伦敦的跑道比赛。他们分别独立跑步。你独立测量他们的成绩。因为他们在不同的地方，他们的成绩之间没有关联。如果爱丽丝状态不佳而鲍勃状态极佳，你可能会错误地认为鲍勃更快，即便爱丽丝实际上才是更优秀的选手。
离线方法 (IPS) 则让爱丽丝和鲍勃在同一条跑道上、在同一时间进行比赛。因为他们在相同的条件下跑步（相同的天气、相同的跑道质量），他们的成绩是相关的。如果跑道很泥泞，两人都会跑得慢；如果阳光明媚，两人都会跑得快。这种“共同条件”抵消了噪声，使辨别谁更快变得更容易。

论文指出，A/B 测试之所以失败，是因为它将两个算法视为处于完全不同的世界，忽略了通过“并排对比”来获益的机会。

解决方案：“中间人” (MID)

作者提出了一种名为 MID（Middle-In-Difference，差分中介）的新方法。他们希望既能拥有 A/B 测试的安全性（使用真实数据），又能拥有离线方法的准确性（进行并排对比）。

以下是他们如何实现的，我们使用拔河来做类比：

设定： 你有 A 队（算法 A）和 B 队（算法 B）。你想知道谁更强。
问题： 如果你直接让他们对拉，绳子可能会太长且摇晃不定（高方差）。
诀窍（中间算法）： 作者发明了一个假设性的“中间队”（M 队）。这支队伍是 A 队和 B 队的完美混合体。
分步比赛：
- 首先，让 A 队与 M 队进行比赛。你使用 A 队那一侧的 A/B 测试数据。因为他们是在与一个相似的对手（M 队）竞争，结果是非常稳定的。
- 其次，让 B 队与 M 队进行比赛。你使用 B 队那一侧的 A/B 测试数据。
- 最后，你将这两个结果相加，看看 A 队和 B 队之间谁更强。

为什么这行得通：
通过引入“中间队”，你迫使两次比较共享一个共同的参考点。就像离线方法一样，这创造了一种正相关。尽管 A 队和 B 队处于不同的组别，但他们都是针对同一个“中间队”进行衡量的。这抵消了随机噪声，使最终决策更加准确。

实验结果

作者在一家视频推荐应用（类似于 TikTok 或 YouTube）的真实数据上测试了该方法。

效率： 新的 MID 方法挑选出更好算法所需的数据量，仅为标准 A/B 测试方法的一半（甚至四分之一）。
稳定性： 当两个算法差异很大时（这通常会导致离线方法失效），MID 依然表现完美。
准确性： 它比标准的 A/B 测试和离线方法犯的错误都更少。

总结

论文的核心观点是：“我们发现，标准的 A/B 测试方法其实有点笨拙，因为它没有公平地进行并排对比。我们发明了一个利用‘中间算法’的新技巧，以强制进行公平的比较。这个新技巧让我们能更快地找到赢家，使用更少的数据，并且犯更少的错误。”

技术摘要：通过使用离线评估方法的 A/B 测试实现更准确的算法比较

1. 问题陈述

在推荐系统和搜索引擎等在线服务的开发过程中，选择优胜算法至关重要。虽然 A/B 测试 因其能够通过随机化消除混杂因素而被广泛视为算法选择的“金标准”，但它通常成本高昂，且如果部署了较差的算法，可能会带来降低用户体验或收入的风险。相反，离线评估（使用历史日志数据）虽然更安全，但传统上被认为准确性较低，因为其估计方差较高且存在潜在偏差。

作者发现了一个反直觉的现象：在某些场景下，A/B 测试中使用的标准 平均值（AVG）估计器 产生的算法选择错误率竟然高于像 逆概率评分（IPS） 这样的离线评估方法。核心问题在于估计器的统计特性：

AVG 估计器： 使用来自算法 A 和算法 B 的独立数据。因此，性能估计值是不相关的。差值估计器的方差仅为单个方差之和（ $Var(\hat{V}_A) + Var(\hat{V}_B)$ ），无法通过相关性来降低方差。
离线估计器（如 IPS）： 使用共享的历史数据来估计多个算法的性能。这无意中诱导了估计器之间的正相关性。根据方差分解公式（$Var(X-Y) = Var(X) + Var(Y) - 2Cov(X,Y)$），这种正协方差降低了差值估计器的总方差，从而降低了发生关键选择错误（低估优胜算法或高估劣质算法）的概率。

本文指出，A/B 测试未能利用这种有益的相关性，导致在特定的预实验中，其选择准确度低于离线方法。

2. 方法论：中间差值（MID）估计器

为了解决 A/B 测试中缺乏相关性的问题，作者提出了一种名为 中间差值（Middle-In-Difference, MID） 的新型估计器。其核心思想是通过引入一个假设的中间算法 ( $\pi_M$ )，在 A/B 测试框架内有意诱导正相关性。

逐步估计过程：
MID 不直接比较算法 A ( $\pi_A$ ) 和算法 B ( $\pi_B$ )，而是将性能差异分解为两个步骤：

使用从 $\pi_A$ 收集的日志数据 ( $D_A$ ) 来估计 $\pi_A$ 与 $\pi_M$ 之间的差异。
使用从 $\pi_B$ 收集的日志数据 ( $D_B$ ) 来估计 $\pi_M$ 与 $\pi_B$ 之间的差异。

最终的估计器是这两个差值的总和：
$\Delta \hat{V}_{MID} = (\hat{V}_{IPS}(\pi_A; D_A) - \hat{V}_{IPS}(\pi_M; D_A)) + (\hat{V}_{IPS}(\pi_M; D_B) - \hat{V}_{IPS}(\pi_B; D_B))$

方差缩减机制：

诱导相关性： 由于第一项使用共享数据 $D_A$ 来同时估计 $\pi_A$ 和 $\pi_M$ ，且第二项使用共享数据 $D_B$ 来同时估计 $\pi_M$ 和 $\pi_B$ ，因此在每个步骤内都诱导了正相关性。这降低了单个差值项的方差。
最优中间算法： 作者推导出了能使估计器方差最小化的最优中间算法 $\pi_M^*$ 。该最优策略被定义为日志策略的调和平均值：
$\pi_M^*(a|x) = \frac{2\pi_A(a|x)\pi_B(a|x)}{\pi_A(a|x) + \pi_B(a|x)}$
这种设计确保了 $\pi_M$ 与 $\pi_A$ 和 $\pi_B$ 都保持高度相似，从而缓解了标准 IPS 在比较差异较大的算法时经常出现的“方差爆炸”问题。

理论特性：

无偏性： 作者证明，如果中间算法满足其仅选择至少有一个原始算法具有非零概率的动作这一条件，则该估计器保持无偏。
方差比较： 理论分析表明，MID 的奖励项方差严格小于或等于标准 AVG 估计器的方差。此外，不同于标准的 IPS，当算法相似度较低时，MID 不会出现 $1/\pi_A$ 导致的方差爆炸，因为中间比较涉及的是相似的策略。

3. 主要贡献

统计洞察： 本文阐明了 A/B 测试中的标准 AVG 估计器对于算法选择未必是最优的，因为它未能利用估计器之间正相关带来的方差缩减收益。
新型估计器 (MID)： 作者提出了 MID 估计器，通过假设的中间算法和逐步估计，有意诱导正相关性，从而实现了比标准 A/B 测试 (AVG) 和离线评估 (IPS) 更低的算法选择错误率。
理论推导： 本文推导出了使方差最小化的最优中间算法，并提供了偏差-方差分析，解释了为什么 MID 优于现有方法。
实证验证： 利用真实的视频推荐数据 (KuaiRec)，作者证明了 MID 在各种设置下都能持续实现更低的算法选择错误率。

4. 实验结果

作者使用 KuaiRec 数据集进行了实验，这是一个全观测的视频推荐数据集，允许计算算法性能的地面真值（ground-truth）。他们模拟了一个具有不同样本量和算法相似度的 A/B 测试环境。

样本效率： MID 仅需现有方法（AVG 和 IPS）一半到四分之一的 A/B 测试样本量，即可达到相同的选择错误率。例如，当 AVG 需要 350–400 个样本才能达到 5% 的错误率时，MID 仅需 100–200 个样本即可达到。
对相似度的鲁棒性：
- 在高相似度场景下，MID 的表现优于 IPS（IPS 在离线设置中通常难以应对方差问题）和 AVG。
- 在低相似度场景下（即 IPS 因重要性采样权重导致方差爆炸的场景），MID 保持稳定，并优于 IPS 和 AVG。
机制验证： 估计值的散点图证实，MID 成功地在逐步估计器之间诱导了正相关性，导致最终差值估计的分布比 AVG 的圆形（不相关）分布更加紧凑。这种更紧凑的分布直接对应于关键选择错误的减少。

5. 意义与主张

本文声称，所提出的 MID 估计器 从根本上提高了用于算法选择的 A/B 测试的效率和准确性。通过借鉴离线评估的统计机制（通过共享数据诱导相关性），并利用假设的中间算法将其应用于 A/B 测试框架，MID 克服了传统 A/B 测试（由于独立性导致的高方差）和离线评估（由于低相似度或缺乏新数据导致的稳定性问题）的局限性。

作者强调，这种方法使组织能够以显著更少的用户或更短的实验周期，做出更准确的算法选择决策，从而降低了与在线实验相关的成本和风险。这项工作表明，A/B 测试这一“金标准”可以通过改进估计技术来得到增强，从而利用此前在在线设置中未被利用的统计相关性。