🤖 machine learning

Variance Reduction for Heavy-Tailed Monetization Metrics in Ranking Experiments via Post-Stratification

本文提出了一种结合后分层（post-stratification）与 CUPED 的实用框架，旨在降低排名实验中重尾变现指标的方差，使 ShareChat 能够以减少约 45% 的流量达到同等的统计置信度，并提升决策稳定性。

原作者： Neeti Pokharna, Olivier Jeunen, Yatharth Saraf, Aleksei Ustimenko

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Neeti Pokharna, Olivier Jeunen, Yatharth Saraf, Aleksei Ustimenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗易懂版解释，使用了日常生活的类比。

问题所在：A/B 测试中的“鲸鱼”问题

想象一下，你正在进行一项测试，想看看视频应用中的一个新功能是否会让用户花更多的钱。你将用户分为两组：A 组看到旧版本，B 组看到新版本。

通常情况下，你只需把 A 组所有人的消费总额加起来，然后与 B 组进行比较。但在像 ShareChat（用户会为创作者购买虚拟礼物）这样的应用中，用户的消费习惯是极度不均衡的。

把这想象成一次钓鱼旅行：

99.9% 的鱼是你捕捉到的几乎不值钱的小鱼。
0.01% 的鱼是巨大的“鲸鱼”（超级富有的用户），它们的重量相当于一辆汽车。

在标准的测试中，如果由于纯粹的运气，其中一条“鲸鱼”恰好落入了 A 组，那么 A 组看起来就像是一个巨大的成功。如果同一条“鲸鱼”落入了 B 组，B 组看起来就像是一个失败。因为这些“鲸鱼”太重了，它们会主导数学计算。它们创造了如此多的“噪声”（随机性），以至于你无法判断究竟是新功能起到了作用，还是仅仅因为你在鲸鱼分配的位置上运气好。

这意味着你必须运行测试很长时间，或者获取海量的流量才能得到可靠的答案。通常，你无法获得足够的流量，因此无法做出决策。

解决方案：给鱼缸分类

作者提出了一种被称为**后分层（Post-Stratification）**的巧妙方法，并结合了名为 CUPED 的技术来解决这个问题。

以下是其运作步骤：

1. 给鱼分类（分层）

与其将整个鱼缸里的鱼看作一个大整体，不如在开始测试之前，根据他们过去的表现将他们分到不同的桶里。

桶 1： “鲸鱼”（消费水平前 0.01% 的用户）。
桶 2： “普通用户”（其他所有人）。

2. 为桶分配权重

这里有一个神奇的技巧。当你计算最终结果时，你不能平等地累加各个桶的数据。你会根据现实世界中实际的人数比例，给不同的桶赋予不同的权重。

由于“鲸鱼”非常稀有，他们的桶会被赋予一个极小的权重（例如 0.0001）。
由于“普通用户”很常见，他们的桶会拥有巨大的权重。

类比： 想象你正在评判一场烹饪比赛。如果有一位评委是亿万富翁，他给出了 1,000,000 分，而另外 999 位评委只给了 5 分，那么这位亿万富翁的分数就会毁掉平均分。

旧方法： 你取所有分数的平均值。亿万富翁的分数占据了主导地位。
新方法： 你说：“这位亿万富翁只是一个人，所以他的分数只占总分的 0.001。那 999 位普通评委的分数占 99.9%。” 现在，亿万富翁那离谱的分数就不会剧烈地改变结果了。

3. 平滑数据（CUPED）

在每个桶内部，他们还使用了一种名为 CUPED 的技巧。这就像是将用户过去的消费行为作为一种“基准线”。

如果一个用户平时消费 100 美元，而在测试期间消费了 110 美元，CUPED 会说：“好吧，这只是他们原本就高的消费水平，不一定是由于新功能引起的。”
它减去了消费中可预测的部分，从而留下了由实验真正引起的真实变化。

结果：用更少的流量做出更快的决策

通过使用这种方法，作者在 ShareChat 取得了令人印象深刻的成果：

减少噪声： 他们将数据中的“噪声”（方差）降低了 99%。
更快的测试： 他们现在可以用减少 45% 流量的方式获得同样的置信度水平。
- 类比： 这就像是在嘈杂的房间里清晰地听到耳语，而不需要大声喊叫。你不需要更大的观众群来听到真相；你只需要更好的倾听方式。
可靠性： 他们在 40 多个真实的实验中测试了这种方法。该方法帮助他们发现了以前无法察觉的微小且真实的改进。

重要规则与警告

论文还指出了何时不应使用这种方法：

如果你正在测试的是专门针对“鲸鱼”的功能，请不要使用它。
- 类比： 如果你正在测试一个专门为富豪“鲸鱼”设计的“VIP 休息室”，你肯定不想降低他们的重要性。如果你这样做，你可能会忽略掉“VIP 休息室对他们非常有吸引力”这一事实。这种方法适用于能帮助整个用户群体的通用改进。
如果只有“鲸鱼”发生了变化，请不要使用它。
- 如果新功能只影响前 0.01% 的用户，这种方法会掩盖这种效应，因为它将鲸鱼视为一个低权重的微小群体。

总结

这篇论文为运行涉及金钱相关指标 A/B 测试的公司提供了一个实用的工具。通过将用户分类并降低稀有的、超高消费离群值的权重，他们可以防止“鲸鱼”劫持实验结果。这使得他们能够在不需要更多用户的情况下，更快、更自信地对产品做出决策。

技术摘要：通过后分层法降低重尾变现指标的方差

1. 问题陈述

在大规模信息检索（IR）和排序系统中，下游变现指标（例如：商品交易总额 GMV、创作者收益）对于评估系统性能至关重要。然而，这些指标通常表现出**重尾分布（heavy-tailed distributions）**特征，即极少数用户（例如前 0.01%）主导了均值和方差。

这种分布特性为标准的 A/B 测试带来了显著挑战：

统计功效低（Low Statistical Power）： 在现实的流量分配（如 1–20%）下，重尾分布导致中心极限定理（CLT）收敛缓慢。实证分析表明，在低流量水平下， $z$ -统计量会显著偏离标准正态分布。
推断不可靠（Unreliable Inference）： 导致的测试往往功效严重不足，需要极长的实验时长或大规模的流量增长才能检测到真实的实验效应。相反，标准的方差缩减技术（如基于实验前数据的 CUPED）带来的收益有限，因为仅靠实验前的信号无法完全预测由“鲸鱼用户（whale users）”驱动的极端方差。
保守性（Conservatism）： 正态近似的失效导致假设检验过于保守，其中假阳性率（FPR）远低于标称的 5%（观测值为 1–2%），这表明系统缺乏灵敏度而非鲁棒性。

2. 方法论

作者提出了一个将**后分层法（Post-Stratification）**与 CUPED 相结合的生产级框架来解决这些挑战。其核心思想是将用户群体根据实验前的行为划分为同质化的分层（strata），从而隔离高方差的尾部用户，并降低他们对整体方差的不成比例的影响。

框架的关键组成部分：

分层定义： 用户根据实验前 GMV（例如：过去 30 天的历史收入）被划分为离散的分层。一个关键的区别在于，分层是根据实验开始前的数据定义的，从而确保实验分配不会影响分层成员身份（保持无偏性）。
- 典型的分层包括：“尾部（Tail）”（高消费用户）、“非尾部（Non-tail）”（常规用户）以及“新用户/非消费用户（New/Non-spenders）”。
缩尾处理（Winsorization）： 为了减轻极端异常值（例如前 0.001% 的用户）可能即使在分层内部也会主导方差的影响，对超过第 99.999 百分位的值进行缩尾处理。这一步骤是保守的，受影响的用户每项实验少于 5 人。
分层内的 CUPED： 在每个分层内部应用 CUPED，利用实验前的 GMV 作为协变量来调整实验后的 GMV。这消除了同质组内可预测的变动。
- 公式： $GMV_{CUPED} = GMV - \frac{cov(GMV, PreGMV)}{\sigma^2_{PreGMV}} \cdot (PreGMV - \mu_{PreGMV})$
后分层估计： 通过使用总体层级的权重（ $w_s = N_s/N$ $w_{s} = N_{s} / N$ ）聚合分层层级的 CUPED 调整后的效应来估计处理效应。其中 $N_s$ $N_{s}$ 是整个平台（而非仅实验样本）中属于分层 $s$ $s$ 的总用户数。
- 估计量： $\hat{\tau}_{PS} = \sum_{s \in S} w_s \cdot \hat{\tau}_{CUPED, s}$

理论特性：

无偏性： 由于分层是使用实验前的信息定义的，且 CUPED 是无偏的，因此该估计量保持无偏。
方差缩减： 估计量的方差通过平方权重因子（ $w_s^2$ ）得到缩减。对于一个总体权重极小的尾部分层（例如 $w \approx 0.0001$ ），即使该分层内部方差巨大，其对总方差的贡献也会被抑制约 $10^{-8}$ 倍。

3. 实验验证与结果

该框架已在 ShareChat 和 Moj 进行了部署，应用于 >40 项生产环境 A/B 测试，涉及排序和推荐系统，每项实验覆盖超过 100 万用户。

主要发现：

方差缩减： 与原始 GMV 相比，组合方法实现了 99.3% 至 99.7% 的方差缩减。相比之下，单独使用 CUPED 仅实现了约 48% 的缩减。
统计灵敏度： 中位相对 $z$ -得分增加到 1.35–1.36。这意味着该方法比标准指标大约需要 减少 45% 的流量 即可达到相同的统计置信度。
最小可检测效应（MDE）： 在 10% 流量分配下，MDE 从原始 GMV 的均值约 136% 下降到约 10%（后分层），使得能够检测到此前被噪声掩盖的现实且细微的处理效应。
第一类错误（Type-I Error）：
- 在模拟中（针对静态快照的 A/A 测试），假阳性率为 0%。
- 在生产环境中（实时流量），经验假阳性率（FPR）为 6.1%，略高于标称的 5%。作者将其归因于分层中的有限样本方差估计和现实世界的噪声，并指出原始指标的功效严重不足（FPR 为 1–2.6%）。他们接受这种轻微的上升，将其视为大幅降低第二类错误（假阴性）的权衡。
鲁棒性：
- 阈值敏感性： 在各种尾部截断阈值（第 99.9 至 99.995 百分位）下，方差缩减率始终保持在 95% 以上。
- 时间一致性： 第一周检测到的效应在第二周保持了 91% 的方向一致性。
- 失效模式： 在一种情况下，当处理效应完全集中在尾部分层时，方差反而增加了，这强化了该方法不适用于以优化“鲸鱼用户”为主要业务目标的场景。

4. 核心贡献

生产级框架： 为重尾变现指标提供了一个实用的、可部署的方差缩减系统，能够无缝集成到现有的实验流水线中。
方法论综合： 证明了将后分层法（处理总体异质性）与 CUPED（处理分层内相关性）相结合，比单独使用任一技术能获得更优的方差缩减效果。
实证证据： 提供了大规模验证，表明该方法可以利用 减少 40–50% 的流量 实现可靠决策，从而显著加速排序改进的迭代周期。
关于估计量的指导： 阐明了估计量解释中的权衡。通过降低尾部用户的权重，该方法优化的是“广泛的用户体验”，而非“特定鲸鱼用户”的结果。作者建议同时展示原始指标和后分层指标，以检测方向性的差异（这预示着效应集中在尾部）。

5. 重要性与局限性

论文指出，对于变现由稀有、高影响事件驱动的 IR 系统，标准的 A/B 测试通常是不够的。所提出的框架提供了一种解决方案，在保留原始指标尺度和总体估计量的同时，大幅提升了统计功效。

局限性与防护措施：

不适用于针对尾部目标的实验： 该方法明确不推荐用于针对尾部用户（如 VIP 项目）的实验，因为后分层估计量会系统性地降低目标人群的权重。
数据要求： 需要稳健的实验前数据流水线来计算总体权重，并使用固定的分层阈值以防止 $p$ -hacking。
分层漂移： 需要进行监控，以检测分层规模的显著变化，否则可能会破坏指标。

总之，作者提出了一种经过验证的方法，将重尾变现评估从一个低功效、缓慢的过程转变为一个灵敏、稳定的机制，从而在大型推荐系统中实现更快、更可靠的产品迭代。