🤖 machine learning

From Prediction to Incrementality: Causal Optimization for Large-Scale Targeting and Recommendation

本文提出了一种以决策为中心的框架，该框架通过将传统的预测性定向替换为因果优化，用于大规模推荐系统，并整合了因果神经网络、贝叶斯探索以及约束分配，从而在 LinkedIn 的在线 A/B 测试中实现了长期价值 7.20% 的显著提升。

原作者： Changshuai Wei, John Bencina, Phuc Nguyen, Andre Assuncao Silva T Ribeiro, Benjamin Zelditch

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Changshuai Wei, John Bencina, Phuc Nguyen, Andre Assuncao Silva T Ribeiro, Benjamin Zelditch

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一艘巨型邮轮的船长，你的工作是向乘客免费发放冰淇淋。在过去的老办法里，你会查看一份“通常会吃冰淇淋”的人员名单，然后把冰淇淋发给他们。但问题在于：有些人即使你不给他们，他们本来也会吃冰淇淋。你把冰淇淋浪费在了那些不需要额外推动的人身上，而那些在“要不要吃”之间犹豫不决的乘客却什么也没得到。这就是“预测”（prediction）与“增量性”（incrementality）之间的区别。预测是在问：“谁会吃冰淇淋？”而增量性是在问：“谁会仅仅因为我给了他冰淇淋才去吃？”

这篇论文深入探讨了**因果机器学习（Causal Machine Learning）**的世界，这是人工智能的一个分支，它试图弄清楚因果关系，而不仅仅是发现模式。这就像是从一个只会说“通常周二会下雨”的气象预报员，转变为一个能证明“如果我们发射一枚人工增雨火箭，确实会让天降大雨”的科学家。作者们正在开发一个系统，用于大型在线平台（如 LinkedIn）来决定谁应该看到营销信息、职位广告或通知。核心问题在于：我们如何停止在那些无论如何都会点击广告的人身上浪费资金，转而将有限的预算集中在那些真正需要额外推动的人身上？

LinkedIn 的研究人员构建了一个更智能的新系统来解决这个难题。他们称之为“以决策为中心的框架”（decision-centric framework），这是一种高级说法，意指他们不再仅仅猜测谁会点击，而是开始通过数学计算谁会被这条信息所“改变”。他们的系统由三个主要部分组成，它们像梦之队一样协同工作。首先，一个“因果神经网络”（由 Transformer 驱动，这也是许多现代 AI 工具背后的同款大脑）充当侦探。它观察用户的历史记录并估算“处理效应”（treatment effect）——基本上就是，仅仅因为看到了广告，用户购买商品或申请工作的可能性增加了多少。

其次，该系统包含一个“神经多臂老虎机”（neural bandit）层。你可以把它想象成一个充满好奇心的探险家。在过去，AI 系统往往会陷入循环，只向那些它已经确定会点击的人展示广告，从而错失了新的机会。这个“探险家”部分的系统愿意承担小风险去尝试新事物，确保它不会错过那些尚未经过测试的潜在客户。它使用了一种巧妙的数学技巧——“拉普拉斯近似”（Laplace approximation），来推测其预测的不确定程度，从而进行安全的探索。

第三，也是最重要的，是一个“大规模线性规划”（large-scale linear programming）层。这是一个严格且公正的管理者。即便侦探找到了完美的候选人，探险家想要尝试新的策略，管理者也必须确保他们不违反规则。公司有有限的预算、对每个人发送邮件次数的限制，以及公平覆盖不同类型人群的需求。这一层通过解决一个巨大的数学谜题来完美地分配广告，确保既不浪费资金，也不会不公平地忽略任何人。

为了测试这个新系统是否真的有效，团队进行了模拟实验，随后在 LinkedIn 的真实营销流量中进行了实地实验。在模拟中，他们将这种新的“因果”方法与旧的仅预测点击率的方法进行了对比。结果显而易见：新系统找到了更有价值的目标，并且在获得相同结果的同时花费更少的资金。但真正的奇迹发生在实地测试中。当他们让这个新系统与旧的标准系统进行为期八周的对比测试时，它带来了统计学意义上显著的 +7.20% 的主要长期价值指标提升。这意味着公司在没有增加支出预算的情况下，从营销预算中获得了明显的更多价值。

这篇论文还强调了在现实世界中构建此类系统的实践教训。他们发现，仅仅拥有一个聪明的模型是不够的；你必须在数据准备和广告投放控制方面极其谨慎。例如，如果新系统决定不向某人展示广告（因为它认为那个人不会改变主意），而旧系统却展示了广告，那么你必须确保你不是在“拿苹果对比橘子”。他们构建了特殊的工具，以确保测试组是完美匹配的，从而保证结果的公平性。

简而言之，这篇论文表明，通过将关注点从“谁会行动？”转向“谁会因为我们而行动？”，并通过将聪明的 AI 与严格的预算管理相结合，企业可以使营销变得更加高效。这不仅仅是向所有人更大声地喊叫，而是关于在正确的时间，向正确的人传递正确的信息，从而节省资源并为所有人创造更多价值。

技术摘要：从预测到增量：面向大规模定向与推荐的因果优化

1. 问题陈述

现代在线平台（如广告、营销、通知）中的大规模定向与推荐系统传统上依赖于预测建模。这些系统通过训练模型来估计用户响应概率（例如点击率或转化可能性），并根据这些预测对项目进行排序。

然而，作者认为，在营销和激励驱动的场景中，这种范式与业务目标存在根本性的错位，因为其目标是增量影响（例如，“用户是因为干预才转化的，还是无论如何都会转化的？”）。

错位： 高预测响应并不一定等同于高因果价值。那些无论是否干预都会采取行动的用户（“始终接受者”，always-takers）会被过度定向，从而浪费资源。
差距： 现有的因果方法通常侧重于局部决策（排序）或策略评估，而没有解决全局约束（预算、频次限制、公平性）问题。相反，受约束的优化系统通常使用非因果的预测分数作为输入，导致资源分配并非最优。

2. 方法论

本文提出了一个以决策为中心的框架，旨在联合优化全局约束下的因果效应。该系统将三个核心组件集成在一个统一的目标之下：

A. 因果神经网络（“DragonBandit”头部）

系统使用改进的 DragonNet 架构来估计个体治疗效应（ITE）：

架构： 一个共享编码器 $\Phi$ 馈入三个头部：两个结果头部（ $\mu_1, \mu_0$ ），分别代表干预和对照情况下的潜在结果；以及一个倾向性头部（ $e$ ），用于估计干预分配概率。
Transformer 主干： 为了处理序列化的用户交互（营销触点），模型引入了 Transformer 编码器。它利用学习到的嵌入（包括交互类型、星期几和正弦位置编码）来处理时序特征（近因性、参与节奏）。
多结果扩展： 为了支持无需重新训练即可处理多种产品，模型使用了结果嵌入（outcome embeddings）。一个共享的嵌入矩阵对产品属性（结构化或由 LLM 衍生）进行编码，使模型能够通过用户状态表示与产品属性之间的点积相似度，为新的、未见过的产品进行评分。
训练目标： 模型最小化一个复合损失函数，包括结果预测（BCE）、倾向性预测、基于有效影响函数（EIF）针对 ATE 的定向正则化，以及用于结果嵌入的自动编码器重构损失。

B. 具备不确定性感知能力的探索（神经多臂老虎机）

为了解决反馈循环并改善因果识别（重叠性/overlap），系统采用了神经汤普森采样（Neural Thompson Sampling）：

机制： 系统并非使用确定性的点估计，而是从网络参数的后验分布中进行采样。
近似： 系统使用以最大后验（MAP）解为中心的线性拉普拉斯近似（LLA）。它通过计算对数似然的曲率来推导 Logit 的高斯分布，从而实现具有不确定性感知的探索，且与 Bayes by Backprop 等方法相比，其在线推理开销极低。
作用： 这确保了系统会去探索具有高不确定性的动作，防止了“富者更富”的动态效应，并提高了未来因果估计的数据质量。

C. 受约束的分配（大规模线性规划）

采样的增量分数被输入到一个**基于对偶理论的大规模线性规划（LP）**求解器中，用以协调数百万用户和项目的决策：

公式化： 该问题旨在最大化受全局约束（预算、容量限制、频次限制）约束的采样增量奖励之和。
可扩展性： 为了处理数千万个变量，作者使用了对偶分解（Dual Decomposition）。他们将二进制约束放宽为概率，并使用 Nesterov 加速上升法求解对偶问题。原问题求解器可以针对每个用户进行分解，使得每次迭代的成本与用户和项目的数量呈线性关系（ $O(|U| \cdot |I|)$ ），而非立方关系。
交付控制： 系统通过反馈控制器根据实际交付率（例如，竞价成功率、用户回访率）调整成本目标，以确保系统在满足投放节奏要求的同时，不会出现过度投放或投放不足的情况。

3. 核心贡献

统一的决策框架： 提供了一种将因效估计、探索和受约束分配统一在单一目标下的形式化表达，超越了传统的“使用启发式分配优化预测信号”的模式。
架构扩展：
- 一个增强了 Transformer 的 DragonNet，用于建模时序营销序列。
- 一个共享的结果嵌入头部，实现了多结果和基于属性的冷启动产品评分。
生产流水线： 一个集成了因果头部、神经老虎机探索和基于对偶 LP 求解器的完整集成流水线。
实证验证：
- 离线模拟： 在 Open Bandit 数据集（OBD）上的模拟表明，增量建模 + 受约束优化优于基于倾向性和仅基于排序的基准模型。
- 在线实验： 在 LinkedIn Feed 营销流量上进行的为期八周的 A/B 测试。

4. 结果

离线模拟：
- 单轮场景： “增量建模 + 受约束优化”方法实现了最高的净回报（ $0.46 对比倾向性 + 受约束优化的$ 0.39），并通过识别可能自然转化的用户，显著降低了成本（增加了“无推荐”率）。
- 多轮场景： “Bandit 增量模型”克服了初始数据偏差，并在约 50 轮后超越了贪婪变体，证明了探索的长期价值。
在线 A/B 测试：
- 在 LinkedIn Feed 营销流量上，针对传统的两层倾向性堆栈（BAU）进行测试。
- 主要指标： 处理组在主要长期价值指标上实现了统计显著的 +7.20% 提升（ $p=0.041$ ，95% 置信区间：[0.31%, 14.09%]）。
- 运营成功： 系统成功管理了预算节奏和交付约束，避免了早期测试中观察到的“交付不足”陷阱（得益于反馈控制器的引入）。

5. 意义与主张

本文声称展示了在复杂业务约束下实现生产级因果优化的可行性。其意义在于：

范式转移： 从“寻找高响应用户”转向通过全局协调的分配来“选择具有高增量影响的用户”。
实际部署： 为将因果推理集成到工业系统中提供了蓝图，解决了现实世界中的关键障碍，如训练数据构建（上下文/干预/结果窗口）、成本控制和交付估计。
可扩展性： 证明了结合了受约束优化的复杂因果模型，可以通过对偶分解和轻量级不确定性近似，高效地运行在拥有数亿成员的规模之上。

作者强调，系统的成功不仅取决于模型架构，更取决于务实的增强措施（如数据构建和交付控制），这些措施在离线模拟中往往是不可见的，但对于实现现实世界的投资回报率（ROI）至关重要。