🤖 machine learning

Cross-Head Attention Uplift Network with Inverse Propensity Score under Unobserved Confounding

本文提出了交叉头注意力提升网络（CHAUN）和鲁棒对抗逆倾向得分（RA-IPS）方法，通过动态建模组间相关性并缓解来自未观测混杂因素的偏差，来增强个体治疗效应估计，从而在公共数据集和生产数据集上均实现了显著的性能提升。

原作者： Haoran Zhang, Chuanpu Li, Yuxin Fu, Bin Tong, Guan Wang, Bo Zheng, Feng Zhou

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoran Zhang, Chuanpu Li, Yuxin Fu, Bin Tong, Guan Wang, Bo Zheng, Feng Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营一家规模巨大的在线商店。你想向那些“只有在收到优惠券时才会购买”的客户发送特别优惠券。如果你向所有人发送，就会浪费钱在那些本来就会购买的人身上；如果你不发送，你又会错失销售机会。这就是**增量模型（Uplift Modeling）**的核心：找出究竟谁才真正需要那个“推动力”。

然而，试图用现实世界的数据来解决这个问题存在两个大问题：

“群体拥抱”问题（The "Group Hug" Problem）： 你进行干预的人（收到优惠券的人）和对照组的人（没收到优惠券的人）通常是非常不同的。但他们的行为在暗中又是相关的。现有的模型要么过于僵化而无法看到这些联系，要么过于混乱而无法将“优惠券效应”与“性格效应”区分开来。
“隐藏木偶”问题（The "Hidden Puppet" Problem）： 在现实世界中，我们并不知道关于客户的一切。存在着隐藏的因素（比如客户的心情、竞争对手的秘密促销，或者广告系统的故障），这些因素决定了谁会收到优惠券，也决定了他们是否会购买。我们称之为不可观测的混杂因素（Unobserved Confounders）。它们就像隐形的木偶师，在幕后操纵着丝线，让原本无效的优惠券看起来像是起效了，或者反之亦然。

这篇论文介绍了两个解决这些问题的工具：CHAUN 和 RA-IPS。

1. CHAUN：交叉头注意力网络（The "Cross-Head Attention" Network）

把标准的 AI 模型想象成一个正在参加两场独立考试的学生：一场关于“如果我得到优惠券会发生什么？”，另一场关于“如果我没得到优惠券会发生什么？”通常，这些学生是孤立学习的。

CHAUN 则像是一个学习小组，这两个学生被允许互相耳语。

设置： 它有两个“头”（一个针对实验组，一个针对对照组），它们从相同的基本信息（客户画像）中学习。
魔力所在： 它使用了一种叫做**交叉头注意力（Cross-Head Attention）**的机制。想象一下，“实验组学生”正在看“对照组学生”的笔记，并说道：“嘿，你对这部分预测得很准，让我借鉴一下你的想法。”
结果： 模型不再仅仅是靠猜，而是动态地融合两种视角。它学习了两组之间的相似性（即“群体拥抱”），同时又能清晰地保留各自的独特差异。这使得它在识别谁真正需要优惠券方面表现得更加出色。

2. RA-IPS：“鲁棒”的安全网（The "Robust" Safety Net）

现在，让我们谈谈“隐藏木偶”（不可观测的混杂因素）。

通常，统计学家会使用一种叫做**逆倾向得分（Inverse Propensity Score, IPS）**的工具来解决这个问题。把 IPS 想象成一个天平，它试图平衡实验组和对照组的权重，使它们看起来像是一个公平的随机实验。

缺陷： 标准的 IPS 假设我们知道导致客户获得优惠券的所有原因。但在现实中，我们缺失了那些“隐藏木偶”变量。如果我们使用标准的比例尺，它可能对于我们“看到”的东西是完美平衡的，但对于我们“看不见”的东西却是严重失衡的。

RA-IPS 是一个“多疑”版本的比例尺。

策略： 它不假设我们完全掌握了隐藏木偶的精确权重，而是说：“好吧，隐藏木偶可能会比我们想象的拉得更紧或更松。让我们假设最坏的情况。”
对抗性博弈： 它通过与自己进行博弈来运作。它试图在合理的范围内，找到那些隐藏变量最危险、最极端的排列方式。然后，它调整自己的模型，以应对这种最坏的情况。
结果： 即使存在我们看不见的隐藏木偶师，RA-IPS 也能构建出一个足够鲁棒的模型，使其不被误导。它确保我们计算出的“优惠券效应”是真实的，而不是由隐藏变量造成的幻觉。

实证结果

作者在来自大型电子商务平台（如 Criteo 和 Lazada）以及一个私人生产数据集的真实数据上测试了这些工具。

CHAUN 打败了几乎所有现有的模型。在某些情况下，与之前的最佳方法相比，它将寻找目标客户的能力提升了 25.6%。
RA-IPS 证明了当存在隐藏变量时，它在纠正偏差方面明显优于标准方法（提升了约 5.4%）。

核心结论

这篇论文不仅仅是在说“我们有一个更好的算法”。它是在说：

CHAUN 是一种更聪明的学习方式，通过让两组人进行“对话”，捕捉到了其他模型会错过的模式。
RA-IPS 是一种安全机制，它承认“我们并非全知全能”，并构建了一个即使在隐形因素试图欺骗它时也能保持准确的模型。

两者结合，创造出了一个既能更精准地找到目标人群，又能对现实世界中隐藏力量保持诚实的系统。

技术摘要：基于交叉头注意力网络与逆倾向得分的未观测混杂因素下的增量建模

1. 问题定义

增量模型（Uplift modeling）旨在估计个体治疗效应（Individual Treatment Effect, ITE），即治疗对个体行为的边际影响。本文解决了该领域的两个主要挑战：

缺乏灵活性的组间建模： 现有方法难以在利用治疗组与对照组之间固有相似性的同时，保持足够的判别力以捕捉治疗诱导的变化。许多方法要么独立处理两组（忽略了共享结构），要么使用僵化的多任务架构，缺乏动态交互机制。
未观测到的混杂因素： 标准的增量模型通常依赖于“强可忽略性”假设，即假定所有混杂因素都是可观测的。然而，在复杂的现实系统（如广告竞价）中，潜在的混杂因素会同时影响治疗分配和结果。在这种存在未观测混杂的情况下，标准的逆倾向得分（IPS）加权无法提供无偏估计，且在缺乏额外假设或数据的情况下，ITE 的可识别性会受到损害。

2. 方法论

所提出的框架由两个核心部分组成：用于架构的交叉头注意力增量网络（Cross-Head Attention Uplift Network, CHAUN）以及用于在未观测混杂下进行去偏的鲁棒对抗逆倾向得分（Robust Adversarial Inverse Propensity Score, RA-IPS）。

2.1 交叉头注意力增量网络 (CHAUN)

CHAUN 旨在通过增强型双头架构，灵活地建模组间相关性。

共享特征嵌入： 将连续型和稀疏型特征处理为统一的共享表示（ $x_{rep}$ ）。
双支路编码： 网络采用并行的 MLP 生成治疗特定（ $x^t_{rep}$ ）和对照特定（ $x^c_{rep}$ ）的潜在表示。
交叉头注意力： CHAUN 不使用独立的预测头，而是使用一种注意力门控融合机制。它根据治疗表示与对照表示之间的内积相似度计算注意力权重。这使得模型能够动态地整合跨组信息，其中每个组的最终预测是两种表示的加权组合。这种设计在显式利用组间相似性的同时，保留了治疗特异性的异质性。
倾向得分学习： 一个独立的倾向得分学习器利用共享表示来估计名义倾向得分 $\hat{p}(x)$ 。为了防止病态解（例如 $\hat{p}(x) = t$ ），基于“期望逆倾向权重等于 1”这一理论属性施加了全局正则化约束。

2.2 鲁棒对抗逆倾向得分 (RA-IPS)

为了在无法获取真实倾向得分 $\pi(x, u)$ 的情况下解决未观测混杂问题，作者提出了 RA-IPS。

理论基础： 文中证明（定理 1），如果已知包含未观测混杂因素在内的真实倾向得分，则 ITE 是可识别的，且 IPS 估计量是无偏的，即使无法直接观测到这些混杂因素。
对抗式公式化： 由于真实倾向得分不可得，RA-IPS 假设真实倾向得分位于名义倾向得分 $\tilde{\pi}(x)$ 的一个邻域内。真实得分被建模为在 Logit 空间中对名义得分的扰动，其强度由代表未观测混杂程度的超参数 $\Gamma$ 进行界定。
不确定性集合与优化： 该方法定义了一个倾向权重的不确定性集合。不同于可能导致不可行权重配置的以往鲁棒方法（如 RD-IPS），RA-IPS 引入了一个全局约束，确保真实权重的总和收敛于名义权重的总和（基于大数定律）。
最坏情况优化： 模型针对该约束不确定性集合中的最坏情况进行优化。这是通过在可容许的权重范围内最大化 IPS 损失，同时惩罚对名义权重分布的偏离来实现的，从而增强了针对未观测混杂因素的鲁棒性。

3. 核心贡献

CHAUN 架构： 一种新型增量建模框架，利用交叉头注意力动态地调节治疗与对照表示之间的交互，有效地平衡了组间相似性与治疗特向特异性的判别力。
未观测混杂下的可识别性： 提供了一个理论证明，表明即使存在未观测混杂因素，获取真实倾向得分也是 ITE 可识别和 IPS 无偏估计的充分条件。
RA-IPS 方法： 一种鲁棒的去偏技术，不需要真实的倾向得分。它利用具有理论依据的不确定性集合进行对抗学习，以减轻来自未观测混杂因素的偏差。
实证验证： 在公开数据集（CRITEO-UPLIFT, LAZADA）和一个生产环境电商数据集上进行了广泛实验。

4. 实验结果

作者将 CHAUN 和 RA-IPS 与最先进的基准模型（包括 S-Learner, T-Learner, TARNet, CFRNet, DragonNet 等）进行了对比评估。

整体性能： CHAUN 在所有三个数据集上均达到了最先进的水平，在 12 个评估指标（LIFT@30, AUUC, QINI, PUC）中取得了 9 项指标的第一名。与基准模型 DragonNet 相比，其 QINI 分数最高提升了 25.6%。
对未观测混杂的鲁棒性： 在通过特征掩码模拟未观测混杂因素的实验中，RA-IPS 的表现优于标准 IPS 和 RD-IPS 方法。在未观测混杂场景下，RA-IPS 比标准 IPS 在 QINI 分数上最高提升了 5.4%。
消融实验： 移除交叉头注意力模块（BaseNet）或将其替换为 MMoE 会导致性能下降，尤其是在高维数据集上，这验证了 CHAUN 中特定注意力机制的有效性。
敏感性分析： 研究表明，对于较小的混杂强度超参数 $\Gamma$ ，RA-IPS 的性能表现稳定；随着 $\Gamma$ 增加，性能出现波动，这表明在未知混杂强度时需要进行仔细调优。

5. 意义与主张

本文声称其提出的方法解决了当前增量建模的关键局限性：

架构灵活性： CHAUN 提供了一个通用的框架，通过注意力机制动态建模组间相关性，克服了现有多头架构的僵化问题。
去偏的理论严谨性： 通过确立真实倾向得分对于可识别性的充分性，本文为鲁棒去偏提供了理论基础。
实际应用中的鲁棒性： RA-IPS 为存在普遍未观测混杂因素且真实倾向得分难以获取的现实场景提供了切实可行的解决方案，显著提高了因果推断任务中的模型稳定性和准确性。

作者总结道，他们的方法验证了将灵活的基于注意力的架构与对抗鲁棒技术相结合，在处理现实世界因果推断任务时的有效性。