💻 computer science

Learning Causal Orderings for In-Context Tabular Prediction

本文介绍了 TabOrder，这是一种新颖的模型，它通过无监督学习因果变量排序来约束表格预测中的注意力机制，从而在分布偏移和干预下提升鲁棒性，同时兼顾预测与插补任务。

原作者： Sascha Xu, Sarah Mameche, Jilles Vreeken

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Sascha Xu, Sarah Mameche, Jilles Vreeken

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对论文《Learning Causal Orderings for In-Context Tabular Prediction》（学习上下文表格预测中的因果顺序）的解释。

核心问题：相关性 vs. 因果性

想象你是一位试图预测蛋糕口味的厨师。你有一本包含成千上万种食谱的巨型烹饪书（数据集）。

大多数现代 AI 厨师（称为表格基础模型）非常擅长翻阅你的烹饪书并说道：“如果我看到面粉和鸡蛋，我敢打赌蛋糕会是甜的。”它们非常擅长发现模式（相关性）。

然而，它们不理解因果关系。它们不知道你必须先混合面粉，然后才能加水。如果你突然改变食谱（即进行干预）——比如停止使用鸡蛋但保留面粉——AI 可能会感到困惑，因为它只学到了“面粉和鸡蛋通常一起出现”，而不是混合的顺序很重要。如果厨房的规则发生变化，AI 的预测就会失效。

解决方案：TABORDER

作者介绍了一种名为TABORDER的新 AI 模型。可以将 TABORDER 想象成不仅是一位厨师，更是一位还学习厨房时间线的厨师。

TABORDER 不仅仅是查看食材，它会问：“哪种食材先出现？哪一种导致了下一种的发生？”

它构建了一张因果顺序的心理地图。它学到了：

你必须先买鸡蛋。
然后打碎它们。
接着将它们混合。

通过理解这种序列，即使你稍后改变食谱，TABORDER 仍然可以预测蛋糕的口味，因为它了解了食材相互作用的根本规则，而不仅仅是它们通常如何共同出现。

工作原理：“交通灯”系统

该论文描述了一种巧妙的机制，让模型在没有老师告知答案（无监督学习）的情况下学习这种顺序。

想象一排人正在排队进入俱乐部。

标准 AI：让每个人观察其他人来决定谁可以进入。这很混乱，并且依赖于谁站在谁旁边。
TABORDER：给每个人分配一个秘密的“分数”（就像 VIP 号码）。
- 如果 A 的分数低于 B，A 被允许观察 B。
- 但 B不被允许观察 A。

这创造了一条单行道。模型强制数据按特定方向流动。如果模型猜错了顺序（例如，让“甜点”去观察“开胃菜”），数学逻辑就无法成立，预测也会变得混乱。模型会学习调整自己的分数，以使数学逻辑完美成立。

处理缺失数据：“缺失食材”技巧

现实世界的数据很混乱；食谱卡上有时会有食材缺失。

旧 AI：可能会根据附近的食材猜测缺失的食材，但如果附近的食材也缺失了，它就会感到困惑。
TABORDER：它有一条特殊规则：“如果一个‘原因’（较早的食材）缺失，我对‘结果’（较晚的食材）的不确定性就会增加。”

论文表明，这种不确定性实际上有助于 AI 找出正确的顺序。如果 AI 试图猜测“甜点”导致了“开胃菜”，但“开胃菜”缺失了，数学逻辑就会崩溃。但如果它猜测“开胃菜”导致了“甜点”，且“开胃菜”缺失了，模型就知道该增加多少不确定性。这种“不确定性信号”就像一个指南针，引导模型走向正确的时间线。

他们的发现（结果）

作者通过两种主要方式测试了 TABORDER：

合成测试（模拟）：他们创建了具有已知规则的虚拟世界（就像电子游戏）。TABORDER 成功地几乎与专为该任务设计的专用工具一样准确地推断出了事件的正确时间线，同时它还预测了结果。
现实世界测试（生物学实验室）：他们使用了一个关于细胞信号传导（细胞如何相互交流）的著名数据集。
- 结果：当他们进行“干预”（模拟药物阻止特定蛋白质）时，TABORDER 依然表现良好。其他模型失败了，因为它们依赖于不再存在的旧模式。
- 洞察：TABORDER 还能检测干预发生的位置。如果他们阻断了一个“枢纽”蛋白质（中心领导者），模型对整个时间线的理解就会改变。如果他们阻断了一个次要蛋白质，只有时间线的特定部分会改变。这与生物学家对细胞运作方式的了解相符。

总结

TABORDER 是一种新型 AI，专门用于表格数据（电子表格），它能自主学习因果序列。

为什么重要：它不仅仅是记忆模式；它学习了“游戏规则”。
优势：当世界发生变化（分布偏移）或当我们进行干预（如药物试验）时，TABORDER 不会崩溃。它之所以保持稳健，是因为它理解了事物的底层顺序，而不仅仅是表面联系。

它弥合了“智能模式匹配器”与“逻辑因果推理者”之间的差距，使 AI 在变化的环境中做出的预测更加安全和可靠。

技术摘要：学习因果排序以进行上下文表格预测

1. 问题陈述

上下文学习架构（如表格基础模型，TFMs）通过利用大规模预训练，在表格数据上取得了强大的预测性能。然而，这些模型主要是关联性的；它们依赖相关性结构而非明确的因果方向性。因此，在分布偏移或干预下，它们的预测可能不可靠，因为它们可能会利用无法泛化的非因果统计关联。

虽然现有的因果发现方法可以恢复有向无环图（DAG），但它们通常特定于数据集、计算密集，且与现代预测架构脱节。相反，最近的摊销因果发现方法依赖于在合成图上的监督训练，需要真实的因果标签。目前缺乏一种系统性的方法，将因果结构发现整合到预测架构中，构建一个能够处理缺失数据和干预的无监督、上下文学习框架。

2. 方法论：TABORDER

作者提出了TABORDER，这是一种基于 Transformer 的架构，旨在同时推断因果变量排序并执行鲁棒预测。其核心创新在于使用因果排序约束注意力。

架构设计

TABORDER 作为一个双 Transformer 系统运行，处理带有缺失条目（由掩码 $M$ 指示）的数据集 $D$ ：

嵌入：每个单元格 $x_i^{(r)}$ 及其缺失指示符被嵌入到向量表示中。
排序推断分支：一个标准的多头自注意力 Transformer 处理这些嵌入，为每个变量 $X_i$ 推断出一个标量分数 $s_i$ 。较低的分数表示在因果排序中位置更靠前。这些分数跨行平均，生成全局排序 $\hat{\pi}$ 。
排序约束预测分支：第二个 Transformer 对每个单元格的条件分布进行建模。关键在于，其列注意力受到由学习到的分数 $s$ 导出的掩码约束。具体而言，变量 $X_i$ 只能关注满足 $s_j \leq s_i$ 的变量 $X_j$ 。这强制了联合分布的有序分解：
$p_\theta(x^{(r)} | D, \pi) = \prod_{k=1}^d p_\theta(x_{\pi(k)}^{(r)} | x_{\pi(1:k-1)}^{(r)}, D)$
这防止模型使用“反因果”特征（未来的原因）来预测目标，从而降低了对虚假相关性的敏感度。

处理缺失数据与不确定性

该模型明确考虑了因果父节点中的缺失情况。在加性噪声模型（ANM）假设（ $X_i = f(X_{pa(i)}) + N_i$ ）下，模型解码出条件均值 $\hat{\mu}$ 和方差 $\hat{\sigma}^2$ 。

方差增量：如果因果父节点缺失，模型会将目标变量的预测方差增加一个可学习的量 $\delta_{i,j}$ 。这捕捉了当相关输入未被观测到时增加的 uncertainty。
训练目标：模型通过最大化缺失条目的对数似然进行端到端训练。该目标耦合了排序学习与预测：能够更好地解释缺失数据（通过最小化残差方差）的排序会获得更高的似然值。

理论依据

作者在加性噪声模型（ANM）框架下为基于似然的方法提供了理论依据。他们证明，对于因果加性模型，似然最优排序与真实潜在 DAG 的拓扑排序是一致的。此外，他们证明了一个关于缺失感知似然不对称性的定理：通过方差增量来考虑缺失性，会放大正确因果方向与错误方向之间的似然差距，从而即使在存在缺失数据的情况下也有助于识别因果排序。

3. 主要贡献

因果发现与预测的整合：TABORDER 通过在预测 Transformer 框架内无监督地推断因果排序，弥合了因果结构学习与上下文表格预测之间的差距。
排序约束注意力：引入了一种可微的、学习得到的注意力掩码，将信息流限制在学习到的因果排序中的前驱变量，确保预测仅依赖于潜在的原因。
缺失感知的因果学习：设计了一种机制，其中因果父节点的缺失会明确增加预测方差，这在理论上和实证上都有助于区分因果方向。
无监督学习：与摊销因果发现方法不同，TABORDER 在训练期间不需要真实的因果图；它仅通过在缺失数据上最大化似然来学习最优排序。

4. 实验结果

作者在具有已知因果结构的合成数据和真实世界基准上评估了 TABORDER。

因果排序推断：在由非线性高斯过程 ANM 生成的合成数据上，TABORDER 实现了与专用因果发现算法（如 CAM、SCORE、NOTEARS）相当拓扑发散度（ $d_{TOP}$ ），但通过单次前向传播在近乎瞬间的时间内推断出排序。在真实世界的 Sachs 蛋白信号数据集上，TABORDER 发现的因果排序与共识图相比具有较低的发散度（ $d_{TOP} \approx 0.21$ ），优于其他基线方法。
预测性能与插补：在缺失值插补任务（OpenML CC18 和 CTR23 基准）中，TABORDER 取得了具有竞争力的性能，特别是在高缺失率（ $\geq 40\%$ ）下，优于 KNN、MICE 和 GAIN 等标准方法。
干预鲁棒性：在具有 $Y \to Z$ 机制干预的三变量链（ $X \to Y \to Z$ ）中，TABORDER 保持了对给定 $X$ 和 $Z$ 的中介变量 $Y$ 的准确预测。相比之下，标准 TFMs（如 TABPFN）和 XGBoost 性能显著下降，因为它们依赖于 $Y$ 和 $Z$ 之间被破坏的非因果关联。
生物学见解：在 Sachs 数据集的各种干预条件下，TABORDER 推断出的排序反映了生物学上合理的重组。例如，上游干预（如 PKC 抑制）会导致推断排序的全局变化，而下游干预则导致局部变化，这与已知的信号通路动力学一致。

5. 意义与主张

本文主张，TABORDER 提供了一种原则性的方法，通过显式建模因果方向性，使表格数据的上下文学习对分布偏移和干预更加鲁棒。

鲁棒性：通过强制预测仅依赖于学习到的因果排序中的前驱，该模型避免了利用在干预下失效的虚假相关性。
效率：与每个数据集求解优化问题的经典因果发现不同，TABORDER 在单次前向传播内高效地推断结构，使其可扩展于下游任务。
理论基础：该工作确立了在缺失数据存在的情况下，最大化似然可以作为标准 ANM 假设下因果发现的代理，为无监督排序学习提供了理论基础。

作者承认了局限性，指出当前的实现侧重于拓扑排序而非完整的 DAG，并假设特征为实数值。他们指出，虽然该方法具有鲁棒性，但推断出的结构是假设，需要领域验证，未来的工作可以探索更丰富的训练先验和混合类型数据。