🤖 machine learning

Do Tabular Foundation Models Agree with Themselves?

本文揭示了表格基础模型（TFMs）无法生成忠实的联合分布，因为它们在所有评估的数据集和任务中都违反了边缘化一致性和分解一致性要求。

原作者： Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme, Tom Hanika

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme, Tom Hanika

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探，但你寻找线索的地方不是犯罪现场，而是一个巨大的电子表格。这就是表格基础模型（Tabular Foundation Models）的世界，这是一个热门的新兴人工智能领域，计算机通过学习行和列中的数据来预测事物，比如预测一笔贷款是否会被偿还，或者一套房子的价格可能是多少。这些模型是基于一个聪明的想法构建的，叫做贝叶斯推理（Bayesian inference），这基本上是一种高级的说法，意思是：“让我们根据新证据来更新我们的信念。”把它想象成一个天气预报员，他最初对降雨有一个大致的猜测，但一旦看到乌云，他就会更新他的预测，说：“好吧，肯定要下雨了。”

长期以来，科学家们一直希望这些 AI 模型是完美的“天气预报员”。他们认为，如果你要求模型预测一件事，然后利用这个预测去猜测另一件事，它所讲述的整个故事应该能够完美契合，就像一部逻辑严密、章节环环相扣的优秀小说一样。但问题在于，在现实世界中，我们往往不知道“真实”的答案来与之对比。这就像是在没有标准答案的情况下给学生的作文评分。因此，研究人员并没有问“这个模型对不对？”，而是提出了一个更简单、也更棘手的问题：“这个模型是否能对自己讲出一个一致的故事？”他们想知道，这个 AI 是在编造一些看起来还不错的随机数字，还是真的在遵循严格的逻辑和概率规则。

你即将听到的这篇论文题目是**《表格基础模型是否能与自身保持一致？》（"Do Tabular Foundation Models Agree with Themselves?"）**，它深入探讨了这个谜团。由 Christian Klötergens 及其团队领导的研究人员决定让最流行的表格数据 AI 模型（如 TabPFN、TabICL 和 TabFM）接受一场严格的“逻辑测试”。他们不仅要求模型进行预测，还要求它们以两种不同的方式讲述同一个故事，并检查这些故事是否匹配。

想象一下你正在尝试猜一款神秘奶昔的味道。

测试 1（边缘化一致性）： 你问 AI：“这款奶昔是什么味道？”然后你问它：“如果奶昔是红色的，它是什味道？如果它是蓝色的，它又是什味道？”最后，你根据奶昔是红色或蓝色的可能性，将这两个答案混合在一起。如果 AI 是一致的，那么这个“混合”后的答案应该与第一个直接得到的答案完全相同。
测试 2（因子分解一致性）： 你要求 AI 以两种不同的顺序讲述奶昔的成分。首先，它猜水果，然后猜甜味剂。其次，它猜甜味剂，然后猜水果。如果 AI 真正理解了数据，那么最终呈现的奶昔全貌应该是相同的，无论它先猜哪个成分。

研究人员在各种各样的现实世界数据集上运行了这些测试，从葡萄酒质量评分到汽车价格以及医疗记录。他们使用了一个被称为**全变分距离（Total Variation Distance）**的数学尺子来衡量答案之间的差距。得分为 0 表示模型完全一致；得分越高，表示模型越自相矛盾。

结果令人震惊。每一个被测试的模型都未能通过这两项测试。 在每一个数据集上，无论是对于简单的“是/否”问题（分类问题）还是数值预测问题（回归问题），模型都会根据提问方式的不同而给出不同的答案。这就像 AI 在你直接询问时告诉你奶昔是“草莓味”的，但当你先询问颜色时，它突然决定那是“蓝莓味”的，尽管颜色其实是一样的。

研究发现，虽然某些模型比其他模型在讲述一致故事方面表现得稍好一些（例如，一个名为 TabFM 的模型是表现最一致的分类器，而 TabPFNv3 是最接近一致性的回归模型），但没有任何一个模型是真正一致的。 事实上，这种不一致现象非常普遍，研究人员据此得出结论：这些模型并不代表数据的单一、统一的“联合分布”。用通俗的话说：这些模型并没有遵循它们本应模仿的严格概率定律。它们本质上是在根据提问顺序的不同，在“幻觉”出不同版本的现实。

作者还发现了一些有趣的事情：成为一个“优秀的”预测者（大多数情况下都能猜对答案）并不意味着你是一个“一致的”预测者。一个模型可能在预测房价方面非常准确，但在你以不同顺序询问其推理过程时，它仍然会产生矛盾。这表明，一致性是一个独立且隐藏的缺陷，目前的基准测试忽略了这一点。

那么，这对未来意味着什么？这篇论文并不是说这些模型没用——它们仍然是我们处理许多任务时最好的工具。然而，它也敲响了警钟：如果我们希望模型能够就变量之间的复杂关系提供逻辑连贯的解释，我们就不能盲目信任它们。研究人员建议，未来的模型需要将“一致性”作为一个核心特征进行构建，例如，通过训练使它们对这些矛盾进行惩罚，而不仅仅是专注于得到最终的正确答案。在此之前，我们必须记住，这些强大的 AI “侦探”擅长发现线索，但根据提问者的不同，它们有时会讲述不同版本的同一个故事。

标题：表格基础模型是否能实现自我一致？

问题陈述
表格基础模型（Tabular Foundation Models, TFMs），如 TabPFN、TabICL 和 TabFM，目前代表了表格预测的最前沿水平。这些模型的构建方式是作为 Transformer，旨在逼近一种合成先验下的贝叶斯后验预测分布（PPD）。尽管它们的预测头是单变量的，但从业者通过自回归地采样目标变量并将其作为特征附加，来利用它们对多变量分布进行建模。然而，由此产生的联合分布的忠实度尚未得到研究。至关重要的是，由于现实世界数据集的真实分布是未知的，因此无法根据真实的贝ayer 后验对 TFMs 进行评估。这导致了一个认知空白，即无法了解这些模型的单变量预测是否能聚合成一个单一且定义良好的联合分布。

方法论
为了解决无法测量与真实后验距离的问题，作者提出了一种无需标签的方法：确定模型的预测是否至少能由任何一个联合分布所诱导。一个定义良好的联合分布对其边缘分布和条件分布有着严格的数学约束。作者形式化了任何由有效联合分布诱导的模型必须满足的两个一致性要求：

边缘化一致性（Marginalization Consistency）： 这要求边缘化的条件分布等于直接预测的边缘分布。具体而言，如果模型直接预测目标 $A$ ，并且同时也预测在给定第二个目标 $B$ 的条件下 $A$ 的分布（随后使用模型自身对 $B$ 的预测对 $B$ 进行边缘化处理），则得到的分布必须是恒等的。这是全概率公式和连贯预测系统中鞅性质的一个实例。
因子分解一致性（Factorization Consistency）： 这是关于联合分布本身的一个更强的要求。它要求不同的自回归因子分解顺序（例如，先预测 $A$ 再预测 $B$ ，与先预测 $B$ 再预测 $A$ ）必须产生完全相同的联合分布。

作者证明了因子分解一致性蕴含了边缘化一致性，但反之则不然。为了评估这些属性，他们基于生成不同条件下分布之间的全变差（Total Variation, TV）距离推导出了度量指标。这些指标在无需已知真实分布或预训练先验的情况下即可发挥作用。

实验设置
本研究在来自 OpenML 的广泛数据集套件上，针对分类和回归任务，评估了多种最先进的 TFMs（TabPFNv2/v3、TabICLv1/v2、TabDPTv1.2 和 TabFM）。对于每个数据集，选择了两个在给定剩余特征下可能相互依赖的目标列。模型在 5 折交叉测试下进行评估，以衡量以下两者的差异：

直接边缘预测与边缘化混合预测之间的差异（边缘化一致性）。
不同采样顺序导出的联合分布之间的差异（因子分解一致性）。

关键结果
实验表明，在所有评估的模型、数据集和任务类型中，都存在对这两个一致性要求的系统性且显著的违反：

普遍违反： 所有评估的 TFM 在每个数据集上都违反了边缘化一致性和因子分解一致性。观察到的不一致性是当前 TFMs 的一种结构性属性。
违反幅度： 这些违反不仅仅是采样噪声，而是代表了结构性的差距，即模型对目标的估计会根据是否以中间目标为条件或进行边缘化而发生变化。
模型比较：
- 分类任务： TabFM（最新的模型）在分类器中表现出最高的一致性，在大多数数据集上实现了最低的平均 TV 距离。TabICLv1 被确定为最不一致的分类器。
- 回归任务： 没有单一模型能在所有数据集上都表现出最高的一致性。TabDPT 在边缘化方面表现相对一致，但在因子分解方面属于最不一致的模型之一。TabPFNv3 是回归任务中最具因子分解一致性的模型。
相关性： 边缘化一致性和因子分解一致性的违反之间存在强正相关关系。然而，模型的预测准确度（或 RMSE）与一致性之间没有强相关性；高性能的模型并不一定更具连贯性。
特征数量： 与直觉相反，更宽的表格（更多特征）并不一定会导致更大的不一致性；在分类任务中，特征较少的数据集往往表现出更高的一致性差距。

意义与贡献
本文做出了三个贡献：

形式化要求： 定义了使 TFM 隐含的联合分布为定义良好的两个必要条件（边缘化一致性和因子分解一致性）。
无需标签的度量： 推导出了无需已知真实标签或预训练先验即可量化违反程度的指标。
实证评估： 通过应用这些指标，证明了当前的先进 TFM 无法产生连贯的联合分布。

作者得出结论，当前 TFMs 的单变量预测并不能源于表格列上的任何单一联合分布。因此，对于依赖目标之间依赖结构的下游任务（如自回归数据生成），这些模型是不可靠的。本文将一致性定位为一个独立的评估维度，与准确度相分离，而这一维度在目前的 TabArena 等基准测试中是缺失的。虽然这些条件目前仅具有诊断作用，但作者建议未来的工作应聚焦于模型设计——例如，采用惩罚一致性差距的训练目标或强制执行共享潜在联合分布的架构——以构建能够证明其具有连贯性的 TFM。

类似论文