📊 statistics

On the Uncertainty Quantification Ability of Tabular Foundation Models

本文通过实证比较了表格先验数据拟合网络（TabPFN）与高斯过程（GPs）在回归任务中的不确定性量化表现，揭示了虽然 TabPFN 在复杂、高维且数据丰富的场景中表现出色，但高斯过程在数据稀缺的场景下，或在其核函数与底层函数高度契合时，通常能提供更优越的准确性和可靠性。

原作者： Tyler R. Johnson, Kian Ben-Jacob, Nima Negarandeh, Oriol Vendrell-Gallart, Ramin Bostanabad

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tyler R. Johnson, Kian Ben-Jacob, Nima Negarandeh, Oriol Vendrell-Gallart, Ramin Bostanabad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图根据一组数据点来预测天气、股票价格或桥梁的强度。你需要两样东西：一个好的猜测（预测值）以及一个关于你对该猜测有多确定的诚实估计（不确定性）。

这篇论文是一场两名截然不同的“预测者”之间的正面交锋，他们正试图利用表格数据（由数字组成的行和列）来解决这些问题。

两位竞争者

1. 高斯过程 (GP)：这位“大师级匠人”
将高斯过程（GP）想象成一位技艺精湛、守旧的匠人。

工作方式： 在他们开始工作之前，你必须为他们提供一套工具和一份特定的蓝图（称为“核函数”和“均值函数”）。如果你选择了正确的工具，他们会极其精准。他们就像一位熟练的木匠，只要你告诉他木材类型和设计，他就能完美地打造出一把椅子。
代价： 他们准备工作的速度很慢。每当你交给他们一个新任务时，他们都必须花时间校准工具并构思出最佳蓝图。如果你给了错误的蓝图，他们可能会造出一把摇晃不稳的椅子。此外，如果任务规模变得太大（数据量过多），他们会变得非常缓慢且疲惫。

2. TabPFN (表格基础模型)：这位“准备充分的实习生”
将 TabPFN 想象成一位才华横溢的实习生，他在见到你之前，已经读完了图书馆里的每一本书，并在数百万个虚拟项目中进行了练习。

工作方式： 他们不需要你提供蓝图。他们已经“学习”了如何为几乎所有遇到的工作挑选正确的工具。你只需把数据交给他们，他们就能立即开始工作。他们就像一位见过各种各样椅子的实习生，即使没有事先测量木材，也能瞬间猜出该如何制造一把新椅子。
代价： 他们启动很快，但可能显得有些“通用”。如果这项工作需要某种非常特定的、高精度的细节，而这些细节不在他们的训练库中，他们可能不会像大师级匠人那样完美。此外，他们需要一台强大的计算机（GPU）来快速思考，否则会比匠人更慢。

比赛：发生了什么？

研究人员在各种场景下将这两者进行对决，通过改变数据量、噪声（误差）以及问题的复杂度来进行测试。

场景 A：“小数据”或“高噪声”的情况

结果： 大师级匠人 (GP) 通常获胜。
原因： 当你只有寥寥几个线索（小数据）或者线索很混乱（高噪声）时，匠人利用其特定工具的能力能帮助他们做出更好的判断。实习生虽然也很出色，但由于缺乏足够的足够数据来“察言观色”，他们有时会猜得过于宽泛或偏离目标。
类比： 如果你给一位资深木匠一张草图让他做一把椅子，他可以利用经验完美地填补空白。如果你问实习生，他可能会猜错风格，因为他还没见过这么多关于这种特定款式的例子。

场景 B：“大数据”或“复杂”的情况

结果： 实习生 (TabPFN) 开始追赶，有时甚至获胜，尤其是在高维问题（变量很多）中。
原因： 当你交给他们海量的数据时，实习生一次性处理大量数据的能力开始展现光芒。而大师级匠人则开始陷入泥潭；为庞大的数据集计算出完美的蓝图需要耗费大量时间。
类比： 如果你有一个装满蓝图的仓库并且需要制造 1,000 把椅子，实习生可以直接开始制造。而匠人还在那里坐着，试图计算第一把椅子的完美角度。

场景 C：“完美工具”带来的惊喜

结果： 论文发现了一个转折。如果大师级匠人恰好选到了“完美工具”（一个特定的数学公式，即核函数），即使在大量数据面前，他们也能击败实习生。
代价： 研究人员并没有让匠人自行选择工具，而是强迫他们使用一种“默认”工具。即便仅使用默认工具，匠人在低噪声、高精度的任务中通常也表现更好。但是，如果研究人员允许匠人去调整（调优）他们的工具（这需要时间），他们会做得更好。而实习生则无法通过“调优”变得更好；他们已经达到了极限。

关于“不确定性”（他们有多确定？）的结论

两种方法都能很好地表达：“我有 95% 的把握答案在 X 和 Y 之间。”

匠人 (GP)： 他们的不确定性非常清晰。他们可以告诉你为什么不确定（例如：“我不确定是因为数据有噪声”对比“我不确定是因为我没见过这种类型的木材”）。
实习生 (TabPFN)： 他们也会给出一个范围，但这有点像一个“黑箱”。他们只是基于神经网络的直觉输出一个范围。这通常是准确的，但你无法轻易看到其背后的数学逻辑——即他们为什么选择了这个范围。

总结

如果你的工作需要极高的精度、数据量较少，并且你愿意花时间调试工具，请选择大师级匠人 (GP)。 如果你需要理解为什么不确定，他们也是更好的选择。
如果你有大量数据、需要快速得到答案、不想花时间调整设置，或者正在处理非常复杂的多变量问题，请选择准备充分的实习生 (TabPFN)。 他们是一种“即插即用”的解决方案，很难被通过额外投入时间的匠人所超越。

论文的结论是，虽然基础模型（如 TabPFN）在节省时间和处理大数据方面非常出色，但在需要最高水平的准确性和可靠性时，它们并不能完全取代传统方法（如 GP）那种细致、经过调优的处理方式。

技术摘要：论表格基础模型的确定性量化能力

问题陈述

代理模型对于替代或增强力学及计算科学中高昂的模拟过程至关重要。然而，选择并训练合适的概率代理模型（例如高斯过程或神经网络）仍然具有挑战性，特别是在数据存在噪声、稀缺或高维的情况下。虽然“传统”方法（如高斯过程，GPs）依赖于显式的训练和采样阶段来提供确定性量化（UQ），但基础模型（Foundation Models, FMs）已作为一种替代方案出现，能够以极少的微调实现跨任务迁移。具体而言，表格先验数据拟合网络（TabPFN）有望在无需针对每个任务重新训练的情况下，逼近贝叶斯后验预测分布。本研究旨在解决的核心问题是：TabPFN 提供的确定性估计是否能达到像高斯过程这类经典方法一样可靠，以及显式先验（GPs）与学习先验（TabPFN）之间的权衡如何在不同的数据规模下体现。

方法论

作者进行了一项全面的实证研究，将 TabPFN v2.5 与 高斯过程 (GPs) 在一系列多样化的回归问题上进行了对比。

基准测试： 研究利用了六个合成基准测试（Wing Weight, Ackley, Dixon-Price, Griewank, Rosenbrock, 和 Buckling），输入维度 ( $D_x$ ) 范围从 4 到 40，以及两个真实世界数据集（Elevators 和 Pumadyn）。
实验设计： 实验改变了训练数据集的大小 ( $N = 10D_x$ 和 $N = 40D_x$ ) 以及噪声水平（低噪声： $\epsilon \sim \mathcal{N}(0, (0.005 \times c)^2)$ ；高噪声： $\epsilon \sim \mathcal{N}(0, (0.05 \times c)^2)$ ）。此外还测试了非高斯噪声（Student's t-distribution）以评估鲁棒性。
实现细节：
- GPs： 为了确保与 TabPFN 的“开箱即用”特性进行公平比较，GPs 使用了 GP+ 软件包 [8] 的默认设置进行训练。这包括默认初始化、常数均值以及高斯核（在特定的子分析中测试了幂指数核/Power Exponential kernels）。在主要对比中，未对超参数或核函数进行人工微调。
- TabPFN： 模型在 GPU 上运行，未进行微调。
指标：
- 预测精度： 通过相对均方根误差 (RRMSE) 进行衡量。
- UQ 质量： 通过相对平均负向定向区间评分 (NIS) 进行衡量，该评分同时惩罚区间宽度和覆盖误差。
- 计算成本： 包括训练时间（GP）和端到端推理时间（TabPFN）的墙钟时间。

核心贡献

原则性的 GP 默认设置： 作者推荐并使用了一套特定的默认设置来构建 GPs（通过 GP+），旨在不进行人工调优的情况下，最大化其在多样化应用中的性能。
开源基准测试： 本研究利用三个关键指标（点预测精度 (RRMSE)、预测分布质量 (NIS) 和计算成本）提供了开源的对比研究（GP+ vs. TabPFN v2.5）。
实践指南： 本工作提供了经验证据来指导仿真器（emulator）的选择，强调了 TabPFN 表现卓越与传统 GPs 保持优势的具体场景。

结果与分析

精度与确定性量化

研究发现，两种方法并未表现出一致的优越性；性能高度依赖于数据的可用性、维度以及先验的适用性。

数据稀缺场景 ( $N = 10D_x$ )： GPs 通常能提供更优的预测精度和 UQ，特别是当所选核函数（如高斯核）构成了底层函数的良好先验时。在低噪声设置下，GPs 能可靠地追踪噪声底限，而 TabPFN 则保留了残余误差。
数据丰富场景 ( $N = 40D_x$ )： TabPFN 取得了极具竞争力的表现，尤其是在复杂的高维问题中。然而，在 Griewank 等特定基准测试中，即使数据量增加，GPs 仍然优于 TabPFN，这表明 TabPFN 在某些结构化场景下需要显著更多的数据才能具备竞争力。
核函数敏感性： 一个关键发现是 GP 的性能对核函数选择非常敏感。在 Dixon-Price 和 Rosenbrock 等基准测试中，将 GP 核从高斯核切换为幂指数核 (PE) 显著提升了性能，且往往超越了 TabPFN。这强调了如果先验设定错误，即便使用“原生”的 GPs 也会表现不佳；而 TabPFN 的学习先验对这类设定错误具有鲁棒性，但可能缺乏经过精细调优的 GP 所具备的精度。
不确定性校准： 即使在均值预测 (RRMSE) 较差或在多次运行中波动较大时，TabPFN 也能产生校准良好的区间（紧凑的 NIS 分布）。相反，GPs 在 Buckling 示例中表现出较高的 RRMSE 变异性，但随着数据量的增加，性能得到了显著改善。

计算成本

GPs： 由于协方差矩阵求逆，训练成本随 $O(N^3)$ 缩放。对于高维、大数据量的情况（例如 $N=40D_x$ 的 Griewank），GP 训练时间变得极其昂贵（数百秒），但预测速度很快。
TabPFN： 推理成本随 $O(N_c(N_c + N_q))$ 缩放。虽然 TabPFN 在 GPU 上的计算效率很高（端到端推理约为 1–5 秒），但在 CPU 上的速度明显较慢。研究指出，TabPFN 避免了 GPs 所需的逐数据集超参数优化，这使得它在需要频繁更新数据集但每次更新仅进行少量预测的场景中极具吸引力。

真实世界数据集

在 Elevators 和 Pumadyn 数据集上，观察到的趋势与合成数据一致：TabPFN 在 Elevators 上优于 GP+，而 GP+ 在 Pumadyn 上优于 TabPFN。在这两种情况下，性能差距随着数据集规模的增加保持相对稳定，这表明对于这些特定的现实问题，单纯增加数据并不能解决两种方法潜在的模型失配问题。

意义与主张

论文声称 TabPFN 是一种获取准确点估计的成本效益高的模型，并且是传统仿真器的计算廉价替代方案，特别是在高维和大数据量场景下，它消除了对手动预处理和模型调优的需求。

然而，作者也谦虚地总结道，如果 GPs 配备了良好的核函数，TabPFN 的能力尚无法与之媲美。研究强调了一个根本性的权衡：

GPs 在数据稀缺场景以及用户愿意投入时间进行核函数和均值函数选择（微调）时表现出色。它们提供了对不确定性（偶然不确定性 vs. 本体不确定性）的显式解释性。
TabPFN 在需要快速部署或底层函数类未知且难以用固定核函数建模的“开箱即用”场景中表现出色。

作者强调，虽然 TabPFN 是一个强大的基础模型，但它并未使传统方法过时。相反，从业者应将 GP 默认设置视为一个强有力的基准，在性能饱和时尝试进行细微调整（选择核函数/均值函数），然后再考虑转向更复杂的调优或切换到基础模型。本研究明确排除了可扩展 GP 和复杂核构造的最新进展，而是专注于“原生”实现，以便为这一新兴的表格基础模型类别提供一个清晰的基准。