Benchmarking Tabular Foundation Models for Conditional Density Estimation in Regression

这是一份关于论文《Benchmarking Tabular Foundation Models for Conditional Density Estimation in Regression》（表格基础模型在回归条件密度估计中的基准测试）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心问题：
条件密度估计（Conditional Density Estimation, CDE）旨在给定表格协变量（covariates）的情况下，恢复响应变量（response）的完整条件分布，而不仅仅是预测其条件均值。这在处理异方差性（heteroscedasticity）、多模态（multimodality）或不对称不确定性（asymmetric uncertainty）的场景中至关重要（例如：光度红移估计、风险分析、基于模拟的推断等）。

现有挑战：

• 传统方法局限： 现有的 CDE 方法包括参数化回归、基于树的模型（如分位数森林）、神经网络（如混合密度网络 MDN、归一化流 Flow-based models）等。这些方法通常需要针对特定任务进行调优，且在小样本下表现不佳。
• 基础模型的新机遇： 近年来出现的表格基础模型（Tabular Foundation Models），如 TabPFN 和 TabICL，基于前验数据拟合网络（PFN）范式，通过 Transformer 架构在大量合成任务上进行元训练，能够在无需梯度更新的情况下进行上下文学习（In-Context Learning）。
• 研究缺口： 虽然这些基础模型在点预测（Point Prediction）任务上已被广泛评估，但它们作为通用条件密度估计器的有效性尚未得到系统性的基准测试。特别是它们生成的预测分布是否在密度精度和校准度（Calibration）上能与专门设计的 CDE 方法竞争，尚不明确。

2. 方法论与实验设计 (Methodology)

评估对象：
论文对比了三种表格基础模型变体与多种经典及现代 CDE 基线方法：

• 基础模型 (Foundation Models):
  • TabPFN-2.5: 输出响应范围的条形分布（bar distributions）。
  • RealTabPFN-2.5: 在真实世界表格数据上微调过的 TabPFN 变体。
  • TabICL-Quantiles: 输出预测分位数，需通过插值和数值微分转换为密度。
  • 注：所有基础模型均直接使用预训练权重，未进行特定任务的微调（No Fine-tuning）。
• 基线方法 (Baselines): 涵盖五大类共 10+ 种方法：
  • 参数化分布回归： 线性高斯（同方差/异方差）、Student-t、对数正态、Gamma GLM 等（含 Ridge 正则化变体）。
  • 基于分位数的方法： Quantile-Tree (XGBoost)。
  • 基于回归的密度估计： FlexCode-RF (随机森林 + 余弦基展开)。
  • 树基概率模型： BART (同方差/异方差)。
  • 神经密度估计器： 混合密度网络 (MDN)、基于样条的归一化流 (Flow-Spline)、CatMLP (离散化响应)。

实验设置：

• 数据集： 39 个来自 OpenML 和 SDSS DR18 的真实世界回归数据集，涵盖住房、机器人、生物信息学、天体物理等领域。
• 样本规模： 训练集大小 $n$ 从 50 到 20,000 不等（SDSS 案例研究扩展至 500,000）。
• 评估指标 (6 项):
  1. CDE Loss: 密度估计的专用损失函数（Proper Scoring Rule）。
  2. Log-Likelihood: 对数似然。
  3. CRPS: 连续排序概率评分（衡量分布预测的整体质量）。
  4. PIT KS 统计量: 概率积分变换（PIT）的 Kolmogorov-Smirnov 统计量，用于评估校准度（Calibration）。
  5. 90% 覆盖率: 预测区间的经验覆盖率。
  6. 计算时间: 拟合与预测的总耗时。

SDSS 案例研究：
利用斯隆数字巡天（SDSS）DR18 数据（50 万星系），专门评估基础模型在大规模数据下的样本效率，对比使用 50,000 个样本的基础模型与使用 500,000 个样本的传统方法。

3. 关键贡献 (Key Contributions)

1. 首个针对表格基础模型 CDE 能力的广泛基准测试： 填补了现有文献主要关注点预测的空白，系统评估了 TabPFN 和 TabICL 在分布预测任务上的表现。
2. 大规模实验设计： 覆盖了 39 个真实数据集，样本量跨度大（50-20,000），特征维度跨度大（5-563），并包含一个超大规模的天体物理案例研究。
3. 多维度的评估体系： 不仅关注密度精度（CDE Loss, CRPS），还深入分析了校准度（Calibration）和计算效率，揭示了不同方法在不同数据规模下的优劣。
4. 揭示了样本效率优势： 证明了基础模型在数据稀缺场景下的显著优势，甚至在仅使用 10% 数据的情况下，其表现优于使用全量数据训练的传统方法。

4. 主要结果 (Results)

密度精度 (Accuracy):

• 全面领先： 在所有样本量（$n=50$ 到 $n=20,000$）下，基础模型在绝大多数数据集（82%-92%）上取得了最佳的 CDE Loss、Log-Likelihood 和 CRPS。
• 小样本优势： 在 $n=50$ 时，TabPFN-2.5 和 RealTabPFN-2.5 的平均排名分别为第 2.3 和第 2.2，远超其他非基础模型方法。
• 大样本表现： 即使在 $n=20,000$ 时，基础模型仍保持前三名的平均排名，尽管与最佳非参数基线（如 Flow-Spline）的差距有所缩小。
• 异常处理： 在 $n=20,000$ 且高维（$d=384$）的 CTSlices 数据集上，TabPFN 变体因显存不足（OOM）失败，而 TabICL-Quantiles 成功运行并排名第一。

校准度 (Calibration):

• 小样本表现优异： 基础模型在小样本下校准度表现良好。
• 大样本劣势： 随着样本量增加（$n \ge 5,000$），基础模型的校准度排名下降（中位水平），而专门训练的神经网络（如 MDN）在校准度上往往表现更好。这表明基础模型的上下文学习机制在密度形状捕捉上很强，但在概率校准的扩展性上不如端到端训练的方法。

特殊场景表现：

• 离散/准离散响应： 在响应变量具有明显离散结构（如 Digits, BlackFriday）的数据集上，专门设计的离散模型（CatMLP）或强参数化模型（LogNormal）可能优于基础模型。
• SDSS 光度红移案例： TabPFN 仅使用 50,000 个训练样本，其 CDE 性能（Loss, CRPS, Log-Likelihood）就超过了所有使用 500,000 个样本训练的传统基线方法。这展示了基础模型极强的样本效率（Sample Efficiency），即每增加一个训练样本能提取更多的预测信号。

计算效率：

• 基础模型在 GPU 上的推理速度极快。例如，TabPFN-2.5 处理 50,000 个样本仅需约 39 秒，而最强的非基础模型 Flow-Spline 在 CPU 上处理 500,000 个样本需要约 19 分钟，且精度更低。

5. 意义与局限性 (Significance & Limitations)

意义：

• 开箱即用的强基线： 表格基础模型已成为条件密度估计任务的强力“开箱即用”（off-the-shelf）解决方案，特别是在数据有限或需要快速部署的场景中。
• 重新定义评估标准： 呼吁将表格学习的评估从单纯的点预测扩展到完整的分布质量评估。
• 数据效率革命： 证明了在不确定性量化任务中，利用预训练的基础模型可以大幅降低对标注数据的需求（在 SDSS 案例中减少了 10 倍的数据需求）。

局限性与未来方向：

• 上下文长度限制： 当前 TabPFN 受限于上下文长度（约 50,000），且在高维数据下容易遇到显存溢出（OOM）问题。
• 校准度问题： 在大样本下，基础模型的校准度不如专门训练的神经网络，未来可结合后验校准（Post-hoc recalibration）技术改进。
• 响应结构限制： 对于具有特殊结构（如高度离散支持）的响应变量，通用先验可能不如特定归纳偏置（Inductive Bias）有效。
• 单变量限制： 当前基准测试仅针对单变量响应，多变量或结构化输出的扩展尚待研究。

总结：
该论文确立了表格基础模型作为条件密度估计器的核心地位。它们在小样本下表现卓越，在大样本下依然保持竞争力，且具备极高的样本效率。尽管在极端高维或特定校准需求下存在挑战，但它们为不确定性量化提供了一种强大且通用的新范式。