Conditioning Tree-Based Diffusions and Flows for Probabilistic Tabular Regression

技术摘要：用于概率表格回归的条件化树型扩散模型与流模型

问题陈述
表格数据的概率回归需要能够结合梯度提升树的预测强度，并提供适用于校准、决策和不确定性量化的完整预测分布的模型。虽然树型扩散模型（如 Treeffuser）已成为一种解决方案——通过训练 LightGBM 回归器来估计噪声扰动后的条件密度——但它们目前继承了神经扩散设置的设计默认值。这些默认值（包括加噪路径、参数化、训练分布、特征和采样器）对于基于直方图的树学习器而言通常是次优的。本文认为，这些默认值构成了一个约束：梯度提升集成所解决的具体监督回归问题，是由这些条件化配置的选择所决ript的。

方法论：DiffGBM
作者引入了 DiffGBM，它是 Treeffuser 的扩展，将树型扩散的条件化选择视为显式的、可调的轴，而非固定的默认值。该方法围绕两个主要轴展开：

1. 得分侧修改（“Score-Flex”空间）：
   作者提出了一个在共享 LightGBM 曲面上进行联合调优的基于得分的扩散配方。关键修改包括：

   • 条件均值残差化（Conditional-Mean Residualization）： 首先拟合一个经过交叉验证的 LightGBM 均值预测器 $\hat{\mu}(x)$。扩散应用于残差 $y - \hat{\mu}(x)$ 而非 $y$，从而将条件位置移出得分回归的目标。
   • EDM 预处理（EDM Preconditioning）： 遵循 EDM 原则，模型预测一个缩放到单位方差的去噪目标 $D_\theta(y_t, t)$，从而通过代数方式重建得分。这稳定了树的学习目标，防止了树在不同噪声水平下外推噪声预测幅度的需求。
   • Log-Sigma 时间采样与特征： 训练分布不再采用均匀时间采样，而是绘制 $\log \sigma(t) \sim \mathcal{N}(-1.2, 1.2^2)$。至关重要的是，显式地将 $\log \sigma(t)$ 特征添加到输入向量中，使树的分裂可以直接以噪声状态为条件。
   • 损失权重与直方图分辨率： 这些被暴露为可调维度，用以控制模型容量的分配方向。

2. 高斯路径流匹配（Flow Matching, FM）：
   作者实现了一个针对 $p(y|x)$ 的高斯路径流匹配训练器。

   • 速度场学习： 模型不是直接学习得分，而是通过梯度提升树学习一个速度场 $v_\theta$。
   • 代数得分恢复： 对于任何高斯路径，可以通过速度场代数地恢复条件得分（引理 1），这使得模型可以进入随机插值采样器。
   • 采样器效率： 该方法支持使用确定性的、少步数的 ODE 采样器（具体为 5 步 Heun ODE），显著降低了推理延迟，相比于随机 SDE。
   • 路径选择： 作者比较了线性、三角函数和方差保持（VP）路径。他们指出，虽然 VP 路径使输入保持在单位量级附近，但最优路径取决于数据集以及与残差化之间的相互作用。

核心贡献

1. 用于条件化树型预测的流匹配： 一个直接利用梯度提升树学习速度场的高斯路径 FM 训练器，提供了最廉价的采样器和最佳校准的操作点。
2. 联合可调的得分配方： 将得分侧修改（残差化、EDM 预处理、log-sigma 采样、显式噪声特征、损失权重和直方图分辨率）作为可调轴进行暴露。这种“score-flex”空间将已发表的配方视为一个特例，并允许进行数据集特定的优化。
3. 回归条件化作为共享瓶颈： 本文认为，两个轴的性能提升都源于更好地将诱导的监督问题与直方图树的有限分裂分辨率相匹配。约束不在于目标的总体属性，而在于为同时服务于所有噪声水平所需的有限分箱分配。

实验结果
该方法在 11 个标准表格回归基准测试（9 个 UCI，2 个 scikit-learn）上进行了评估，采用了匹配 40 次试验预算的嵌套调优协议（第 0 折用于调优，第 1–5 折用于评估）。

• 准确度（Score-Flex）： 联合调优的 score-flex 配方实现了最佳的聚合 CRPS 技能得分（0.725 对比基准的 0.699）和归一化 CRPS（1.106 对比 1.248）。它在每个数据集上都击败了已发表的基准（配对 Wilcoxon $p < 10^{-3}$）。
• 校准与速度（Flow Matching）： DiffGBM-FM 变体是所有 DiffGBM 行中校准效果最好的（在 50/90% 水平下具有最低的覆盖误差和最高的 PIT 通过率），且采样速度最快。它比已发表的基准快 5.2 倍（总计 61.3 秒对比 196.3 秒），同时保持了极具竞争力的 CRPS（0.707）。
• 消融研究：
  • 在不对其他部分做改动的情况下，将得分模型从 Euler SDE 切换到 Heun ODE 会降低准确度，表明采样器并非免费的加速手段。
  • EDM 预处理提供了得分侧性能的最大单次跃升。
  • 残差化对于流匹配至关重要；若没有残差化，FM 的性能会显著下降。
  • 随机采样器（$\epsilon > 0$）在聚合 CRPS 或延迟方面并未在 Pareto 前沿内优于确定性采样器（$\epsilon = 0$），尽管它们可以在高不确定性区域改善尾部覆盖。

意义与主张
论文声称，从神经扩散设置中继承的设计默认值是树型概率回归的主要瓶颈。通过将加噪路径、参数化和训练分布视为可调的条件化选择，DiffGBM 解锁了准确度和校准度的显著提升。

作者强调，“score-flex”和“flow-matching”是互补的：

• Score-Flex 是准确度之选，随着数据量的增加其优势愈发明显，并在最大规模的数据集上胜出，尽管它会带来更高的延迟和较松的中心覆盖。
• Flow Matching 是快速且校准良好的选择，在中小规模数据集上表现最强，其残差化少步 ODE 优势明显。

论文得出结论，不存在普适的单一配方；最优配置取决于数据集的特征（例如，对于类似 ct_slices 的近确定性数据集，更倾向于使用更精细的直方图分箱和噪声预测而非 EDM）。这项工作确立了：将诱导的监督问题与直方图分裂的有限分辨率相匹配，是释放树型扩散和流模型潜力的关键。