Improving Random Forests by Smoothing

技术摘要：通过平滑改进随机森林

问题陈述
随机森林回归是一种稳健的非参数方法，它通过数据驱动的划分来适应局部数据特征。然而，其预测本质上是分段常数函数，导致在划分边界处存在不连续性。这种缺乏平滑性的特点在小数据情形下尤为成问题，因为无法在输入空间内共享信息可能导致性能次优。虽然存在经典的平滑方法（如核估计器）和软树变体，但它们往往难以应对高维可扩展性、计算复杂度的增加，或损失了使随机森林具有吸引力的高效树生长算法。核心挑战在于，在不妨碍其空间适应性或计算效率的前提下，为随机森林预测引入平滑性和可微性。

方法论
作者提出了一种后学习（post-learning）的基于核的平滑机制，该机制作用于已训练好的随机森林的输出，而非改变树构建过程本身。

1. 概率平滑：该方法将平滑后的预测 $\tilde{f}(x_0)$ 定义为原始分段常数预测函数 $f(z)$ 关于潜在变量 $z$ 的期望，其中 $z$ 根据概率核 $k(\cdot | x_0, \lambda)$ 分布。数学上，$\tilde{f}(x_0) = \mathbb{E}_{z \sim k}[f(z)]$。
2. 分段常数实现：对于决策树和森林，其域被划分为轴平行超矩形，该期望简化为每个区域中常数值的加权和。权重是潜在变量落入每个区域的概率，通过使用所选核的累积分布函数（CDF）可高效计算。
3. 核选择：作者利用乘积核，具体为高斯分布和双曲正割（Hypsec）分布。选择这些核是为了确保生成的预测函数处处可微。双曲正割因其指数尾部衰减而受到关注，这模拟了从树分裂点变异性理论分析中推导出的拉普拉斯分布的渐近行为。
4. 理论依据：本文证明，该平滑过程可被解释为捕捉在重采样训练输入时树切割点的变异性或不确定性。具体而言，树断点估计在重采样下的极限分布遵循拉普拉斯分布；所提出的平滑通过将与近似这种变异性的核进行卷积来模拟这一过程。
5. 集成应用：由于随机森林是加法集成模型，平滑算子（作为线性算子）可应用于单个树然后取平均，从而避免了平滑整个集成中指数级复杂区域结构的计算不可行性。
6. 模型选择：平滑参数（尺度 $\lambda$）和仿射重校准参数（$\beta_0, \beta_1$）通过最小化袋外（OOB）损失进行选择。作者采用基于梯度的优化方法（如 L-BFGS、AdamW）来处理 OOB 损失景观的非凸性质。

主要贡献

• 后学习平滑框架：引入了一种通用的概率方法，为任何学习到的分段常数函数赋予任意平滑度，同时保留原始模型的空间适应性。
• 理论解释：建立了核平滑与数据重采样下树分裂点不确定性之间的理论联系，为特定核形状的使用提供了依据。
• 高效实现：证明了通过利用集成的线性特性，可以高效地将平滑应用于随机森林，将复杂度从（关于区域的）指数级降低为（关于单棵树区域的）线性级。
• 实证验证：表明具有少量树（例如 10 棵）的平滑随机森林，在多样化的数据集上，其性能可优于具有显著更大集成（多达 100 棵树）的标准随机森林以及高斯过程回归。

实验结果
该方法在 10 个 UCI 数据集上进行了评估，训练样本量范围从 50 到 500 个观测值。

• 性能：提出的“带每维参数的平滑树集成”（EST-PD），无论是使用高斯核还是双曲正割核，在 93–94% 的案例中均一致优于基线随机森林（10 棵树）。
• 与基线比较：EST-PD 变体在 81%、69% 和 64% 的案例中分别优于具有 20、50 和 100 棵树的标准随机森林。它们还显著优于高斯过程回归（在 88% 的案例中获胜）。
• 统计显著性：非参数统计检验（Friedman 和 Nemenyi）证实，平滑变体构成了一个在统计上优于标准随机森林和高斯过程的等价组。
• 小数据情形：该方法在数据稀缺的设置（例如 $n=50$）中表现出特别的优势，在均方误差（MSE）上相对于标准基线取得了显著的百分比提升。
• 核选择：高斯核和双曲正割核产生了 remarkably 相似的性能概况，表明核的选择对有效性几乎没有实际影响。

意义与主张
本文主张，事后平滑提供了一种计算上可行的方法来改进随机森林的预测精度，特别是在数据有限的情况下。通过结合树方法的适应性与核方法的平滑假设，该方法解决了标准森林固有的不连续性问题，而无需软树复杂的拟合方案。作者指出，虽然该框架侧重于回归（条件均值估计），但该概念可能扩展到不确定性量化（条件方差）和分类任务，尽管这些仍是未来研究的课题。该工作还强调，虽然该方法在理论上可扩展至梯度提升，但提升树的序列性质给此处使用的全局校准方法带来了挑战。