Confidence intervals for the random forest generalization error

在现代数据科学领域，计算机经常被要求根据过去发现的模式对未来进行预测。无论是预测房价、诊断疾病状况，还是猜测客户是否会停止使用某项服务，这些系统都依赖于在大型信息集上训练的复杂模型。对于任何使用这些工具的人来说，一个核心挑战是知道该在多大程度上信任一个预测。仅仅因为一个模型在它所训练的数据上表现良好，并不保证它在新的、未见过的场景中也能表现良好。为了衡量这种可靠性，科学家们传统上将数据分为两部分：一部分用于教导模型，另一部分用于测试它。虽然这种方法行之有效，但它是一个缓慢且昂贵的过程，需要将数据切分一半，并且通常需要多次重新训练模型才能清晰地了解其准确性。

一种被称为随机森林（random forest）的特定类型的模型长期以来提供了一种聪明的捷径，用于估计其表现如何。想象一下，在一片森林中，每棵树都是一个基于略微不同的数据版本进行决策的决策者。由于这些树生长的机制，每棵单独的树都会忽略训练数据中一小部分随机的部分。这意味着对于数据集中的每一条信息，都有一组树在训练期间从未见过它。这些树随后可以被要求对该特定信息进行预测，从而在无需拆分数据或运行新模拟的情况下，提供一种内置的准确性测试。这种被称为“袋外估计”（out-of-bag estimate）的方法已成为数十年的标准工具，提供了一种快速、几乎零成本的方式，用一个单一的数字来代表模型的预期误差。然而，长期以来，这种方法只能提供一个点估计值，使得用户无法清晰地感知该数字周围的不确定性范围。

在 2021 年底发表的一篇论文中，来自巴西 Insper 教育与研究学院的研究员 Paulo C. Marques F. 提出了一种将这个单一数字转化为完整置信范围的方法。其目标是利用随机森林训练过程中现有的副产品来构建置信区间——这是一个指示真实误差率可能落入范围的统计区间——而无需承担拆分数据或重新训练模型的沉重计算成本。研究人员的方法将训练数据，连同记录了哪些树忽略了哪些数据点以及这些树预测了什么的记录，视为一个完整的包。通过使用一种被称为“自助法”（bootstrapping）的特定统计技术对这个包进行重复重采样，该方法生成了可能误差率的分布。这使得构建反映模型性能不确定性的置信区间成为可能，而这一切都是利用了最初训练模型的相同数据。

该论文证明了这种方法不仅在计算上是高效的，而且在统计上也是严谨的。通过使用涉及回归任务（目标是预测连续数值）和分类任务（目标是将项目归类为类别）的广泛计算机模拟，研究人员测试了这些新的置信区间实际捕捉到真实误差率的频率。在一个涉及十个输入变量的复杂数学函数的回归示例中，以及一个涉及二十个变量的分类示例中，模拟结果显示这些区间表现得完全符合预期。当研究人员要求 95% 的置信水平时，在数千次模拟试验中，真实误差大约有 95% 的时间落在计算出的范围内。此外，随着训练数据量的增加，这些区间的宽度以可预测的速度缩小，证实了该方法随着数据集的增大而变得更加精确。

为了证明该方法在现实世界问题上的有效性，该研究将这一技术应用于四个不同的数据集。第一个是经典的汽车燃油效率数据集，模型必须根据车辆特征预测每加仑行驶英里数。第二个涉及大规模电子邮件数据集，用于区分合法邮件和垃圾邮件。第三个是爱荷华州埃姆斯市的详细房屋销售记录，用于预测售价；第四个则追踪了电信公司的客户行为，以识别那些可能取消服务的客户。对于每个数据集，研究人员都计算了不同置信水平下的置信区间。例如，对于住房数据，预测误差的 95% 置信区间大约在两万三千美元到两万七千美元之间。对于垃圾邮件检测任务，误差率的区间是一个紧凑的范围，大约在 4.1% 到 5.4% 之间。这些结果表明，该方法可以为多样化的、实际的应用提供具有意义且可解释的误差界限。

这种方法的一个显著优势是其速度和简洁性。因为它依赖于随机森林初始训练过程中已经生成的数据，所以避免了反复拆分数据和重新训练模型的繁琐过程。研究人员在标准笔记本电脑上测试了该程序的运行时间，发现即使对于包含超过四千封电子邮件的最大数据集，生成置信区间的整个过程也仅耗时一秒多一点。这种效率使得该方法适用于日常使用，让数据科学家能够以极小的额外工作量量化其模型的可靠性。这项工作还强调了该方法的一个独特属性：由于它是基于误差本身的分布，因此它可以轻松地将结果转化为问题的自然单位，例如房屋价格的美元或汽车的每加仑行驶英里数，使不确定性易于被非专业人士理解。

论文最后指出，执行这些计算的代码已作为开源库免费提供，允许他人立即应用该技术。通过将标准训练过程中的隐藏副产品转化为稳健的不确定性度量，这项工作为理解模型泛化能力的极限提供了一条直接路径。它证实了通过正确的统计工具，随机森林性能的置信区间可以直接从训练数据中导出，为衡量预测模型在现实世界中表现如何提供了一种可靠且低成本的方式。