📄 health informatics

Does Data Preprocessing Affect Tree-Based Super Learners? An Investigation of Ensemble Optimization and Oracle Properties in Clinical Classification.

本研究表明，对于由基于树的算法组成的超级学习器（Super Learner）集成而言，数据预处理在大多数临床数据集上对预测性能和神谕行为（oracle behavior）的提升微乎其微，这表明此类预处理并非普遍必要，且应由特定的数据集特征来引导。

原作者： Darko, R., Dwumah, D., Agyapong, K. S., Agyenim-Boateng, Y., Darko Anim, R., Wisdom Jakper, J., Owusu-Ansah, N. K., Owusu-Ansah, R.

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Darko, R., Dwumah, D., Agyapong, K. S., Agyenim-Boateng, Y., Darko Anim, R., Wisdom Jakper, J., Owusu-Ansah, N. K., Owusu-Ansah, R.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

在医学预测领域，医生和研究人员经常求助于计算机，以帮助识别面临心脏病或糖尿病等严重疾病风险的患者。为了做出这些预测，他们使用被称为机器学习算法的复杂数学工具。可以将这些算法想象成不同类型的专家，每种专家都有其观察数据的方式。有些专家擅长发现数据中的直线，而另一些专家则擅长寻找复杂的、蜿蜒的模式。由于没有哪一个专家能完美应对所有情况，科学家们通常将多个专家组合成一个团队。这种被称为“集成”（ensemble）的团队方法，让团队能够汇集各自的长处，从而做出比任何单个成员单独工作时更准确的预测。构建这种团队最先进的方法之一被称为“超级学习器”（Super Learner），它扮演着一位睿智经理的角色，通过观察每个专家在实践中的表现，来决定给予其意见多大的权重。

在这些数字专家开始工作之前，它们接收到的数据通常要经过一个名为“预处理”（preprocessing）的准备阶段。这类似于厨师在烹饪前清洗和切碎蔬菜；它涉及清理数字、调整其规模并进行整理，以便计算机能够轻松读取。对于许多类型的计算机模型来说，这一步至关重要。然而，有一类被称为“基于树的算法”（tree-based algorithms）的特定专家群体，它们的工作方式有所不同。这些模型通过提出一系列“是或否”的问题来进行决策，像树枝一样对数据进行分裂。因为它们依赖于数据的顺序而非数字的具体大小，所以从理论上讲，它们对于其他模型所需的缩放调整具有免疫力。这向研究人员提出了一个实际的问题：如果团队中的专家不需要对数据进行准备，那么进行准备究竟是会有所帮助，还是仅仅在浪费时间？

一组研究人员决定通过让“超级学习器”接受一项使用真实医疗记录的严格测试来回答这个问题。他们收集了三组截然不同的患者数据：一组涉及心脏病，另一组侧重于肝脏患者，第三组则追踪糖尿病。对于每一组数据，他们都建立了一个完全由这些基于树的专家组成的“超级学习器”团队，其中包括决策树、随机森林和梯度提升等方法。然后，他们针对每个数据集运行了两次相同的实验。在第一次运行中，他们将原始的、未经修改的数据直接交给团队。在第二次运行中，他们在团队看到数据之前应用了标准的预处理步骤，例如对数字进行归一化处理。通过对这两次运行结果进行数百次的对比，他们可以观察到额外的准备工作是否真的改变了团队的表现、团队成员如何分担工作量，或者团队“成为最佳预测器”的理论承诺是否依然成立。

结果显示，预处理的影响完全取决于正在分析的具体数据。对于心脏病和糖尿病数据集，额外的准备几乎没有产生任何影响。无论数据是原始的还是经过处理的，团队正确识别患病患者的能力几乎保持一致。团队成员分担责任的方式也基本保持不变，且团队表现与理论上的最佳表现之间的差距依然微小且未发生变化。然而，肝脏疾病数据集的情况略有不同。在这种特定情况下，经过预处理的数据带来了统计学意义上的显著提升。团队变得更擅长区分患有肝脏疾病与未患病患者，其概率估计也变得更加准确。这表明，虽然基于树的模型具有鲁棒性，但如果数据具有某些棘手的特征（例如数值分布的高变异性），它们仍然可以从准备工作中获益。

最令人惊讶的发现涉及团队的内部动态。研究人员曾预期，如果数据发生了变化，经理可能会改变给予不同专家的权重。对于肝脏数据集，权重保持稳定；但对于心脏病数据集，预处理导致了明显的领导权更迭。在数据经过处理之前，一种特定类型的随机森林专家是团队中的主导声音。而在处理数据之后，另一种类型的随机森林专家接管了领导地位。尽管发生了这种内部领导权的重组，最终的预测准确度并没有发生显著变化。这表明“超级学习器”具有足够的灵活性，可以在不损失整体有效性的情况下调整其内部结构。该研究得出结论：对于由这些特定的基于树的专家组成的团队，预处理并非普遍要求。它既不是保证更好结果的魔力步骤，也不是有害的步骤。相反，是否进行预处理，应当根据手头数据的独特性质来决定，而不是将其作为一种常规习惯来应用。

技术摘要：数据预处理是否影响基于树结构的超级学习器（Super Learners）？

问题陈述
医疗保健领域的机器学习工作流经常结合数据预处理（如归一化、标准化）来增强预测性能。然而，对于完全由对预处理不敏感的树类算法（如 CART、随机森林和 XGBoost）组成的超级学习器集成模型，预处理的必要性仍有待探索。虽然单个树类模型在理论上由于依赖递归分割而非数值大小，因此对特征缩放是不敏感的，但目前尚不清楚预处理是否会影响加权集成的内部机制，特别是关于学习器权重分配、先知行为（Oracle behavior）以及整体预测性能方面。现有文献通常将预代码视为一种通用的步骤，而未对其在堆叠集成（Stacked Ensembles）的理论最优性和稳定性方面的具体影响进行研究。

研究方法
本研究采用实验设计，使用了三个基准临床分类数据集：

心脏病数据集（207 个观测值，13 个预测变量）
印度肝病患者数据集 (ILPD)（583 个观测值，10 个预测变量）
皮玛印第安人糖尿病数据集（768 个观测值，8 个预测变量）

实验设置：

条件： 针对每个数据集评估了两种条件：(i) 原始数据（未改变的预测变量）和 (ii) 预处理数据（通过 z-score 标准化对连续预测变量进行处理： $z_i = (x_i - \mu) / \sigma$ ，该计算严格基于训练数据以防止数据泄露）。
超级学习器库： 集成由四个对预处理不敏感的树类学习器组成：
- 分类与回归树 (CART)
- 随机森林 (Random Forest)
- Ranger 随机森林 (Ranger Random Forest)
- 极端梯度提升 (XGBoost)
优化： 超级学习器使用非负最小二乘法 (NNLS)，通过重复 10 折交叉验证（100 轮重采样）来确定凸权重 ( $\alpha_k$ )。
评估指标：
- 预测性能： AUC（曲线下面积）、MCC（马修斯相关系数）和 Brier 分数。
- 内部稳定性： 学习器权重分布和排名变化。
- 先知属性： 先知差距（Oracle Gap，即超级学习器风险与表现最佳的候选学习器风险之间的差异）和主导先知学习器频率。
统计分析： 使用经 Benjamini–Hochberg 校正的配对 Wilcoxon 符号秩检验来比较原始条件与预处理条件。

关键结果

预测性能：
- 心脏病与皮玛数据集： 预处理带来的变化微乎其微。AUC、MCC 和 Brier 分数在原始条件与预处理条件之间均未显示出统计学上的显著差异。
- ILPD 数据集： 预处理产生了显著的改进。AUC 从 0.746 提高到 0.752 ( $p=0.0017$ )，Brier 分数从 0.177 下降到 0.175 ( $p<0.001$ )。
学习器权重分配：
- ILPD 与皮玛数据集： 学习器权重保持基本稳定；随机森林始终占据主导地位，其次是 Ranger。
- 心脏病数据集： 预处理导致了显著的权重重新分配。随机森林取代了 Ranger 成为主导学习器（权重从 0.223 增加到 0.362； $p=0.006$ ），而 Ranger 的权重相应减少（从 0.438 降至 0.286）。尽管发生了这种内部转变，但整体预测性能并未改变。
先知行为：
- 先知差距在所有数据集和条件下都极小（<0.002），表明超级学习器始终能够逼近最优凸组合。
- 原始条件与预处理条件之间的先知差距不存在统计学上的显著差异。
- 在心脏病和 ILPD 数据集中，“主导先知学习器”的身份在预处理后从 Ranger 转向了随机森林，但先知差距的幅度保持稳定。

主要贡献

不变性的实证验证： 本研究提供了实证证据，表明对于完全由树类算法组成的超级学习器，预处理对预测准确性的提升作用有限，这支持了递归分割具有缩放不变性的理论前提。
内部机制分析： 不同于以往仅关注准确性的研究，本研究量化了预处理如何影响集成模型的内部构成。它证明了预处理可以改变学习器权重分布和先知选择模式（例如，将主导地位从 Ranger 转移到随机森林），而不会实质性地改变最终的预测性能或集成向先知行为的收敛。
数据集特异性细微差别： 研究结果强调，预处理的影响并非普遍存在，而是取决于特定的数据集特征，正如在 ILPD 数据集中观察到的显著增益所证明的那样。

意义与主张
本文声称，对于由对预处理不敏感的学习器构建的超级学习器集成，不应将预处理作为一种通用的建模实践。相反，是否进行预处理的决策应由特定的数据集特征来引导。

作者断言：

效率： 消除不必要的预处理步骤可以简化建模流程，减轻计算负担，并在不损害预测准确性或超级学习器理论先知属性的情况下提高可重复性。
理论稳定性： 超级学习器渐近收敛于学习器最优凸组合的能力（即先知属性）对预处理具有鲁棒性，即使表现最佳的组成学习器的具体身份发生了变化也是如此。
上下文应用： 虽然预处理在特定背景下（如 ILPD 数据集）可能会带来边际收益，但它并不会从根本上改变树类集成的理论行为。

研究结论指出，未来的研究应探索异构库（混合敏感型和不敏感型学习器）以及更复杂的数据场景（高维、生存结局）以进一步推广这些发现。

技术摘要：数据预处理是否影响基于树结构的超级学习器（Super Learners）？

类似论文