🤖 machine learning

Extending Explainable Ensemble Trees (E2Tree) to regression contexts

本文通过利用差异度度量以图形化方式同时展示预测变量与响应变量之间的关系以及预测变量之间的关联，将原本专为分类任务设计的可解释集成树（E2Tree）方法扩展至回归场景，从而增强了随机森林模型的透明度。

原作者： Massimo Aria, Agostino Gnasso, Carmela Iorio, Marjolein Fokkema

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Massimo Aria, Agostino Gnasso, Carmela Iorio, Marjolein Fokkema

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一支超级聪明的侦探团队（即随机森林）正在合作破解一个谜团。每位侦探观察一小块证据并做出猜测。当他们全部投票时，他们的综合猜测极其准确。然而，由于侦探人数众多且彼此交头接耳，你无法确切地知道他们是如何得出最终结论的。这个团队是一个“黑箱”——你得到了答案，却看不到背后的逻辑。

本文介绍了一种名为E2Tree（可解释集成树）的新工具，它就像一个翻译官。它将侦探团队混乱、复杂的决策整理成单一、清晰、易于阅读的流程图。

以下是本文内容的分解，使用了简单的类比：

1. 问题：“黑箱”

在机器学习领域，像随机森林这样的工具在预测事物方面表现出色（例如预测汽车价格或植物生长速度）。但它们就像一团巨大的乱毛线。你可以拉动线头得到结果，却无法看清内部的图案。

目标：作者希望在不削弱线结强度的情况下解开那团乱毛线。他们希望保留随机森林的高准确率，同时将其转化为人类可以理解的形式——一棵简单的决策树。

2. 解决方案：E2Tree

作者此前已为“分类”任务（将事物归入类别，如“猫”与“狗”）创建了 E2Tree。在本文中，他们教会了 E2Tree 如何处理回归任务。

回归类比：分类是将事物放入不同的盒子，而回归则是预测一个具体的数值，例如汽车的精确速度或房屋的价格。
魔法技巧：E2Tree 并非一次只看一个变量。它观察变量之间如何“共舞”。它使用一种特殊的数学技巧，称为相异度矩阵。
- 想象一张座位表：假设房间里坐满了人。随机森林已经将相似的人分组安排在不同的桌子旁。E2Tree 观察在侦探们形成的所有不同分组中，两个特定的人有多少次坐在同一张桌子旁。如果他们经常坐在一起，他们就是“相似”的；如果他们很少坐在一起，他们就是“不同”的。

3. 工作原理（食谱）

本文描述了一个构建这种新清晰树的逐步过程：

测量相似性：计算数据点对（如两辆特定的汽车或两朵特定的花）在随机森林内部最终落入同一“组”的频率。
检查“拟合度”：检查组是否合理。在预测数值（回归）的世界里，它会问：“这个组里的数值彼此接近吗？”如果数值杂乱无章，那么这个组就没什么用处。
构建树：它开始分割数据，就像正常的树一样，但它利用这些相似性得分来决定在哪里切割。
停止规则：它知道何时停止分割。如果组内已经非常相似，或者进一步分割不会改变结果（例如，在尝试进一步分离两组人之前，先检查这两组人的平均身高是否相同），它就会停止。

4. 证明：两个实例

作者在两个真实世界的数据集上测试了他们的新“翻译官”，以证明其有效性：

花朵测试（鸢尾花数据集）：
- 他们试图根据花朵的其他测量值来预测花瓣的长度。
- 结果：E2Tree 成功重现了随机森林的复杂逻辑。它展示了一条清晰的路径：“如果花瓣宽度较小且物种是 X，那么花瓣长度就是 Y。”
- 验证：他们比较了随机森林生成的“地图”与 E2Tree 生成的“地图”。两者相似度达到 90%，证明翻译官没有丢失原始含义。
汽车测试（汽车 MPG 数据集）：
- 他们试图根据汽车的重量、发动机尺寸和年份来预测每加仑行驶的英里数（MPG）。
- 结果：E2Tree 创建了一张可视化地图，精确展示了“重量大”或“发动机大”等因素如何降低燃油效率。它清晰地展示了“如果 - 那么”规则（例如，“如果汽车重且旧，那么它的 MPG 就低”）。
- 验证：即使面对更复杂的数据（更多的汽车特征），E2Tree 生成的地图在约 75% 的情况下与随机森林的逻辑相符。

5. 为什么这很重要

本文声称 E2Tree 是一个强大的工具，因为：

它是透明的：它将令人困惑的“黑箱”转化为清晰的流程图。
它是准确的：它保留了原始随机森林的高预测能力。
它展示了关系：它不仅仅说“重量很重要”。它还展示了重量如何与其他因素（如发动机尺寸）相互作用以产生最终结果。

简而言之：作者搭建了一座桥梁，连接了超级聪明但令人困惑的“随机森林”与人类对清晰、逻辑解释的需求。他们证明了这座桥梁不仅适用于将事物分类，也适用于预测具体数值。

技术摘要：将可解释集成树（E2Tree）扩展至回归场景

问题陈述

集成方法，特别是随机森林（RF），通过聚合弱学习器提供高预测精度，从而彻底改变了监督学习。然而，这些模型如同“黑盒”，缺乏关于其如何处理输入值以生成预测的透明度。这种不透明性阻碍了用户的理解与信任，尤其在医学和金融等关键领域。尽管现有的可解释性方法层出不穷——从内在可解释的模型（如决策树）到事后解释工具（如变量重要性、Shapley 值）——但它们往往难以在模型精度与阐明特征间复杂非线性交互的能力之间取得平衡。

本文针对的具体挑战是将可解释集成树（E2Tree）方法论进行扩展。该方法最初由 Aria 等人（2024）针对分类任务提出，E2Tree 提供了一种图形化的树状表示来描述随机森林模型，既考虑了预测变量的效应，也考虑了预测变量之间的关联。作者指出，虽然 E2Tree 成功解释了分类随机森林，但针对回归场景（连续输出模型）的相应方法论尚属空白。

方法论

本文提出了将 E2Tree 框架扩展以处理回归问题的方案。核心目标是推导出一个单一的、可解释的树状结构，以忠实反映训练有素的随机森林回归模型的决策逻辑。

1. 不相似性矩阵构建

该方法始于定义一个源自随机森林模型的不相似性矩阵 $D$ 。设 $H = \{H_1, \dots, H_B\}$ 为在样本量 $n$ 上训练的 $B$ 个弱学习器组成的随机森林。对于任意两个观测值 $u_i$ 和 $u_j$ ，不相似性 $d_{ij}$ 定义为 $1 - O_{ij}$ ，其中 $O_{ij}$ 是一个加权共现度量。

$O_{ij}$ 量化了一对观测值在树序列中落入同一节点的频率，该频率由树 $b$ 中节点 $t$ 的局部拟合优度度量 $W(t)_{ij|b}$ 进行加权：
$O_{ij} = \frac{\sum_{b=1}^{B} I(u_i \land u_j) \cdot W(t)_{ij|b}}{\max(\sum_{b} u_i W(t)_{i|b}; \sum_{b} u_j W(t)_{j|b})}$

2. 回归特定的拟合优度

本文的一个关键贡献是调整了局部拟合优度度量 $W(t)_{ij|b}$ 以适应回归场景。在分类语境中，该度量基于纯度；而在回归中，作者提出使用归一化均方误差（NMSE）：
$NMSE(t)_{ij|b} = \frac{MSE(t)_{ij|b}}{MSE_{max} \cdot p(t)}$
其中：

$MSE(t)_{ij|b}$ 是节点 $t$ 处的均方误差。
$p(t)$ 是节点 $t$ 中观测值的比例。
$MSE_{max}$ 是理论最大均方误差，根据节点内响应变量 $Y$ 的范围计算得出（遵循 Jacobson, 1969）： $MSE_{max} = \frac{(\max(Y|b) - \min(Y|b))^2}{9}$ 。

局部拟合度量随后定义为：
$W(t)_{ij|b} = \begin{cases} 0 & \text{if } 1 - NMSE(t)_{ij|b} \le 0 \\ 1 - NMSE(t)_{ij|b} & \text{otherwise} \end{cases}$

3. 树构建与停止规则

该算法基于不相似性矩阵 $D$ 递归地分割数据以构建 E2Tree。为了防止过拟合并确保生成的树简洁，作者在标准随机森林分割之外引入了特定的停止标准：

NMSE 阈值（ $\gamma$ ）： 如果计算出的 $NMSE(t)_{ij|b}$ 低于指定阈值 $\gamma$ （实验中设定为 0.05），则该节点成为终端节点。
分布等价性： 对于每个潜在的分割，执行 Mann-Whitney 检验以验证子节点中预测值的分布是否相同。如果分布没有显著差异，则拒绝该分割，并将父节点视为终端节点。

主要贡献

方法论扩展： 主要贡献是将 E2Tree 从分类正式扩展至回归。这涉及重新定义局部拟合优度指标，使其利用 NMSE 而非分类纯度。
统一表示： 该方法提供了一种单一的树状结构，能够捕捉随机森林的全局逻辑，包括预测变量间的复杂交互，同时保持原始集成模型的预测精度。
双重解释能力： 生成的 E2Tree 同时提供全局解释（模型遵循的模式和规则）和局部解释（特定实例的详细逻辑），弥合了黑盒性能与人类可解释性之间的差距。
开源实现： 作者提供了 R 包（e2tree）及代码可用性，促进了该方法的可复现性和进一步应用。

实验结果

作者使用 UCI 机器学习库中的两个数据集验证了所提出的方法：Iris 数据集（调整为对花瓣长度进行回归）和Auto MPG 数据集（预测燃油效率）。

Iris 数据集： E2Tree 成功重构了随机森林共现矩阵的结构。比较原始随机森林矩阵（ $O_{ij}$ ）与 E2Tree 估计矩阵（ $\hat{O}_{ij}$ ）的层次聚类分析产生了约 90% 的 Fowlkes-Mallows 指数（FMI），表明聚类结构具有高度相似性。
Auto MPG 数据集： 尽管该数据集规模较大且存在非线性关系，E2Tree 仍有效地可视化了决策路径。 $O_{ij}$ 和 $\hat{O}_{ij}$ 热图比较得出的 FMI 约为 75%。
可解释性： 在这两种情况下，E2Tree 都提供了清晰的“如果 - 那么”路径。对于 Auto MPG 数据，该树可视化了排量、重量和马力对 MPG 的负面影响，以及车型年份和产地的正面影响，提供了从标准拟合随机森林模型中无法直接获得的见解。

意义与主张

本文主张，E2Tree 通过提供可理解的决策过程而不牺牲集成模型的精度，确保机器学习模型仍然是“赋能工具”。作者强调，他们的方法：

通过单一、连贯的树结构解释集成过程。
保持底层随机森林的精度性能。
提供了一个强大的工具，用于解释决定最终节点预测的预测变量之间的交互。

作者得出结论，这一扩展解决了分类和回归语境中的可解释性与解释性问题。他们指出，未来的工作旨在将该方法推广到其他集成树方法论，并开发进一步的指标以评估 E2Tree 结果与原始集成输出之间的一致性。本文并不主张取代黑盒模型，而是提供一种透明的、事后的解释层，以保留模型的效用。