技术摘要：修正随机森林中的变量重要性评分

问题陈述

随机森林（Random Forests, RF）被广泛认为是统计数据分析和机器学习的强大工具，在分类和回归任务中表现出稳健的性能。随机森林的一个关键特性是其输出变量重要性评分的能力，这对于模型解释、特征选择和诊断至关重要。然而，随机森林中变量重要性的标准计算方法——特别是置换准确率法（permutation accuracy method）——存在一个关键局限性：它未能考虑变量之间的相关性。

当一个变量 $U$ 在给定响应变量 $Y$ 的条件下与其它变量（$V_1, V_2, \dots$）高度相关时，$U$ 的重要性往往会被低估或完全掩盖。在标准的置换方法中，通过打乱 $U$ 的数值会破坏其与 $Y$ 的关联。然而，如果 $V_1, V_2, \dots$ 仍然保留在模型中且与 $U$ 高度相关，它们可以有效地“填补”缺失的信息，从而导致预测准确率的下降微乎其微。因此，计算出的 $U$ 的重要性会人为地偏低，尽管 $U$ 是一个真实的预测因子。这种现象导致了计算出的重要性与变量实际预测效用之间的显著差异。

方法论

为了解决由相关变量引起的掩盖效应，作者提出了一个框架，该框架在计算重要性之前，先根据变量的条件相关性（给定响应变量 $Y$ 时的相关性）对变量进行分组。其核心思想是在评估特定目标变量的重要性时，移除相关变量的影响。

论文将条件相关系数 $\rho(U, V | Y)$ 定义为条件协方差与条件标准差乘积的比值。利用这一指标，作者探索了两种不同的算法路径：

方法 1：个体变量修正 (corrVI-Individual)

该方法基于单个变量进行操作：

1. 对于目标变量 $V_i$，算法识别出与 $V_i$ 条件相关的变量集合 $V_{cor}$。
2. 它构建一个缩减后的数据集，其中包含除 $V_{cor}$ 之外的所有变量（记作 $V_{nc}$）。
3. 在集合 $V_{nc}$ 上计算随机森林的预测准确率，然后在集合 $V_{nc} \cup \{V_i\}$ 上进行计算。
4. $V_i$ 的重要性被定义为将 $V_i$ 添加到非相关变量集合后预测准确率的增量。
5. 通过移除所有相关变量，该方法确保准确率的提升仅归功于 $V_i$，从而防止了掩盖效应。

注： 作者承认，该方法移除的信息可能比严格需要的“更多”（因为 $V_{cor}$ 可能包含超出 $V_i$ 本身的信息），这可能导致重要性的轻微高估。然而，他们认为如果剩余变量能提供足够的预测区分度，这种高估是可以忽略不计的。

方法 2：谱聚类修正 (corrVI-Spectral)

该方法根据成对的条件相关性将整个变量集划分为不相交的子组：

1. 计算所有变量之间的成对条件相关矩阵。
2. 将该矩阵视为相似度矩阵，并应用**谱聚类（spectral clustering）**将变量划分为不相交的组（$G_1, \dots, G_K$），其中同一组内的变量高度相关，而不同组间的变量相关性较弱。
3. 对于属于组 $G_i$ 的变量 $V$，算法从数据集中移除整个组 $G_i$。
4. 当将 $V$ 添加回变量集 $V_{nc} = \text{所有变量} \setminus G_i$ 时，计算其预测准确率的增量。
5. 由于 $V_{nc}$ 中的任何变量都与 $V$ 不存在条件相关性，因此重要性得分不会被掩盖。

变量移除 vs. 置换：
作者明确选择在计算重要性时移除相关变量，而不是置换它们。他们证明，由于随机森林内置的变量选择机制，移除单个变量与置换单个变量会产生相似的结果；但同时置换多个变量会比简单的移除更严重地降低预测准确率。这是因为置换多个噪声变量会增加噪声变量被选为分裂点的概率，从而人为地夸大了准确率的下降。因此，移除被认为是修正多变量相关性更稳定的方法。

核心贡献

1. 识别掩盖问题： 论文正式强调了随机森林中条件相关性如何导致变量重要性被低估，这是一个在标准实现中经常被忽视的问题。
2. 条件相关性框架： 作者引入了使用条件相关性（给定 $Y$）作为分组指标，而非无条件相关性。
3. 两种修正算法： 提出了两种计算高效的方法：
   • 方法 1： 一种灵活的、基于个体的处理方式，为每个目标变量移除特定的相关变量。
   • 方法 2： 一种基于聚类的处理方式，利用谱聚类来全局处理变量组。
4. 实证验证： 这些方法在来自 UCI 机器学习库的八个真实世界数据集上进行了测试，证明了这些修正方法比标准 RF 重要性得分更符合领域知识。

实验结果

作者在包括 Seeds、Indian Liver Patient、Heart Disease、Wine、Maternal Health、Obesity 和 Bank Marketing 在内的数据集上评估了两种方法。

• Seeds 数据集： 原始 RF 给 “Compactness” ($V_3$) 分配了接近零的重要性，并给 “Area” ($V_1$) 和 “Perimeter” ($V_2$) 分配了较低的重要性。两种修正方法都显著提高了 $V_1$ 和 $V_2$ 的重要性。方法 1 正确地识别出 $V_3$ 具有非零的重要性（因为它包含独特信息），而方法 2（由于聚类限制）则略微低估了它。
• Indian Liver Patient 数据集： 诸如碱性磷酸酶 ($V_5$) 和总蛋白 ($V_8$) 等变量被标准 RF 分配了接近零的重要性。方法 1 正确地将这些变量的重要性向上调整，反映了它们的医学意义。方法 2 未能有效调整 $V_5$，原因是聚类算法未能完全捕捉其与其他变量的相关性，从而掩盖了其重要性。
• Heart Disease 数据集： 年龄 ($V_1$)、性别 ($V_2$) 和静息血压 ($V_4$) 等关键变量在标准 RF 中排名显著偏低。两种方法都修正了这些得分。然而，由于聚类边界的存在，方法 2 在调整 $V_4$ 和 $V_{11}$（ST 段斜率）方面不如方法 1 有效。
• Obesity 和 Bank Marketing 数据集： 观察到了类似的趋势，即领域关键变量（如体重过重家族史、既往接触史）在 RF 中排名较低，但通过所提方法得到了修正。总体而言，在变量形成复杂的关联结构且谱聚类无法完美划分的情况下，方法 1 表现出更强的灵活性和准确性。

通常情况下，方法 1 在修正重要性得分方面展现了更高的灵活性和准确性，特别是在变量形成复杂的相关结构且谱聚类无法完美划分的情况下。

意义与主张

论文声称其方法为随机森林产生的变量重要性得分提供了“合理的修正”。其意义在于：

• 提高可解释性： 通过减轻掩盖效应，修正后的得分能更好地反映变量真实的预测贡献，有助于模型解释和特征选择。
• 符合领域知识： 与标准 RF 得分相比，修正后的重要性得分更符合已建立的领域知识（例如肝脏和心脏数据集中的医学指标）。
• 广泛的适用性： 虽然研究动机源于 RF，但作者指出，通过移除相关变量来评估重要性的方法也适用于通用的预测方法。

作者保持了谦逊的语气，承认方法 1 可能会因为移除过多信息而导致重要性被轻微高估，且方法 2 的表现取决于谱聚类的质量。他们并未声称解决了所有问题，而是提供了一种实用的、计算高效的机制来应对特定由相关性导致的掩盖问题。