技术摘要：通过相对效率比较模型无关特征选择方法

问题陈述

在模型无关（model-agnostic）的设定下，特征选择和变量重要性估计仍然是统计学和机器学习领域的重要挑战。虽然“黑盒”预测方法（如神经网络、随机森林）日益普及，但传统的嵌入式方法（如 Lasso）依赖于参数化假设。因此，具有模型无关性的包装法（wrapper methods）已成为特征选择的标准。然而，现有文献缺乏对最先进的包装法进行定量理论比较的研究，特别是在统计效率方面。现有文献虽然建立了单个方法的渐近正态性，但并未提供一个统一的框架来比较它们在区分信息特征与噪声方面的性能。

方法论

作者开发了一个基于渐近相对效率（Asymptotic Relative Efficiency, ARE）的通用比较框架。为了解决不同特征重要性估计量可能运行在不同尺度上（即具有不同均值）的问题，本文利用了相对变异性（Relative Variability） $R(T)$，其定义为在备择假设（$H_1$）下，标准差与期望重要性的比值，相对于原假设（$H_0$）的比值。

核心指标是渐近相对效率（ARE），定义为：
$$e_{T_1, T_2} := \lim_{n \to \infty} \frac{\text{Var}(T_2)/E^2[T_2]}{\text{Var}(T_1)/E^2[T_1]}$$
其中 $T_1$ 和 $T_2$ 是两个估计量。若该值大于 1，则表明 $T_1$ 比 $T_2$ 更有效率。

本文重点比较两种主要的模型无关方法：

1. 广义协方差度量（Generalized Covariance Measure, GCM）： 一种基于回归的条件独立性检验，用于测量在给定 $X_{-j}$ 的情况下，$Y$ 的残差与 $X_j$ 残差之间的归一化协方差。
2. 留一协变量法（Leave-One-Covariate-Out, LOCO）： 一种衡量预测准确性变化（具体为负均方误差的减少量）的方法，通过移除特征 $X_j$ 并重新训练模型来实现。

理论比较是在三种特定的模型设定下进行的：

• 线性模型： $Y = X^T\beta + \epsilon$。
• 非线性加性模型： $Y = \sum f_j(X_j) + \epsilon$。
• 单指数模型（Single Index Models）： $Y = \eta(X^T\beta) + \epsilon$，这类模型模拟了单层神经网络。

分析还扩展到了计算高效的近似方法：Dropout（用特征的边缘均值替换特征）和 Lazy-VI（通过线性化的岭回归来近似神经网络的缩减模型）。

核心贡献

1. 理论比较框架： 本文提供了 GCM 与 LOCO 之间首次直接的渐近相对效率比较。作者证明了在适当的正则性条件下，对于线性、加性及单指数模型，GCM 的渐后效率均高于 LOCO。
2. 效率条件： 作者确定了一个特定的“调整后相关性（adjusted correlation）”量，该量决定了效率差距。具体而言，对于非线性加性模型，如果残差化特征 $\tilde{X}_j$ 与残差化函数 $\tilde{f}_j(X_j)$ 之间的相关性足够强，则 GCM 优于 LOCO。论文指出，当函数关系为偶函数且特征分布是对称的（例如 $Y=X^2$ 且 $X \sim N(0,1)$）时，GCM 可能会失效，因为此时协方差为零，尽管两者仍存在依赖关系。
3. 向近似方法的扩展： 研究比较了 LOCO 与计算成本更低的 Dropout 和 Lazy-VI 估计量的渐近方差，并在正则性条件下建立了方差关系。
4. 实证验证： 通过广泛的模拟实验（线性、非线性加性、交互作用及单指数模型）和真实数据分析（Airbnb 定价和社交媒体成瘾数据），利用包括梯度提升机（GBM）、核 SVM 和神经网络在内的多种学习器，验证了理论发现。

结果

理论发现：

• 线性模型： GCM 的效率严格高于 LOCO。效率比取决于信噪比（$\beta_j^2/\sigma^2$）以及残差化特征的方差。
• 非线性加性模型： 只要满足调整后相关性条件（假设 A），GCM 的渐近效率就高于 LOCO。如果相关性为零（例如对称输入下的偶函数），GCM 的效率会降低。
• 单指数模型： 在关于连接函数 $\eta$ 的平滑性和预测变量呈亚高斯（sub-Gaussian）特性的假设下，GCM 展示了优于或等同于 LOCO 的效率。
• 近似方法： 研究表明 LOCO 和 Lazy-VI 的方差在渐近意义上是等价的，且通常低于 Dropout 方法的方差。

实证发现：

• 准确性与稳定性： 在模拟中，特别是在满足理论条件的非线性设定下，GCM 与 LOCO、Dropout 及置换检验（Permutation tests）相比，能够以更低的假发现率（FDR）实现更高的准确率、F1 分数和召回率。
• 鲁棒性： 在模型误设（例如重尾协变量或未建模的交互作用）的情况下，GCM 比 LOCO 更稳定；LOCO 对相关结构和尾部行为更为敏感。
• 真实数据： 在 Airbnb 定价和社交媒体成瘾数据的分析中，与 LOCO 筛选的模型相比，使用 GCM 筛选的模型在采用线性模型、GBM 和神经网络学习器时，始终表现出更低的均方误差（MSE）。此外，GCM 在交叉验证折叠中展示了更高的选择稳定性。
• 计算成本： 论文承认 GCM 的计算强度较高，需要训练 $2p$ 个模型（针对 $p$ 个特征），而 LOCO 需要 $p+1$ 个，Dropout/Lazy-VI 则需要显著更少的模型。尽管存在这一成本，GCM 在统计上的收益在结果中得到了证实。

意义与主张

本文主张，在满足特定相关性量定义的适当正则性条件下，与 LOCO 相关的 GCM 类方法在特征选择的统计效率方面通常表现更好。这种优越性通过渐近相对效率的理论推导以及模拟实验和实际应用中的实证研究得到了证明。

作者强调，虽然 GCM 的计算需求更高，但其提供更准确、更稳定的变量重要性评分的能力，使其成为线性、加性及单指数设定下模型无关特征选择的更佳选择。这项工作通过提供这两个重要包装法之间的直接效率比较，填补了文献中的空白，超越了仅关注单个方法渐近正态性的研究。论文最后指出，未来的工作可以侧重于开发新型的基于 GCM 的检验统计量，以提高计算效率或平衡第二类错误率。