Knockoffs-based False Discovery Rate Control and Simplification for Deep Neural Networks

技术摘要：基于 Knockoffs 的深度神经网络错误发现率控制与简化

问题陈述
深度神经网络（DNN）是处理非线性分类问题的强大工具，但由于参数量和输入变量众多，往往面临高计算复杂度的挑战。这些输入中许多可能与目标输出无关，从而导致不必要的计算成本和潜在的过拟合。虽然存在变量选择方法，但在使用 DNN 处理非线性、高维设置时，控制错误发现率（FDR）仍然具有挑战性。现有方法要么缺乏 FDR 控制，要么依赖于可能忽略边际特征贡献的注意力机制，或者涉及复杂的实现过程。此外，需要一种不仅能选择变量，还能简化网络结构以提高效率的方法。

方法论
作者提出了一个将 Knockoffs 方法（Barber 和 Candès, 2015）与 $\ell_1$ 正则化神经网络相结合的框架，旨在同时实现变量筛选、FDR 控制以及网络简化。

1. Knockoff 构建： 为每个原始输入变量 $x_j$ 生成一个 knockoff 变量 $\tilde{x}_j$。这些 knockoff 变量与原始变量具有相同的分布特性和成对相关性，但在条件下与响应变量独立。这为有效的变量选择创建了一个“负对照”。
2. 正则化神经网络： 该模型采用一个具有 $L$ 个隐藏层的 DNN。输入层由 $2p$ 个神经元组成（$p$ 个原始变量和 $p$ 个 knockoff 变量）。网络使用结合了二元交叉熵（对于多分类任务则使用类别交叉熵）与 $\ell_1$ 正则化项的损失函数进行训练。
3. 重要性度量 ($Z_{jd}^{(l)}$)： 该方法的核心在于确定每个权重 $\theta_{jd}^{(l)}$ 所能承受的最大正则化参数 $\lambda$，使得该权重不会变为零。这个值记作 $Z_{jd}^{(l)}$，作为衡量权重重要性的指标。较大的 $Z$ 值表示该权重更为关键。
4. 三种筛选算法：
   • 单层过滤器 (OL)： 基于连接输入变量到第一隐藏层的权重的聚合 $Z$ 值来计算变量重要性。
   • 多层过滤器 (ML)： 通过考虑跨所有层的权重矩阵乘积来聚合重要性，从而有效地捕捉网络的全局结构。
   • 变量权重聚合 (VWA) 过滤器： 这是一种集成方法，通过多次运行（例如 10 次迭代）具有不同随机初始化的 OL 或 ML 过滤器。它使用硬投票法来选择在多次运行中一致出现的变量，从而减少了神经网络训练固有的随机性。
5. FDR 控制： 方法利用原始变量与 knockoff 变量之间的对称性质来构建检验统计量 $W_j$。通过计算数据依赖型阈值 $T$，以确保经验 FDR 低于目标水平 $q$。
6. 网络简化 (减少权重)： 基于筛选过程中获得的 $Z$ 值，剔除低重要性的权重。这一过程也可以删除整个神经元（如果其所有输入或输出权重都被删除），从而有效地简化网络架构。

核心贡献

• 非线性模型的 FDR 控制： 本文将 Knockoffs 的应用扩展到了深度神经网络，提供了一种严谨的方法进行变量选择，能够在传统线性 knockoff 方法失效的非线性设置中实现 FDR 控制。
• 集成的筛选与简化： 提出的框架通过剪枝低重要性的权重和神经元，实现了识别相关特征与简化网络结构的同步进行，解决了特征选择与模型效率的问题。
• 三种截然不同的算法： 引入 OL、ML 和 VWA 过滤器提供了灵活性。VWA 过滤器通过聚合多次运行的结果，专门解决了神经网络训练的不稳定性问题。
• 实证验证： 作者通过广泛的模拟实验和实际应用展示了该方法相对于 DeepLINK、DeepPINK 和标准 Knockoffs 等现有方法的有效性。

结果

• 模拟研究：
  • 所提方法（特别是 VWA 变体）在各种数据分布（正态分布、卡方分布）和网络架构下，实现了接近或低于目标水平（$q=0.1$）的经验 FDR 值，同时保持了高统计功效（检测真实信号的能力）。
  • VWA-OML（聚合了 OL 和 ML）表现出了稳健的性能，通常能在保持高功效的同时实现接近于零的 FDR，在一致性方面优于单层或单次运行方法。
  • 与现有的方法（Knockoffs、DeepLINK、DeepPINK、DFS、DeepLasso）相比，所提 VWA-OML 方法在保持严格 FDR 控制的同时，展现出更优越的功效（在特定的二元分类测试中，其功效为 0.97，而其他方法仅为 0.12–0.30）。
• 网络简化：
  • 应用“减少权重”策略显著降低了训练时间（相比于使用所有变量或 Dropout 正则化），同时保持或略微提高了预测准确性。
  • 在乳腺癌数据集上，该方法成功减少了输入变量的数量并简化了网络结构，且未牺牲预测性能。
• 实际应用（乳腺癌数据集）：
  • 应用于威斯康星诊断乳腺癌数据集（30 个特征，569 个样本），过滤器选择了不同的特征子集。VWA-OML 过滤器选择了 21 个变量，而 OL 和 ML 分别选择了 13 个和 10 个变量。
  • 在这些选定变量上训练的简化模型，与使用所有原始特征的模型相比，展现出了极具竞争力的准确率并降低了计算时间。

意义与主张
论文声称其主要意义在于弥合了严谨统计变量选择（FDR 控制）与深度学习实际需求（处理非线性和模型复杂度）之间的鸿隙。作者断言，其方法在筛选变量和简化网络方面提供了“令人满意的性能”，为可能忽视边际特征贡献的注意力机制或复杂的集成方法提供了一个可行的替代方案。

作者也谦虚地指出，虽然该方法在正态分布和卡方分布下表现良好，但在偏态非高斯分布（如 Gamma 分布）下，经验 FDR 可能会超过目标水平，这表明其控制具有分布依赖性。他们强调，VWA 方法通过减轻神经网络训练的随机性，提高了稳定性和可靠性，使特征选择过程更具解释性和鲁棒性。这项工作被定位为适用于多样化领域（如基因组学、脑成像和粒子物理学）的工具，在这些领域中，高维非线性数据分析至关重要。