Proximal Projection for Doubly Sparse Regularized Models

技术摘要：用于双重稀疏正则化模型的近端投影

问题陈述
在高维回归场景中，当预测变量数量（$p$）超过样本量（$n$）时，标准普通最小二乘法（OLS）因奇异性及多重共线性而失效。尽管 LASSO（$l_1$ 惩罚）和 Ridge（$l_2$ 惩罚）等正则化方法能够解决稀疏性和稳定性问题，但它们往往忽略了预测变量之间潜在的结构关系。当预测变量可由高斯图模型表示时，利用这种结构可提升估计效果。

现有方法，如结合图结构的稀疏回归（SRIG）及其双重稀疏扩展（DSRIG），将系数向量 $\beta$ 分解为对应于节点贡献的潜变量，并对这些潜变量施加正则化。然而，DSRIG 模型实现了“双重稀疏性”（组间稀疏性和组内稀疏性），却依赖预测变量复制来处理重叠组。这种方法在处理高维数据或稠密图时计算成本过高，因为它显著增加了优化问题的维度。此外，DSRIG 需要调节两个参数（$\lambda$ 和 $\xi$）以平衡组间和组内稀疏性，这增加了寻找最优解的复杂性。

方法论
作者提出了**结合图结构的稀疏重叠组 LASSO（SGLIG）**模型。该模型对 DSRIG 框架进行了重参数化，在保留双重稀疏性的同时，降低了计算复杂度和所需调节参数的数量。

1. 模型构建：
   SGLIG 模型最小化以下目标函数：
   $$\min_{\beta, V^{(1)}, \dots, V^{(p)}} \frac{1}{2n}\|Y - X\beta\|_2^2 + \lambda^* \sum_{i=1}^p \left( \alpha \tau_i \|V^{(i)}\|_2 + (1-\alpha) \frac{1}{\sqrt{d_i}} \|V^{(i)}\|_1 \right)$$
   其中 $\beta = \sum V^{(i)}$，$V^{(i)}$ 代表预测变量 $i$ 的贡献，$d_i$ 是邻域度，$\alpha \in [0, 1]$ 控制 $l_2$（组）与 $l_1$（组内）惩罚之间的权衡。与 DSRIG 不同，SGLIG 仅使用单个调节参数 $\alpha$（$\lambda^*$ 基于 $\lambda_{max}$ 固定为常数），从而简化了优化网格搜索。

2. 双重投影近端算法：
   为了优化 SGLIG 目标函数，作者开发了一种基于 FISTA（快速迭代收缩阈值算法）的双重投影近端算法。

   • 活跃组策略： 算法基于当前梯度步识别活跃组集合 $\hat{G}_m$。
   • 投影到交集： 算法不复制预测变量，而是通过将凸集（由 $l_2$ 和 $l_\infty$ 范数球定义）的交集进行投影来计算近端算子。
   • 两阶段投影： 投影按顺序计算：首先应用软阈值处理组内稀疏性（$l_1$/$l_\infty$），随后应用组软阈值处理组间稀疏性（$l_2$）。该实现采用序列组合（POCS）而非平行 Dykstra 类算法，作者认为这对其活跃组策略更为高效。

3. 理论性质：
   本文在最优分解、限制强凸性（RSC）假设以及权重 $\tau_i$ 和节点度特定界限的条件下，推导了 SGLIG 估计量的有限样本误差界。此外，作者证明了当 $n \to \infty$ 且 $p$ 固定时估计量的渐近正态性，表明尽管增加了 $l_1$ 惩罚，其仍与 SRIG 模型保持一致。

主要贡献

• 算法创新： 开发了一种新颖的双重投影近端算法，避免了预测变量复制。该方法通过迭代计算凸集交集的投影，为高维和稠密图结构节省了计算资源。
• 模型效率： SGLIG 模型仅通过一个调节参数（$\alpha$）即可实现双重稀疏性，相较于双参数的 DSRIG，降低了超参数选择的计算负担。
• 理论保证： 推导了 SGLIG 估计量的有限样本误差界并证明了其渐近正态性，在标准假设下确立了其统计有效性。
• 实证验证： 在包含五种不同图结构（两类、二分、随机、分块、带状）的模拟数据以及两个真实世界数据集（血脑屏障和阿尔茨海默病神经影像计划）上进行了全面评估。

结果

• 模拟研究：

  • 准确性： DSRIG 模型通常实现了最低的均方误差（MSE）和 $l_2$ 距离。然而，SGLIG 模型表现具有竞争力，其准确性常与 DSRIG 非常接近，同时显著优于单一稀疏的 SRIG 模型。
  • 效率： 与 DSRIG 相比，SGLIG 模型的计算时间大幅减少。在高维场景下（例如 800 个预测变量），DSRIG 需要超过 2,900 秒，而 SGLIG 仅需约 60 秒，SRIG 需 40 秒。SGLIG 有效地弥合了 SRIG 的速度与 DSRIG 的准确性之间的差距。
  • 图敏感性： SGLIG 在各种图拓扑结构中表现稳健，但“带状”图除外，由于线性连接结构，组内稀疏性在该结构中收益较小。

• 真实世界数据：

  • 在血脑屏障数据集上，SGLIG 在三种模型中实现了最低的 MSE，同时保持了与 SRIG 相当且显著低于 DSRIG 的计算时间。
  • 变量选择分析显示，SGLIG 和 DSRIG（均为双重稀疏）选择了与粒子电荷相关的变量，而 SRIG 更侧重于表面积度量，这表明双重稀疏性捕捉到了不同的结构细微差别。

意义与主张
本文主张，SGLIG 模型为具有图结构的高维回归提供了一种实用的折衷方案。通过用新颖的近端投影技术替代预测变量复制，作者断言其方法在不牺牲双重稀疏性优势的前提下节省了计算资源。结果表明，SGLIG 相对于其他单一或双重稀疏的图回归模型表现出稳定的性能，使其成为 DSRIG 计算不可行场景下的可行替代方案。作者强调，其实现对于具有稠密预测变量图的高维数据尤为有利。