技术摘要：用于结构化高维回归的神经自适应收缩（Nash）

1. 问题定义

本文探讨了传统稀疏线性回归方法（如 Lasso、Ridge）在应用于高维数据（$p \gg n$）时的局限性，特别是在协变量表现出结构属性或源自异构源的情况下。经典方法通常对所有协变量施加均匀惩罚，当预测变量具有不同类型（例如不同的遗传模态）或结构关系（例如空间邻近性、图连通性或组 membership）时，这种方法并非最优。

现有试图利用协变量侧信息的方法（如 Group Lasso、Fused Lasso 或 IPF-Lasso）通常存在两个主要缺点：

1. 应用特定刚性：它们依赖于预定义的惩罚结构（例如特定的分组或图拓扑），可能无法捕捉数据中复杂的非线性依赖关系。
2. 计算效率低下：通过经验贝叶斯（EB）整合侧信息的方法通常需要交叉验证来选择超参数，或者在变分推断的情况下变得计算上不可行。具体而言，结合基于神经网络的先验的标准坐标上升变分推断（CAVI）每次迭代需要 $O(p)$ 次神经网络反向传播，这使得它们在 $p$ 较大时（例如 $10^4$ 个预测变量）不切实际。

目标是开发一个统一的框架，能够基于协变量特定的侧信息自动学习惩罚形式和正则化量，而无需交叉验证，同时保持计算可扩展性。

2. 方法论：神经自适应收缩（Nash）

2.1 模型公式

Nash 通过高斯线性模型对响应变量 $y$ 和预测变量 $X$ 进行建模：
$$y | X, \beta, \sigma^2 \sim \mathcal{N}(X\beta, \sigma^2)$$
关键在于，回归系数 $\beta_j$ 的先验不是固定的，而是依赖于与第 $j$ 个协变量相关的侧信息 $d_j$：
$$\beta_j \sim g(d_j, \theta)$$
这里，$g(\cdot, \cdot)$ 是一个灵活函数（由 $\theta$ 参数化），它将侧信息 $d_j$ 映射到先验分布。侧信息 $d_j$ 可以是神经网络可处理的任意数据（例如组指示符、连续索引、图矩阵或图像）。

2.2 分裂变分经验贝叶斯（Split VEB）

核心算法贡献是一种新颖的**分裂变分经验贝叶斯（Split VEB）**方法。直接应用于目标模型的标准 CAVI 将先验学习（更新 $\theta$）与后验推断（更新 $\beta$）耦合在一起。如果 $g$ 通过神经网络依赖侧信息，更新 $\theta$ 需要为每个坐标 $j$ 重新评估后验，导致每次迭代需要 $p$ 次神经网络传递。

为了解耦这些步骤，Nash 引入了一个带有潜在变量 $b_j$ 的增强模型：

1. $\beta_j | b_j \sim \mathcal{N}(b_j, \sigma_0^2)$
2. $b_j \sim g(d_j, \theta)$

这种“高斯瓶颈”允许证据下界（ELBO）被分解为两个解耦的步骤：

• 步骤 1（后验更新）：使用当前先验参数更新变分后验 $q(\beta)$ 和 $q(b)$。此步骤涉及简单的共轭更新（类似 OLS 的计算），不需要神经网络。
• 步骤 2（先验学习）：通过最大化给定当前后验均值 $\bar{\beta}_j$ 的潜在变量 $b_j$ 的边缘似然来更新神经网络参数 $\theta$。这被表述为一个**协变量调节的经验贝叶斯正态均值（cEBNM）**问题。

关键效率提升：由于先验学习步骤（步骤 2）在聚合的充分统计量（$\bar{\beta}_j$）上运行，而不是在单个坐标上运行，神经网络仅通过单次批处理的前向 - 反向传递在每次坐标上升迭代中更新一次。这将 M 步的计算复杂度从 $O(p)$ 次顺序传递降低到 $O(1)$ 次批处理传递，对于 $p \in [10^2, 10^4]$，相比直接 CAVI 实现了 74 倍至 106 倍的速度提升。

2.3 先验的灵活性

该框架支持多种先验族 $g$：

• 混合密度网络（MDN）：输出高斯混合（尖峰 - 平板），其中混合权重、均值和方差是 $d_j$ 的函数。这允许自适应收缩模式（例如，不同组具有不同的稀疏性水平）。
• 图神经网络（GNN）：对于图结构侧信息，Nash 可以学习基于图拓扑鼓励平滑性或稀疏性的惩罚（例如，模仿 Fused Lasso 或将其扩展到复杂图）。
• 通用概率模型：任何边缘似然和后验矩可处理的模型都可以被整合。

3. 主要贡献

1. 首个基于神经网络的惩罚学习：据作者所知，Nash 是第一个线性回归框架，它使用神经网络将回归效应的先验分布参数化为协变量侧信息的任意函数。
2. Split VEB 算法：引入潜在高斯层以解耦先验学习与后验推断。这使得基于神经网络的先验在高维回归中变得可行，将 M 步成本从 $O(p)$ 降低到单次批处理更新。
3. 统一框架：Nash 概括了现有方法（Group Lasso、Fused Lasso、IPF-Lasso），并将它们扩展到处理非线性、数据驱动的惩罚结构，而无需手动指定惩罚形式或进行交叉验证。
4. 模块化：该方法具有模块化；用户只需为其选择的先验族提供 cEBNM 问题的求解器，从而允许整合多样化的机器学习方法（例如 XGBoost、GNN）。

4. 实验结果

4.1 模拟研究

• 基线比较：Nash 与七种方法（Mr.ASH、Elastic Net、Lasso、Ridge、SCAD、MCP、L0Learn）在各种模拟设置（变化的稀疏性、信噪比、维度和相关性）下进行了比较。
• 性能：Nash 在几乎所有设置中与最先进的方法（Mr.ASH）表现相当，并在几个相关预测变量场景中优于它。在具有异构信号特征的设置中，它显著优于经典方法。
• 侧信息实验：在具有已知组和连续索引的合成实验中，带有侧信息的 Nash（Nash-mdn）显著优于没有侧信息的方法（Nash-no-cov）和传统方法（Group Lasso、IPF-Lasso）。
  • 消融实验：用线性映射替换神经网络（Nash-linear）在连续索引设置中降低了性能，证实了复杂结构非线性建模的必要性。
  • 鲁棒性：打乱侧信息（Nash-shuffled）导致性能等同于没有侧信息，证实模型没有过拟合噪声。

4.2 计算效率

• 加速：实验显示，与直接 CAVI 相比，M 步在 $p=100$ 时加速了 74 倍，在 $p=10,000$ 时加速了 106 倍。
• 可扩展性：Nash 的 M 步随 $p$ 近似线性扩展（单次批处理传递），而直接 CAVI 由于顺序处理而呈超线性扩展。在 $p=10,000$ 时，直接 CAVI 每个 M 步需要超过四分钟，使其不切实际，而 Nash 仅需约 2.5 秒。

4.3 真实数据应用

Nash 在四个带有侧信息的数据集上进行了评估：

1. SNP500：使用行业部门作为侧信息预测 AAPL 回报率。
2. Airpassenger：使用时间索引预测乘客数量。
3. GSE40279：使用探针注释从甲基化数据预测年龄。
4. TCGA：使用 KEGG 通路预测 BRCA1 表达。

• 结果：Nash（特别是 Nash-mdn）始终比基线（Mr.ASH、Lasso、Ridge、XGBoost、MLP）和没有侧信息的 Nash 实现了更低的 RMSE。值得注意的是，在 GSE40279 数据集（n=679, p=489,503）中，Nash 实现了最低误差（5.03），优于 Mr.ASH（5.25）和 Ridge（7.21）。

4.4 图像去噪（MNIST）

Nash 被应用于使用由图神经网络（GNN）参数化的“融合”先验对 MNIST 图像进行去噪，以模拟像素邻接关系。

• 性能：Nash-fused 在 RMSE 方面优于经典去噪方法（Fused Lasso、全变分、非局部均值）和 Noise2Self。
• 效率：基于 GNN 的方法比基于 CNN 的 Noise2Self 模型快得多。

5. 意义与主张

本文声称，Nash 提供了一个统一、表达力强且计算高效的高维回归框架，能够利用侧信息。

• 适应性：它通过直接从数据中学习惩罚结构，消除了对交叉验证的需求。
• 通用性：它将各种现有正则化技术（Ridge、Lasso、Group Lasso、Fused Lasso）作为单一概率框架内的特例或近似进行概括。
• 可扩展性：Split VEB 算法使得将复杂的基于神经网络的先验应用于具有数万个预测变量的问题成为可能，而在该范围内，以前的变分方法在计算上是不可行的。

承认的局限性：

• 当前实现仅限于高斯似然。
• 它需要为所选先验族提供可处理的 cEBNM 求解器，这需要边缘对数似然的闭式解或快速近似，而这可能不适用于所有概率模型。