技术摘要：基于广义 Stein 引理的充分降维

1. 问题陈述

本文解决了在多变量响应（$y \in \mathbb{R}^q, q > 1$）背景下的充分降维 (SDR) 挑战，特别是在样本量有限且信噪比较低的情况下。目标是识别中心子空间 (Central Subspace, CS)，即能够捕捉给定 $x$ 时 $y$ 的全条件分布的最小预测变量 $x \in \mathbb{R}^p$ 子空间。

现有方法面临显著局限性：

• 逆回归法 (如 SIR, MSIR)： 依赖于强分布假设（线性条件），并且需要对 $p \times p$ 协方差矩阵求逆，当 $n \ll p$ 时该过程极不稳定。多响应扩展版本存在严重的切片稀疏问题。
• 前向回归法 (如 MAVE, csOPG)： 依赖于计算密集型的非参数平滑。在多响应设置下，计算成本随 $q$ 增加，且缺乏针对多变量响应的理论证明。
• 深度学习方法： 需要大量的标记数据才能实现稳定的估计，这使其不适用于标签匮乏的情景。

本文旨在提供一个统一的框架来估计 CS（在假设的模型下，CS 与中心均值子空间一致），该框架不依赖于线性条件、矩阵求逆或迭代平滑，同时能够利用无标签数据来提高稳定性。

2. 方法论

2.1. 理论基础：广义 Stein 引理

所提方法构建于广义 Stein 引理之上。假设采用多响应多指数模型：
$$y = F(B^\top x) + \epsilon, \quad \epsilon \perp\!\!\!\perp x$$
其中 $B \in \mathbb{R}^{p \times r}$ 是降维矩阵（$r \ll p$），$F$ 是未知的光滑连接函数。

该引理建立了多元响应 $y$ 与预测变量的边缘得分函数 $s(x) = -\nabla_x \ln p(x)$ 之间的关系：
$$E\{y s(x)^\top\} = B E\{\nabla_z F(B^\top x)\}$$
令 $M = E\{y s(x)^\top\}$。矩阵 $M$ 可以分解为 $M = B M_1$，其中 $M_1$ 包含连接函数梯度的期望。至关重要的是，如果响应分量具有足够的差异性，使得 $M_1$ 具有满行秩 $r$，则可以通过 $M$ 的奇异值分解 (SVD) 恢复 $B$ 的列空间（即 CS）。

这种方法具有以下优势：

• 它避免了逆回归法所需的线性条件。
• 它避免了矩阵求逆和迭代平滑。
• 它利用了一阶 Stein 恒等式，在满足多响应多样性条件的前提下，比单响应设置中常用的二阶方法更高效。

2.2. 估计框架

由于真实的得分函数 $s(x)$ 是未知的，本方法采用插件估计器（plug-in estimator）：
$$\hat{M}_n = \frac{1}{n_\ell} \sum_{i=1}^{n_\ell} \hat{s}(x_i) y_i^\top$$
其中 $\hat{s}(\cdot)$ 是在数据上训练的得分估计器，$n_\ell$ 是有标签样本的数量。CS 通过 $\hat{M}_n$ 的前 $r$ 个左奇异向量进行估计。

本文探讨了两类得分估计器：

1. Tikhonov 正则化估计器 (TRE)： 在再生核希尔伯特空间 (RKHS) 内使用无旋 (curl-free) 的反逆多二次 (IMQ) 核。这提供了强大的结构先验和关于逐点误差界的理论保证。
2. 深度神经网络 (DNN)： 是一种高度参数化的估计器，能够捕捉复杂的非线性，但需要大量的数据集。

2.3. 半监督配置

该框架明确处理了有限有标签数据 ($T_\ell$) 与丰富无标签数据 ($T_u$) 共存的情景。根据得分估计器 $\hat{s}$ 的训练方式，提出了三种配置：

• $S_{split}$： 仅在 $T_u$ 上训练 $\hat{s}$；在 $T_\ell$ 上计算矩。确保了估计器与评估点之间的独立性。
• $S_{sup}$： 仅在 $T_\ell$ 上训练 $\hat{s}$。
• $S_{full}$： 在 $T_\ell \cup T_u$ 上训练 $\hat{s}$。

理论分析表明，对于 TRE，所有配置都是可处理的，且 $S_{sup}$ 和 $S_{full}$ 具有竞争力的表现。对于 DNN，目前只有 $S_{split}$ 具有严格的理论保证，尽管实证比较包含了耦合配置。

2.4. 秩选择

提出了一种实用的算法，用于在没有先验知识的情况下估计 CS 的维度 $r$：

• 重尾协变量： 对 $\hat{M}_n$ 的奇异值使用能量准则（累积方差比例）。
• 轻尾协变量： 使用置换检验 (permutation test) 来建立奇异值的零分布，将观测值与置换谱的 $\alpha$-分位数进行比较。

3. 核心贡献

1. 新型 SDR 框架： 引入了一种基于广义 Stein 引理的方法，通过构建响应与得分函数之间的交叉矩矩阵，利用 SVD 恢复 CS，无需线性假设或矩阵求逆。
2. 一阶多响应策略： 证明了多元响应的多样性允许使用一阶 Stein 恒等式，从而规避了收敛较慢的二阶方法。
3. 半监督适配： 提出了一个灵活的框架，利用无标签数据进行得分估计，显著提高了在标签匮乏情景下的稳定性。
4. 理论保证： 为数据拆分配置建立了有限样本误差界，并为耦合的 TRE 配置建立了渐近收敛速率。证明了在正则性条件下，通过硬阈值处理奇异值可以一致地恢复真实秩。
5. 自适应秩选择： 开发了一种实用的数据驱动秩选择算法，能够根据协变量分布的尾部行为进行自适应调整。

4. 结果

4.1. 模拟研究

在 $p=100, q=10$ 以及四种协变量分布（各向同性高斯、AR(1) 高斯、对数正态、Exp-trans AR(1)）下，在不同有标签样本量（$n_\ell \in \{50, 100, 300, 500\}$）的情况下进行了广泛的模拟。

• 性能： 所提方法（特别是 $S_{sup}^{TRE}$ 和 $S_{full}^{TRE}$）在所有设置中均一致优于现有基准方法（SIR, csOPG, KSIR, MLP），尤其是在低信噪比和小样本量场景下。
• 鲁棒性： 与 DNN 相比，基于 TRE 的方法在重尾分布下表现出更优的稳定性。
• 秩选择： 与使用交叉验证或能量准则的竞争对手相比，所提的秩选择程序在估计 $r$ 的绝对误差方面显著降低，尤其是在传统方法失效的重尾设置中（例如 SIR 选择了最大秩）。

4.2. 实际数据应用

将该方法应用于 M1 Patch-seq 数据集（$n=1213$ 个神经元，$p=1000$ 个基因，$q=16$ 个电生理特性）。

• 预测性能： 基于 TRE 的方法在所有竞争方法中取得了最低的测试均方误差 (MSE)。
• 秩估计： 基准方法要么高估秩（SIR, MLP），要么低估秩（csOPG, KSIR），导致次优的预测性能。所提方法估计出的秩为 8–9，其 MSE 与固定参考秩 10 相当，表明成功恢复了简约结构。
• 数据效率： 增加有标签数据的比例 ($\gamma$) 会带来显著收益，而增加总样本量（通过无标签数据）在该特定现实设置中效果有限，尽管该方法保持了稳健性。

5. 重要性与局限性

重要性

本文声称为多响应 SDR 提供了一个鲁棒的解决方案，特别是在高维、低信噪比和标签稀缺的挑战性现实场景中。通过将子空间估计与连接函数估计解耦，并利用得分函数的结构，该方法实现了高精度，且无需深度学习的高计算量或数据饥渴需求，也无需经典逆回归的限制性假设。

局限性

作者明确指出了两个主要局限性：

1. 秩亏损： 该方法依赖于 $M_1$ 具有满行秩。如果响应分量高度相关或在某种程度上对称，导致梯度信息抵消，则 $M_1$ 的有效秩可能小于 $r$，从而导致低估。
2. 连续协变量： 该框架假设预测变量是连续的，因为 Stein 引理要求 $\ln p(x)$ 是可微的。目前无法处理离散或分类协变量，尽管作者建议未来可以使用离散 Stein 方法（如 Concrete Score Matching）进行扩展。