High-Dimensional Single-Index Models: Link Estimation and Marginal Inference

技术摘要：高维单指数模型：链路估计与边际推断

问题陈述
本研究解决了在高维单指数模型（SIMs）中进行估计和假设检验的统计挑战。在这些模型中，样本量 $n$ 与系数向量的维度 $p$ 较大且规模相当（$p/n \to \kappa$）。该模型定义为 $E[y_i | X_i = x] = g(\beta^\top x)$，其中 $X_i \sim N_p(0, \Sigma)$，$\beta$ 是未知的系数向量，$g(\cdot)$ 是未知的链路函数（link function）。

虽然单指数模型通过减轻维数灾难并避免对函数形式的模型误设定，提供了优于非参数回归的优势，但现有的高维文献在这一机制下面临两个主要空白：

1. 链路函数估计： 先前的研究通常忽略了对未知链路函数 $g(\cdot)$ 的一致估计，或者假设其是已知的（如广义线性模型）。
2. 边际推断： 在 $g(\cdot)$ 未知的情况下，缺乏建立单个坐标 $\beta$ 的边际渐近正态性的严谨方法，而这对于构建有效的置信区间和 p 值以进行变量选择是必要的。

方法论
作者提出了一种结合第四步用于推断参数估计的新型三步估计程序。为了处理由于数据复用产生的复杂依赖结构，数据集在理论上被分为两个不相交的子集 $I_1$ 和 $I_2$，尽管作者指出在实践中建议在每一步都使用全部数据。

1. 指数估计（试点步骤）： 使用第一个子集 $(X^{(1)}, y^{(1)})$，构建一个试点估计量 $\tilde{\beta}$（例如，取决于响应类型的岭回归、最小二乘法或极大似然估计）。随后，利用可观测调整技术（Bellec, 2022）推导出一个指数估计量 $W_i$。该估计量修正了偏差和方差，使得 $W_i \approx \beta^\top X_i + \mathcal{N}(0, \tilde{\sigma}^2/\tilde{\mu}^2)$。
2. 链路函数估计： 利用对 $(y^{(1)}_i, W_i)$，作者估计 $g(\cdot)$。由于 $W_i$ 包含了相对于真实指数的高斯噪声，这构成了一个“误差-变量”（errors-in-variables）问题。作者采用了反褶积核（deconvolution kernel）技术（Stefanski and Carroll, 1990）结合 Nadaraya-Watson 估计量，以渐近地消除衰减偏差。此外，应用了一个单调化算子（例如重排算子）以确保估计的链路函数 $\hat{g}(\cdot)$ 是单调的，从而符合模型假设。
3. 系数估计： 使用第二个子集 $(X^{(2)}, y^{(2)})$ 以及估计的链路函数 $\hat{g}(\cdot)$，最小化代理损失函数 $\ell(b; x, y, \bar{g}) = \bar{G}(x^\top b) - y x^\top b$（其中 $\bar{G}' = \bar{g}$）。由此得到最终的系数估计量 $\hat{\beta}(\hat{g})$。
4. 推断参数估计： 为了便于统计推断，基于估计的链路函数，利用基于可观测调整的框架（遵循 Bellec, 2022）构建渐近偏差 $\mu^*$ 和方差 $\sigma^2_*$ 的估计量。

核心贡献

• 一致的链路估计： 本文提供了一个在高维比例机制下估计未知链路函数 $g(\cdot)$ 的一致估计量，通过反褶积技术解决了误差-变量问题。
• 边际渐近正态性： 作者严格建立了系数估计量 $\hat{\beta}(\hat{g})$ 的任何有限子集坐标的边际渐近正常性。即使在 $\kappa = p/n > 1$ 的机制下，该结果依然成立，而此前在这一机制下针对 SIMs 的边际正态性结果非常有限。
• 效率提升： 通过利用一致估计的链路函数，证明了所提估计量比那些依赖于可能误设定的链路函数或完全忽略链路结构的估计量更有效率。
• 技术扩展： 该证明策略将 Zhao 等人 (2022) 的论证从逻辑回归（MLE）扩展到了更广泛的一类无正则化 M-估计量，并纳入了估计的链路函数。

理论与实证结果

• 理论保证：
  • 定理 1： 确立了链路估计量 $\hat{g}(\cdot)$ 的一致收敛性，其收敛速率为 $O_p((\log n)^{-m/2})$，该速率被证明是下界。
  • 定理 2 & 4： 证明对于任何坐标 $j$，统计量 $T_j = \frac{\sqrt{p}(\hat{\beta}_j - \mu^*\beta_j)}{\sigma^*/\tau_j}$ 收敛于标准正态分布 $N(0, 1)$。这在正则化（$p > n$）和无正则化（$p < n$）设置下均成立。
  • 推论 3： 表明利用这些渐近结果构建的置信区间在渐近意义上达到了正确的覆盖概率。
• 数值实验：
  • 跨越多种模型（Logit, Poisson, Cubic, Piecewise）的模拟证实了指数估计量遵循预测的高斯分布。
  • 链路函数估计量显示出随样本量增加而减小的平方损失。
  • 系数估计量的边际分布与标准正态密度紧密匹配，验证了理论上的渐近正态性。
  • 效率比较表明，在大多数场景下，所提方法优于标准估计器（如固定链路的最小二乘法或 MLE），尤其是在真实链路未知或复杂的情况下。
• 真实数据应用： 该方法被应用于两个与阿尔茨海默病相关的 UCI 数据集（DARWIN 和语音数据）。所提估计器一致地展示出比标准逻辑回归更低的估计有效渐近方差。

意义与主张
本文声称为高维单指数模型中同时进行链路函数估计和边际统计推断提供了第一个严谨的框架，其中 $n$ 和 $p$ 规模相当。通过建立边际渐近正态性，作者实现了对单个特征进行有效的假设检验（$H_0: \beta_j = 0$）和置信区间构建，这在以往对于该机制下具有未知链路的 SIMs 而言是尚未解决的问题。该方法利用可观测调整和反褶卷积技术来处理因估计指数和链路函数而引入的偏差，为高维计量经济学和统计学习提供了稳健的工具。作者指出，未来的工作可以将这些结果扩展到非高斯协变量和多指数模型。