High-Dimensional Single-Index Models: Link Estimation and Marginal Inference

技術的要約：高次元単一指標モデル：リンク関数の推定と周辺推論

問題提起
本研究は、サンプルサイズ $n$ と係数ベクトル $\text{p}$ の次元が大きく、かつ同程度（$p/n \to \kappa$）である高次元単一指標モデル（Single-Index Models: SIMs）における推定および仮説検定の統計的な課題に対処するものである。モデルは $E[y_i | X_i = x] = g(\beta^\top x)$ と定義され、ここで $X_i \sim N_p(0, \Sigma)$ であり、$\beta$ は未知の係数ベクトル、$g(\cdot)$ は未知のリンク関数である。

単一指標モデルは、次元の呪いを軽減し、関数の形式に関するモデルの誤設定を回避できるという点で非パラメトリック回帰よりも優れているが、既存の高次元文献におけるこのレジーム（領域）には、主に2つのギャップが存在する：

1. リンク関数の推定： 従来のアプローチは、未知のリンク関数 $g(\cdot)$ の一貫した推定を軽視しているか、あるいは（一般化線形モデルのように）既知であると仮定している。
2. 周辺推論： $g(\cdot)$ が未知の場合に、$\beta$ の個々の座標の周辺漸近正規性を確立するための厳密な手法が不足しており、これは変数選択のための妥当な信頼区間やp値の構築に必要となる。

手法
著者らは、推論パラメータ推定のための第4ステップを組み合わせた、新しい3ステップ推定手順を提案している。データの再利用から生じる複雑な依存構造を管理するために、データセットは理論上、互いに素な2つの部分集合 $I_1$ と $I_2$ に分割されるが、実務においては各ステップで全データを使用することが推奨されると著者は述べている。

1. 指標推定（パイロットステップ）： 第1の部分集合 $(X^{(1)}, y^{(1)})$ を用いて、パイロット推定量 $\tilde{\beta}$（例：リッジ回帰、最小二乗法、または応答の種類に応じた最尤推定法）を構築する。次に、真の指標 $\beta^\top X_i$ に対する指標推定量 $W_i$ が、観測可能な調整技術（Bellec, 2022）を用いて導出される。この推定量はバイアスと分散を補正し、$W_i \approx \beta^\top X_i + \mathcal{N}(0, \tilde{\sigma}^2/\tilde{\mu}^2)$ を与える。
2. リンク関数の推定： ペア $(y^{(1)}_i, W_i)$ を用いて $g(\cdot)$ を推定する。$W_i$ は真の指標に対してガウスノイズを含むため、これは「変数誤差（errors-in-variables）」問題となる。著者らは、減衰バイアスを漸近的に除去するために、デコンボリューション・カーネル法（Stefanski and Carroll, 1990）をナダラヤ・ワトソン推定量と組み合わせて採用している。モデルの仮定と一致するように、推定されたリンク関数 $\hat{g}(\cdot)$ を単調にするために、単調化演算子（例：再配置演算子）が適用される。
3. 係数推定： 第2の部分集合 $(X^{(2)}, y^{(2)})$ と推定されたリンク関数 $\hat{g}(\cdot)$ を用い、代理損失関数 $\ell(b; x, y, \bar{g}) = \bar{G}(x^\top b) - y x^\top b$ （ここで $\bar{G}' = \bar{g}$）を最小化する。これにより、最終的な係数推定量 $\hat{\beta}(\hat{g})$ が得られる。
4. 推論パラメータの推定： 推論を容易にするため、Bellec (2022) の枠組みに従い、推定されたリンク関数に基づいた観測可能な調整を用いて、漸近バイアス $\mu^*$ および分散 $\sigma^2_*$ の推定量が構築される。

主な貢献

• 一貫したリンク推定： 本論文は、デコンボリューションを通じて変数誤差問題を解決することにより、高次元比例レジームにおける未知のリンク関数 $g(\cdot)$ の一貫した推定量を提供している。
• 周辺漸近正規性： 著者らは、係数推定量の任意の有限個の座標に対する周辺漸近正規性を厳密に確立した。この結果は、$\kappa = p/n > 1$ のレジームにおいても成立する。これは、SIMsにおける従来の周辺正規性の結果が限定的であった領域である。
• 効率性の向上： 一貫して推定されたリンク関数を利用することで、提案された推定量は、潜在的に誤設定されたリンク関数を用いる推定量や、リンク構造を完全に無視する推定量よりも効率的であることが示されている。
• 技術的拡張： 証明戦略は、Zhaoら (2022) のロジスティック回帰（MLE）から、より広範な非正則化M推定量へと議論を拡張し、推定されたリンク関数を組み込んでいる。

理論的および経験的結果

• 理論的保証：
  • 定理1： リンク推定量の一様一貫性を確立し、収束レートが $O_p((\log n)^{-m/2})$ であることを示す。これは下限であることが示されている。
  • 定理2および定理4： 任意の座標 $j$ について、統計量 $T_j = \frac{\sqrt{p}(\hat{\beta}_j - \mu^*\beta_j)}{\sigma^*/\tau_j}$ が標準正規分布 $N(0, 1)$ に分布収束することを証明する。これは、正則化された設定（$p > n$）と非正則化された設定（$p < n$）の両方で成立する。
  • 系3： これらの漸近的結果を用いて構築された信頼区間が、漸近的に正しい被覆確率を達成することを実証する。
• 数値実験：
  • 様々なモデル（ロジット、ポアソン、3次式、区分線形）にわたるシミュレーションにより、指標推定量が予測されたガウス分布に従うことが確認された。
  • リンク関数推定量は、サンプルサイズの増加に伴い、二乗損失が減少することを示した。
  • 係数推定量の周辺分布は標準正規密度に密接に一致しており、理論的な漸近正規性を検証している。
  • 効率性の比較では、提案手法が、真のリンクが未知である場合や複雑な場合など、ほとんどのシナリオにおいて標準的な推定量（最小二乗法や固定リンクを用いたMLEなど）よりも優れた性能を示すことが示された。
• 実データへの適用： 本手法は、アルツハイマー病に関連する2つのUCIデータセット（DARWINおよび音声データ）に適用された。提案された推定量は、標準的なロジスティック回帰と比較して、一貫して低い推定有効漸近分散を示した。

意義と主張
本論文は、$n$ と $p$ が同程度である高次元単一指標モデルにおいて、リンク関数の同時推定と周辺統計推論を同時に行うための、最初の厳密な枠組みを提供すると主張している。周辺漸近正規性を確立することで、著者らは、これまでこのレジームにおける未知のリンクを持つSIMsでは未解決であった、個々の特徴量に対する有効な仮説検定（$H_0: \beta_j = 0$）および信頼区間の構築を可能にした。本手法は、指標およびリンク関数の推定によって導入されるバイアスを扱うために、観測可能な調整とデコンボリューション技術を活用しており、高次元計量経済学および統計学習のための堅牢なツールを提供している。著者らは、将来の研究において、これらの結果を非ガウス共変量やマルチインデックスモデルへ拡張できる可能性があると述べている。