High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile

技術的サマリー：分散プロファイルを有する非同一分布データに対するリッジ回帰の高次元解析

問題定義
高次元線形回帰は、予測変数が独立かつ同一分布（iid）であるという仮定の下で広範に解析されてきた。しかし、多くの実用的なシナリオにおいて、データは予測変数の分散がサンプルや特徴量間で変化する異分散性を示し、iid 仮定に反する。本論文は、予測変数の数 $p$ と観測値の数 $n$ が比例レート（$p/n \to c > 0$）で無限大に増加する高次元領域における、リッジ回帰の統計的性質を扱うが、ここでデータは独立であるが同一分布ではない（非 iid）。具体的には、著者らは予測変数行列 $X_n$ を、iid 成分を持つ行列と決定論的な分散プロファイル行列 $\Upsilon_n$ のアダマール積としてモデル化する。すなわち、$X_n = \Upsilon_n \circ Z_n$ である。目的は、この一般的な分散プロファイルの下で、リッジ推定量の予測リスク、訓練リスク、および自由度（DOF）に対する決定論的等価式を導出し、これらのプロファイルが「ダブルデセンダー」曲線のような現象にどのように影響するかを調査することである。

手法
本解析は、ランダム行列理論（RMT）の手法、特に分散プロファイルを有する大規模ランダム行列のスペクトル分布に関する結果の拡張に依存している。

1. モデル設定: 著者らは、回帰係数 $\beta^*$ が平均ゼロ、共分散 $\alpha^2 I_p/n$ を持つランダム効果モデルを考慮する。予測変数は $X_n = \Upsilon_n \circ Z_n$ としてモデル化され、ここで $Z_n$ は単位分散を持つ中心化された iid 成分を持ち、$\Upsilon_n$ は決定論的な分散スケーリング因子を含む。分散プロファイルは $\Gamma_n = (\gamma_{ij}^2)$ によって支配される。
2. レゾルベント解析: 手法の核心は、レゾルベント行列 $Q_p(z) = (\hat{\Sigma}_n - zI_p)^{-1}$ および $\tilde{Q}_n(z) = (\tilde{\Sigma}_n - zI_n)^{-1}$ の研究であり、ここで $\hat{\Sigma}_n$ と $\tilde{\Sigma}_n$ は経験共分散行列である。
3. 決定論的等価式: Hachem、Loubaton、および Najim [HLN07] の研究に基づき、著者らはレゾルベント行列の対角成分が決定論的な対応物に収束することを示す。彼らは、レゾルベントの対角行列 $\Delta[Q_p(z)]$ が、固定点方程式系（ディソン方程式）の解である決定論的対角行列 $T_p(z)$ と等価であることを証明する。これは、リスク解析に必要な対角成分ではなく、通常は正規化トレース（スティルチェス変換）に焦点を当てていた従来の RMT の結果を拡張するものである。
4. リスク分解: これらの決定論的等価式を用いて、著者らは漸近的予測リスク $\hat{r}^{test}_{\lambda}$ および訓練リスク $\hat{r}^{train}_{\lambda}$、ならびに一般化交差検証（GCV）基準に対する明示的な式を導出する。

主な貢献

1. 非 iid データに対する決定論的等価式: 本論文は、一般的な分散プロファイルが存在する状況下での、リッジ回帰の自由度および予測リスクに対する最初の決定論的等価式を提供する。人口共分散に依存する iid 場合とは異なり、ここではこれら量はディソン方程式の解を介して分散プロファイル $\Gamma_n$ の特定の構造に依存する。
2. 最適正則化パラメータ: 著者らは、予測リスクを最小化する最適正則化パラメータ $\lambda^*$ がすべての分散プロファイルに対して普遍的であり、$\lambda^* = \sigma^2 p / (\alpha^2 n)$ で与えられることを証明する。この結果は、標準的な iid 設定 [DW18] で見つかった最適スケーリングと一致し、このしrinkage パラメータが異分散性に対して頑健であることを示している。
3. ダブルデセンダーの一般化: 本研究は、最小ノルム最小二乗推定量（$\lambda \to 0$ の極限）の挙動を調査する。
   • 準二重確率的分散プロファイル（分散プロファイルの行和と列和が一定である場合）では、予測リスクは iid データで観察される古典的なダブルデセンダー現象を回復する。
   • 一般的な分散プロファイルでは、論文は予測リスクの形状がダブルデセンダーから著しく逸脱し得ることを示す。数値実験は、特定のプロファイル（例：区分的定数、ブロック、多項式プロファイル）に対して「トリプルデセンダー」さらには「クアッドプルデセンダー」現象の出現を明らかにする。
4. 混合モデルとの関連: この枠組みは、潜在クラス変数などの混合モデルから生成されたデータに適用され、異なる共分散構造を持つ部分集団からのデータが得られる際に分散プロファイルがどのように自然に生じるかを示す。

結果

• リスク式: 予測リスクは、信号強度 $\alpha$、ノイズ分散 $\sigma^2$、アスペクト比 $c$、および決定論的等価式 $T_p(z)$ を通じた分散プロファイル $\Gamma_n$ の関数である決定論的極限 $r^{test}_{\lambda}$ にほとんど確実に収束することが示される。
• 最適性: 補題 3.1 は、$\lambda^* = \sigma^2 p / (\alpha^2 n)$ が分散プロファイルに関わらず、経験的および決定論的予測リスクの両方を最小化することを確認する。
• リスクの地形: 最適 $\lambda^*$ が普遍的である一方で、アスペクト比 $c = p/n$ の関数としてのリスク曲線の形状（$\lambda=0$ の場合）はプロファイルに依存する。
  • 準二重確率的な場合、リスクは標準的なダブルデセンダーを示す：$c < 1$ で増加し、$c=1$ でピークに達し、$c > 1$ で減少する。
  • 非確率的な場合（例：ブロックまたは区分的定数プロファイル）、リスクは複数のピーク（トリプルまたはクアッドプルデセンダー）を示し得る。著者らはこの挙動を、経験共分散行列のスペクトル特性、特に補間閾値付近における最小の非ゼロ固有値の挙動に関連付けている。
• 数値的検証: パレート分布およびガウス分布を用いた広範な数値実験は、導出された決定論的等価式の精度を確認する。理論曲線は、さまざまな分散プロファイルにわたって経験的リスクおよび GCV 基準と密接に一致する。

重要性
本論文は、制限的な iid 仮定を超えて、高次元リッジ回帰の理論的理解を拡張するものである。非 iid データに対する決定論的等価式を提供することで、不均質な環境での性能を予測するための「計算」を提供する。この研究は、最適正則化スケーリングが頑健（普遍的）である一方で、一般化の地形（特にダブルデセンダー現象）は基礎となる分散構造に敏感であることを強調している。これは、ダブルデセンダー現象の普遍性に挑戦し、それが高次元回帰の保証された特徴ではなく、データの特定の分散プロファイルに依存する性質であることを示している。結果は、混合モデルなどの複雑な環境における回帰を解析するための理論的基盤を提供し、異分散性の存在下でのモデル選択（GCV を通じて）のためのツールを提供する。