技術要約：適応的スペクトル収縮による過学習された高次元行列分解

問題提起

高次元設定（周囲の次元 $p$ が大きく、しばしばサンプルサイズ $n$ を超える場合）における共分散行列の推定は、統計学における根本的な課題である。標準的な因子モデルは、共分散行列 $\Theta$ を低ランク成分（$\Lambda\Lambda^\top$）と対角残差成分（$\Sigma$）に分解する。ここでの決定的な困難は、潜在次元 $k$ の選択にある。この選択は、因子モデルが近似的にしか成立していない場合や、信号対雑音比（SNR）が低いシナリオにおいて特に困難となる。

既存のアプローチは、以下のトレードオフに直面している：

1. スペクトル手法（例：PCAベースの推定法）は計算効率は高いが、潜在成分がノイズに対して十分に大きくない場合に推定精度が低下しやすく、形式的な不確定性の定量化を欠いている。
2. ベイズ的過学習因子モデルは、潜在次元の上限 $H$ を指定し、不要な因子を除去するために構造化された収縮事前分布を使用する。これらは効果的ではあるが、通常、計算コストの高いマルコフ連鎖モンテカルロ（MCMC）サンプリング（例：可逆跳躍MCMCやギブスサンプラー）に依存しており、高次元における収束や混合の遅さに悩まされることが多い。変分近似は高速であるが、不確定性を過小評価する傾向がある。
3. ハイブリッドアプローチは、スペクトルによる事前推定とベイズ推論を組み合わせたものであるが、適応的なランク選択や、アウトカム間の変動するSNRへの適応メカニズムを欠いていることが多い。

手法：EigenBayes

著者らは、スペクトル推定の計算効率と、ベイズ手法の不確同性定量化および適応的収縮を組み合わせたスケーラブルな手法である EigenBayes を提案する。コアとなる手法は以下の通りである：

1. スペクトル初期化： 本手法は、過剰に推定された潜在次元 $H$（ここで $H \geq k$）を用いた潜在因子の推定から始まる。潜在因子行列 $\hat{M}$ の初期推定値は、データ行列 $Y$ の左特異ベクトルを $\sqrt{n}$ 倍することで得られる。
2. サロゲート・ベイズ回帰： 全結合事後分布をサンプリングする代わりに、本手法は潜在因子を固定（$\hat{M}$ に条件付け）したものとして扱い、$p$ 個の独立したサロゲート・ベイズ線形回帰タスクを通じてローディング行列 $\Lambda$ と残差分散 $\Sigma$ を推論する。
   • 第 $j$ アウトカムのモデルは $y^{(j)} = \hat{M}\lambda_j + \epsilon_j$ である。
   • 共役な正規逆ガンマ事前分布が、ローディング $\lambda_j$ と分散 $\sigma_j^2$ に置かれる。
   • 決定的なことに、この事前分布には、収縮を制御するためのアウトカム固有のハイパーパラメータ $\tau_j^2$ とコンポーネント固有の $\psi_l^2$ が含まれている。
3. 適応的ハイパーパラメータ較正（経験的ベイズ）： ハイパーパラメータは、経験的ベイズ・モーメントマッチング戦略を通じて調整される。この手順では、ローディングの事前期待マグニチュードをスペクトル推定値に較正し、同時に潜在次元の過剰推定を補正する。
   • ノイズレベルは、過学習された成分におけるバルクノイズを表す第 $(H+1)$ 特異値（$d_{H+1}$）を用いて推定される。
   • 収縮パラメータ $\hat{\psi}_l^2$ は、ノイズフロアを差し引いた後の、第 $l$ コンポーネントによって説明される変動の相対的な寄与に比例するように設定される。
   • パラメータ $\hat{\tau}_j^2$ は、各アウトカムの信号対雑音比に適応する。
4. 事後分布の因子化と不確実性の定量化： スペクトル推定に条件付けることで、事後分布はアウトカム間で因子化され、推論は $p$ 個の独立した回帰へと簡略化される。これにより、並列計算が極めて容易になる。
   • 頻度論的な被覆率を保証するため、生の事後分布における過小被覆を補正するために、Chattopadhyay et al. (2024) の研究に基づいた事後分散膨張係数 $\rho > 1$ が適用される。
   • 得られる事後分布により、MCMCを用いることなく、共分散成分および潜在因子の完全な不確実性の定量化が可能となる。

主な貢献

• 計算効率： EigenBayesは、サロゲート回帰フレームワークを利用することでMCMCを回避し、過学習されたベイズ因子モデル（例：MGSP）よりも大幅に高速でありながら、完全な不確実性の定量化を維持する。
• 適応的ランク選択： 本手法は、余剰な潜在コンポーネント（真のランク $k$ を超えるもの）を自動的にゼロへと収縮させる。理論的結果によれば、冗長なコンポーネントに対する経験的ベイズの収縮パラメータの推定値は、ゼロへと速い速度で収束し、明示的なモデル選択なしに適応的に真のランクを特定する。
• 不均一性への適応： 本アプローチは、異なるアウトカム（変数）や潜在次元にわたる変動する信号対雑音比に適応し、ノイズの多い変数には強い収縮を、情報量の多い変数には弱い収縮を適用する。
• 理論的保証： 本論文では以下を確立している：
  • 自動的ランク適応： 冗長なコンポーネントに対する事前分散は漸近的に消失する。
  • 一致性： 点推定値は、低ランク成分および全共分散行列に対して良好な収束率を達成し、真のランクを知っているオラクル・スペクトル推定器と同様に漸近的に振る舞う。
  • 不確実性の定量化： 点推定値に関する中心極限定理（CLT）が証明されており、また、経験的ベイズ推論に対する形式的な頻度論的正当性を与える、事後分布の漸近的挙動を特徴付けるベルンシュタイン＝フォン・ミーゼス（Bernstein-von Mises）の結果が示されている。

結果

数値実験：
著者らは、EigenBayesをBarigozzi & Cho (2018)、主成分（PC）推定法、Rockova & George (2016) (ROTATE)、Chattopadhyay et al. (2024) (FABLE)、およびBhattacharya & Dunson (2011) (MGSP) といった複数の最先端の代替手法と比較した。

• 精度： EigenBayesは、高密度、不均一、および疎なローディング構造を含む様々なシナリオにおいて、共分散行列の再構成における最先端の精度を達成した。特に、サンプルサイズが小さい設定や潜在次元が過剰に設定されている場合に、競合手法を上回る性能を示した。
• 堅牢性： 本手法は、上限 $H$ の選択に対して極めて堅牢であった。たとえ $H$ が保守的（例：$\lfloor \sqrt{p} \rfloor$）に設定されても、EigenBayesは真のランクを知っている場合とほぼ同等の性能を示したが、競合手法は $H$ が増加するにつれて性能が低下することが多かった。
• 不確実性の定量化： 区間推定の観点では、EigenBayesは共分散成分に対して正確な頻度論的被覆（公称レベルに近い）を提供した。対照的に、FABLEは無視できない過小被覆を示し、MGSPは高次元設定において過小被覆を示した。

ゲノミクスへの応用：
ImmGenマイクロアレイデータセット（628サンプル、5000遺伝子）に適用した結果、EigenBayesは、幅広い潜在次元において、競合手法と比較して優れたアウトオブサンプル予測性能（ログ尤度で測定）を示した。

• 速度： EigenBayesは、MGSPと比較して数桁高速であり、モデルの適合にかかる時間は、1回の反復あたりMGSPの約30分に対し、平均して1秒未満であった。

意義と主張

本論文は、潜在次元の特定が困難であったり、信号対雑音比が低かったりする場合の、高次元因子解析の実践者にとって、EigenBayesが強力な代替案となることを主張している。スペクトル手法の速度と、ベイズ手法の適応性および不確実性の定量化を組み合わせることで、既存の過学習されたベイズモデルの計算上のボトルネックに対処している。

著者らは、本研究が、このような文脈における経験的ベイズ推論に対する形式的な頻度論的理論的正当性を提供し、手法が良好な速度で低ランク構造を回収し、漸近的に妥当な不確実性区間を提供することを強調している。本手法は、高い精度を維持しながら、潜在次元の広範なチューニングの必要性を軽減する堅牢なソリューションとして提示されている。

最後に、非ガウスデータ（カウントデータやバイナリデータなど）への拡張、個々の行列成分への収縮の局所化、および依存構造（系列相関や空間相関）の処理といった限界と将来の方向性に言及しているが、これらが現在実現されているとは主張していない。