Eigengap Sparsity for Covariance Parsimony

技術要約：共分散の簡潔化のための固有値ギャップ・スパース性（Eigengap Sparsity）

問題提起
共分散推定は統計学における根本的な課題であり、特に高次元設定において、$p$ 次元の共分散行列の $p(p+1)/2$ 個のパラメータを正確に推定するためのサンプル数 $n$ が不足している場合に顕著となる。標本共分散行列（SCM）は、最大尤度推定量（MLE）ではあるものの、マルチェンコ・パストゥール則によって記述される「固有値の拡散」現象、すなわち標本固有値が真の値の周囲に広く分散してしまう現象による重大なサンプリング誤差を抱えている。

過剰パラメータ化に対処するため、簡潔な（parsimonious）モデルが好まれる。しかし、共分散行列に対する従来のモデル選択は、離散的な選択（例：特定のスパースなパターンやランク制約の選択）を伴うため、計算量的に手に負えない組合せ問題へと発展する。具体的には、著者らは固有値の多重度による共分散の簡潔化に焦点を当てている。これは、固有空間内での回転不変性を商集合化することで、等しい固有値をグループ化し、パラメータ空間の次元を削減するものである。このアプローチ（主部分空間解析：Principal Subspace Analysis）は理論的な枠組みを提供するものの、厳密な最適化には $2^{p-1}$ 個の異なる非ペナルティ最適化問題を解く必要があり、中程度の次元であっても計算量的に極めて困難である。

手法
本論文では、離散的な簡潔化問題を扱いやすくするために、**「固有値ギャップ・スパース性（eigengap sparsity）」**と称される、連続的な緩和（continuous relaxation）を提案している。

1. 層化とペナルティの導出:
   対称正定値行列の空間 $\text{Sym}_+(p)$ は、固有値の多重度に基づく部分多様体へと層化される。特定の多重度パターン $\gamma$ に対応する部分多様体の次元が導出される。著者らは、この次元が固有値ギャップの $\ell_0$ ノルムとして表現できるという重要な定理（定理1）を証明している：
   $$\dim(\text{Sym}_+(\gamma)) = 1 + \|\delta(\lambda_s, \lambda_{s+1})\|_0 + \|\delta(\lambda_s, \lambda_t)\|_0$$
   ここで $\delta(a,b)=0$ は $a=b$ の時に成立する。この定式化は、隣接する固有値を等しくするだけでなく、非隣接する固有値をも等しくすることによって、すべての固有値を互いに引き寄せ合うことが簡潔化につながることを明らかにしている。

2. $\ell_1$ 緩和:
   $\ell_0$ ノルムによる組合せ的な複雑さを回避するため、著者らはそれを $\ell_1$ ノルムで置き換え、凸緩和を実現した。得られる最適化問題は、以下のペナルティ付き尤度を最小化するものである：
   $$\min_{\lambda \in K_+(p)} \left( -2 \ln L(V \text{diag}(\lambda) V^\top) + \alpha \sum_{s=1}^{p-1} \left( \delta(\lambda_s, \lambda_{s+1}) + \sum_{t=s+1}^p \delta(\lambda_s, \lambda_t) \right) \right)$$
   ここで $K_+(p)$ は、順序付けられた正の固有値からなる単調錐（monotone cone）である。

3. 最適化アルゴリズム:
   ガウス分布の場合、著者らは単調錐上での**射影勾配降下法（Projected Gradient Descent）**を提案している。

• 勾配ステップ: 尤度を最大化しつつ、固有値ギャップのペナルティを減少させるように固有値を更新する。
• 射影ステップ: 更新された固有値を単調錐 $K_+(p)$ へと射影する。この射射影は、効率的に解ける等張回帰（isotonic regression）、すなわちプール・アジェイセント・ヴァイオレーターズ・アルゴリズム（PAVA）に相当する。
• メカニズム: アルゴリズムは、勾配ステップを実行した後、順序制約に違反する固有値を「等質化（equalize）」するというプロセスを反復的に行う。著者らは、近い値を持つ固有値は収縮推定の文献ではしばしば数値的な災厄とされるが、本フレームワークにおいては、射影ステップが自然にそれらを等質化するため、簡潔化を誘発する「恩恵」となることを指摘している。
• 固有値ギャップ関数: 著者らは、相対的な固有値ギャップ関数 $\delta(a, b) = (a-b)/a$ （$a \ge b$ の場合）を利用しており、これが絶対差を用いるよりも優れた結果をもたらすと主張している。

主な貢献

• 理論的再定式化: 本論文は、共分散の簡潔化と固有値ギャップとの間に新たな結びつきを確立し、共分散多様体の内在的次元が、すべての固有値のペア間のギャップの $\ell_0$ ノルムとして記述できることを証明した。
• 緩和戦略: 「固有値ギャップ・スパース性」を、固有値の等質化による簡潔化の $\ell_1$ 緩和として導入し、離散的なモデル選択問題を連続的な最適化問題へと変換した。
• アルゴリズム的結合: 提案手法は、共分散の簡潔化と収縮推定法の間に直接的な関連性を見出している。等張回帰（歴史的には数値的不安定性を処理するための後処理トリックとして用いられてきたもの）が、ペナルティ付き尤度フレームワークにおける射影ステップとして自然に現れ、モデルの複雑さを削減するために自動的に固有値をグループ化することを実証した。
• 計算効率: 本手法は、厳密な主部分空間解析（PSA）の指数関数的な複雑さを回避し、単一の連続最適化問題を解くことで、PSAの計算コストを大幅に削減している。

実験結果
著者らは、合成ガウスデータセット（次元 $p$ およびサンプルサイズ $n$ を変化させたもの）を用い、ESCPを標本共分散行列（SCM）、Ledoit-Wolf（LW）収縮推定量、および厳密な主部分空間解析（PSA）と比較評価した。

• 精度と簡潔性: 高次元設定において、ESCPはSCMやLWよりも有意に低いペナルティ付き尤度スコア（$L_p$）を達成しており、適合度と複雑性の間のより優れたトレードオフを示した。
• 推定誤差: 驚くべきことに、ESCPはフロベニウスノルムによる推定誤差（$L_F$）においても、LW推定量よりも優れた性能を示した。これは、ESCPがこの指標を最小化するように明示的に設計されていないにもかかわらずである。
• 固有値の回復: 等方性およびブロック対角の共分散構造を用いた実験において、ESCPは真の固有値多重度を正常に回復した（例：$I_{100}$ や $\Xi_{80,80,40}$ のブロック構造を完全に回復）。これに対し、SCMは高い分散を示し、LWは部分的な収縮は見せるものの完全なグループ化には至らなかった。
• 速度: ESCPは、厳密なPSAよりも数桁高速であり、PSAは $p \gtrsim 20$ で計算が困難になる。

意義と主張
本論文は、固有値の等質化による簡潔性の観点から再定義することで、共分散推定に有望な視点を提供するものであると主張している。著者らは、本手法が以下の3つの研究領域への架け橋となることを強調している：

1. スパース最適化: 本手法は、古典的な閾値処理（LASSOなど）ではなく、等張回帰を通じてスパース性を誘発する。
2. 収縮理論: 本手法は、小さな固有値をノイズとしてグループ化するPPCAのような低ランクモデルを超えて、固有値をグループ化することによって「固有値の拡散」現象に対処する。
3. 幾何統計学: 本フレームワークは、固有値だけでなく固有空間の旗（flag）も統合しており、固有値のみに焦点を当てた手法よりも完全な幾何学的視点を提供する。

著者らは、本手法が合成実験において有望性と速度を示しているものの、まだ研究の初期段階にあり、多様な固有値プロファイルや非ガウス分布に対する評価、および理論的保証やリーマン計量の拡張に関する今後の研究が必要であると結論づけている。