Existence of penalised likelihood estimates and posterior propriety of separable prior distributions for Gaussian precision matrices

技術要約：ガウス型精度行列に対する分離可能事前分布のペナルティ付き尤度推定量の存在性と事後分布の適切性

問題提起
高次元設定において、ガウス型精度行列 $\Theta$ の次元 ($p$) がサンプルサイズ ($n$) を超える場合、標本共分散行列 $S$ はフルランクではなくなる（正定値半定値（PSD）ではあるが、正定値（PD）ではない）。その結果、標準的な最大尤度推定値（MLE）である $S^{-1}$ は存在しない。ペナルティ付き尤度法は、このようなシナリオにおいてスパース性を誘導し、推定の安定性を確保するために頻繁に用いられる。しかし、ペナルティ関数がパラメータ空間の境界において十分な成長性を備えていない場合、ペナルティ付き尤度推定値 $\hat{\Theta}_{Pen}$ の存在はすべての PSD な $S$ に対して保証されるわけではない。さらに、ベイズの枠組みにおいて、最大事後確率（MAP）推定値はペナルティ付き尤度推定値に対応するが、MAP の存在は、事後分布が適切であること（すなわち、有限の積分を持つこと）を自動的に意味するわけではない。本論文は、任意の PSD $S$ に対して $\hat{\Theta}_{Pen}$ の存在を保証するために必要な、分離可能なペナルティ関数のテール条件を特定し、得られる事後分布の適切性の条件を確立する。

手法
本論文では、以下の最適化問題を分析する：
$$\hat{\Theta}_{Pen} = \arg\max_{\Theta \succ 0} \left( \log \det \Theta - \text{tr}(S\Theta) - \text{Pen}(\Theta) \right)$$
ここで、ペナルティ関数は分離可能であると仮定されている：$\text{Pen}(\Theta) = \sum_{i} \text{pen}_D(\theta_{ii}) + \sum_{i<j} \text{pen}(\theta_{ij})$。分析は、$\Theta$ が正定値行列の錐（cone）の境界（固有値が 0 に近づく場合）または $\|\Theta\| \to \infty$ となる挙動に焦点を当てている。

手法は、スペクトル分解に基づき、$\Theta$ の固有値 $\lambda_k$ と固有ベクトル $v_k$ を用いて対数尤度を表現することに依拠している。著者は、非存在性をテストするための特定の行列列 $\Theta(t)$ を構築し（目的関数が $+\infty$ に向かうことを示すため）、存在を証明するための行列列を構築する（目的関数が $-\infty$ に向かうことを示すため）。証明の鍵となるのは、$S$ の零空間（null space）$N(S)$ の特徴付けであり、その次元は $m_0$ である。分析では、$S$ の零空間に収束する固有ベクトル列と、そうでない列を区別し、$\log x$ に対する $\text{pen}_D$ および $\text{pen}$ の成長率に関する必要十分条件を導出している。

主な貢献と結果

1. 対角ペナルティの存在条件：

   • 対角ペナルティ $\text{pen}_D$ が $\lim_{x\to\infty} (\text{pen}_D(x) - \log x) = \infty$ を満たす場合、オフダイアゴナル（非対角）ペナルティの内容にかかわらず（それが非負である限り）、任意の PSD な $S$ に対して推定値 $\hat{\Theta}_{Pen}$ は存在する。
   • $S$ が $m_0$ 個のゼロ固有値を持つガウス型標本共分散行列である場合、存在のために、確率 1 でより弱い条件が充足される：$\liminf_{x\to\infty} \frac{\text{pen}_D(x)}{\log x} > \frac{m_0}{p}$。
   • 逆に、$\text{pen} = 0$ かつ $\liminf_{x\to\infty} (p \cdot \text{pen}_D(x) - \log x) = -\infty$ である場合、推定値は、PSD のみの $S$ に対して存在しない。

2. オフダイアゴナル・ペナルティの存在条件：

   • 対角ペナルティがない場合（$\text{pen}_D = 0$）、存在には $S$ が厳密に正の対角成分を持つことが必要である。$S$ がゼロの対角成分を持つ場合、推定値は存在しない。
   • $S$ が厳密に正の対角成分を持ち、$m_0$ 個のゼロ固有値を持つ場合、$\liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > m_0$ であれば存在が保証される。
   • 正の対角成分を持つすべての PSD な $S$（最悪ケースのランク）にわたる存在については、条件は $\liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > p-1$ である。
   • $\text{pen}_D = 0$ かつ $\liminf_{|x|\to\infty} (q \cdot \text{pen}(x) - \log |x|) = -\infty$ （ここで $q = p(p-1)/2$）の場合、推定値は、PSD のみの $S$ に対して存在しない。

3. 結合ペナルティ：

   • 本論文は、対角ペナルティとオフダイアゴナル・ペナルティが互いに補完し合えることを示している。$S$ が $m_0$ 個のゼロ固有値を持ち、厳密に正の対角成分を持つ場合、以下の場合に存在が保証される：
     $$\liminf_{x\to\infty} \frac{\text{pen}_D(x)}{\log x} + \liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > m_0$$
   • これにより、弱いテールの成長を持つオフダイアゴナル・ペナルティ（例：SCAD や MCP、あるいはシームレスな $L_0$ などの有界なペナルティ）であっても、十分に強い対角ペナルティと組み合わせることで、高次元設定で成功裏に利用できる。

4. 事後分布の適切性：

   • 本論文は、これらの知見をベイズの設定へと拡張している。上記の条件の下で MAP 推定値が存在する一方で、事後分布の適切性（有限の積分）にはより強い条件が必要となる。
   • PD な $S$ については、オフダイアゴナル事前分布 $\pi$ が有界であり、かつ対角事前分布 $\pi_D$ が 0 および無限遠近傍において特定の可積分条件を満たす場合に、適切性が保持される。
   • PSD な $S$ については、オフダイアゴナル事前分布 $\pi$ が適切（可積分）であり、かつ対角事前分布 $\pi_D$ が有限の $n/2$ モーメントを持つことが、適切性のための十分条件である。

5. 一般化：

   • これらの結果は、成分間で異なるペナルティ、非対称なオフダイアゴナル・ペナルティ、および大きさに関して厳密に単調増加ではないペナルティにも拡張されることが示されている。
   • また、部分相関に対するペナルティについても言及しており、標準的な分離可能ペナルティとは異なり、部分相関のみをペナルティ化することは PSD な $S$ に対する存在を保証するには不十分であり、対角ペナルティが依然として必要であることを指摘している。

意義と主張
本論文は、ほとんどの分離可能なペナルティ関数の選択に対して、ペナルティ付き尤度推定値の存在性を決定するための「ロードマップ」を提供すると主張している。その主要な意義は、統計的モデル選択（多くの場合、バイアスを減らすために SCAD、MCP、あるいはシームレスな $L_0$ のような、テールの弱いオフダイアゴナル・ペナルティを好む）と、高次元設定（$n \le p$）における数学的な存在性の間の緊張関係を解決することにある。

著者は、弱いオフダイアゴナル・ペナルティ単独では、 $S$ が PSD のみの場合に存在を保証できないが、適切な対角ペナルティと組み合わせることで、高次元設定においてこれらを効果的に利用できると論じている。この組み合わせは、サンプルサイズが次元を超えることを要求することなく、任意の PSD な $S$ に対して推定値の存在を保証する。本論文は、これらの条件が存在を保証するものであるものの、対角ペナルティの選択も推定性能やスパース性に影響を与えることを認め、導出された条件は、統計的性能のための最適なチューニングではなく、存在のための最小限の要件として機能することを示唆している。さらに、本研究は、MAP 推定値の存在と、完全な事後分布の適切性との区別を明確にしており、PD および PSD の両方のシナリオにおける、事後分布の適切性に関する明示的な条件を提供している。