Existence of penalised likelihood estimates and posterior propriety of separable prior distributions for Gaussian precision matrices

기술 요약: 가우시안 정밀 행렬에 대한 분리 가능한 사전 분포의 페널티 부과 가능도 추정치의 존재성 및 사후 분포 적절성

문제 정의
차원 $p$가 표본 크기 $n$보다 큰 고차원 설정에서, 가우시안 표본 공분산 행렬 $S$는 풀 랭크(full rank)를 갖지 않는다 (즉, 양의 준정부호(PSD)이지만 양정부호(PD)는 아니다). 결과적으로, $S^{-1}$인 표준 최대 가능도 추정치(MLE) $\Theta$는 존재하지 않는다. 이러한 시나리오에서 희소성(sparsity)을 유도하고 추정의 안정성을 확보하기 위해 페널티 부과 가능도 방법이 빈번하게 사용된다. 그러나 페널티 함수가 매개변수 공간의 경계에서 충분한 성장성을 갖지 못할 경우, 페널티 부과 가능도 추정치 $\hat{\Theta}_{Pen}$의 존재성이 보장되지는 않는다. 더욱이 베이지안 프레임워크에서 최대 사후 확률(MAP) 추정치가 페널티 부과 가능도 추정치와 일치하더라도, MAP의 존재가 사후 분포의 적절성(즉, 유한한 적분값)을 자동으로 보장하는 것은 아니다. 본 논문은 모든 PSD $S$에 대해 $\hat{\Theta}_{Pen}$의 존재성을 보장하기 위한 분리 가능한 페널티 함수의 구체적인 꼬리 조건(tail conditions)을 다루며, 결과적으로 도출된 사후 분포의 적절성을 위한 조건을 확립한다.

방법론
본 논문은 다음의 최적화 문제를 분석한다:
$$\hat{\Theta}_{Pen} = \arg\max_{\Theta \succ 0} \left( \log \det \Theta - \text{tr}(S\Theta) - \text{Pen}(\Theta) \right)$$
여기서 페널티 함수는 $\text{Pen}(\Theta) = \sum_{i} \text{pen}_D(\theta_{ii}) + \sum_{i<j} \text{pen}(\theta_{ij})$와 같이 분리 가능하다고 가정한다. 분석은 $\Theta$가 양정부호 행렬의 원뿔 경계(고윳값이 0으로 수렴하는 지점)로 접근하거나 $\|\Theta\| \to \infty$일 때의 목적 함수의 극한 거동에 집중한다.

방법론은 $\Theta$의 고윳값 $\lambda_k$와 고유벡터 $v_k$를 사용하여 로그 가능도를 표현하는 스펙트럼 분해(spectral decomposition)에 의존한다. 저자는 존재하지 않는 경우를 테스트하기 위해(목적 함수가 $+\infty$로 발산함을 보임으로써) 그리고 존재성을 증명하기 위해(목적 함수가 $-\infty$로 발산함을 보임으로써) 특정 행렬 수열 $\Theta(t)$를 구성한다. 증명의 핵심은 $m_0$ 차원의 영공간(null space) $N(S)$를 특성화하는 것이다. 분석은 고유벡터가 $S$의 영공간으로 수렴하는 수열과 그렇지 않은 수열을 구분하며, $\log x$에 대한 $\text{pen}_D$와 $\text{pen}$의 성장률에 관한 필요충분조건을 도출한다.

주요 기여 및 결과

1. 대각 페널티에 대한 존재 조건:

   • 만약 대각 페널티 $\text{pen}_D$가 $\lim_{x\to\infty} (\text{pen}_D(x) - \log x) = \infty$를 만족하면, (비대각 페널티가 비음수라는 조건 하에) $S$의 값과 관계없이 모든 PSD $S$에 대해 $\hat{\Theta}_{Pen}$이 존재한다.
   • $S$가 $m_0$개의 0 고윳값을 갖는 가우시안 표본 공분산 행렬인 경우, 존재성을 위해 더 약한 조건이 확률 1로 성립한다: $\liminf_{x\to\infty} \frac{\text{pen}_D(x)}{\log x} > \frac{m_0}{p}$.
   • 반대로, $\text{pen} = 0$이고 $\liminf_{x\to\infty} (p \cdot \text{pen}_D(x) - \log x) = -\infty$이면, 오직 PSD인 임의의 $S$에 대해 추정치는 존재하지 않는다.

2. 비대각 페널티에 대한 존재 조건:

   • 대각 페널티가 없는 경우($\text{pen}_D = 0$), 존재성은 $S$가 엄격히 양수인 대각 성분을 가질 것을 요구한다. 만약 $S$가 0인 대각 성분을 가지면 추정치는 존재하지 않는다.
   • $S$가 양수의 대각 성분과 $m_0$개의 0 고윳값을 가질 때, 존재성은 $\liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > m_0$인 경우 보장된다.
   • 양의 대각 성분을 가진 모든 PSD $S$에 대한 존재성(최악의 랭크 상황)을 위한 조건은 $\liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > p-1$이다.
   • 만약 $\text{pen}_D = 0$이고 $\liminf_{|x|\to\infty} (q \cdot \text{pen}(x) - \log |x|) = -\infty$이면 (여기서 $q = p(p-1)/2$), 오직 PSD인 임의의 $S$에 대해 추정치는 존재하지 않는다.

3. 결합 페널티:

   • 본 논문은 대각 페널티와 비대각 페널티가 서로 보완할 수 있음을 보여준다. $S$가 $m_0$개의 0 고윳값과 양수의 대각 성분을 가진다면, 다음의 경우 존재성이 보장된다:
     $$\liminf_{x\to\infty} \frac{\text{pen}_D(x)}{\log x} + \liminf_{|x|\to\infty} \frac{\text{pen}(x)}{\log |x|} > m_0$$
   • 이를 통해, SCAD나 MCP 또는 심리스(seamless) $L_0$와 같이 꼬리 성장이 약한(bounded) 비대각 페널티를 사용하더라도, 충분히 강한 대각 페널티와 결합함으로써 성공적으로 활용할 수 있다.

4. 사후 분포 적절성:

   • 본 논문은 이러한 발견을 베이지안 설정으로 확장한다. 위의 조건 하에서 MAP 추정치가 존재하더라도, 사후 분포의 적절성(유한한 적분)을 위해서는 더 강한 조건이 필요하다.
   • PD $S$에 대해, 비대각 사전 분포 $\pi$가 유계(bounded)이고 대각 사전 분포 $\pi_D$가 0과 무한대 근처에서 특정 적분 가능 조건을 만족하면 적절성이 유지된다.
   • PSD $S$에 대해, 적절성을 위한 충분조건은 비대각 사전 분포 $\pi$가 적절(proper, 적분 가능)하고 대각 사전 분포 $\pi_D$가 유한한 $n/2$ 모멘트를 갖는 것이다.

5. 일반화:

   • 결과는 서로 다른 페널티를 갖는 항목들, 비대칭 비대각 페널티, 그리고 크기에 따라 엄격히 증가하지 않는 페널티로 확장됨을 보여준다.
   • 또한 부분 상관관계(partial correlations)에 대한 페널티를 다루며, 일반적인 분리 가능한 페널티와 달리 부분 상관관계만을 페널티를 부과하는 것은 PSD $S$에 대한 존재성을 보장하기에 불충분하며, 대각 페널티가 여전히 필요함을 명시한다.

의의 및 주장
본 논문은 거의 모든 종류의 분리 가능한 페널티 함수에 대해 페널티 부과 가능도 추정치의 존재성을 결정하는 "로드맵"을 제공한다고 주장한다. 주요 의의는 통계적 모델 선택(종종 편향을 줄이기 위해 SCAD, MCP 또는 심리스 $L_0$와 같이 꼬리가 약한 비대각 페널티를 선호함)과 수학적 존재성(고차원 설정 $n \le p$에서) 사이의 긴장을 해결하는 데 있다.

저자는 약한 비대각 페널티만으로는 $S$가 오직 PSD인 경우 존재성을 보장하기에 실패하지만, 이를 적절히 강한 대각 페널티와 결합함으로써 고차원 설정에서 성공적으로 사용할 수 있다고 주장한다. 이 결합은 표본 크기가 차원을 초과할 필요 없이 모든 PSD $S$에 대해 추정치의 존재성을 보장한다. 본 논문은 이러한 조건들이 존재성을 보장하지만, 대각 페널티의 선택 또한 추정 성능과 희소성에 영향을 미친다는 점을 언급하며, 도출된 조건들이 통계적 성능을 위한 최적의 튜닝이라기보다는 존재성을 위한 최소한의 요구사항임을 시사한다. 또한, 본 연구는 MAP 추정치의 존재성과 전체 사후 분포의 적절성 사이의 구분을 명확히 하며, PD 및 PSD 시나리오 모두에 대한 명시적인 조건을 제공한다.