When can a posterior predictive check identify the learning rate? Exact degeneracy in Gaussian models and implications for Generalised Bayesian Inerence

기술적 요약: 가우시안 모델에서의 정확한 퇴화와 일반화된 베이지안 추론에 대한 함의

문제 정의
일반화된(또는 깁스) 베이지안 추론은 우도 함수 $p(y|\theta)$를 학습률 $\eta > 0$로 템퍼링하여 $p(y|\theta)^\eta$로 대체함으로써 모델 오설정(misspecification) 문제를 다룬다. $\eta$의 선택은 보정(calibration)에 매우 중요하지만, 이를 선택하는 것은 여전히 어려운 과제이다. Zafar와 Nicholls (2024)는 $\eta$를 선택하기 위한 간단하고 탐색적인 방법으로 로그-우도 기반의 사후 예측 점검(PPC)을 사용하는 방법을 제안했다. 구체적으로, PPC $p$-값(p-value)이 기각되지 않는(즉, $p(\eta) \ge \alpha$) 가장 작은 $\eta$를 그리드 상에서 선택한다. 이 접근 방식은 복잡하고 오설정된 모델에서는 유망한 결과를 보였으나, 단순하고 정형적인(canonical) 모델에서의 동작에 대해서는 엄밀하게 검토된 바 없다. 본 논문은 이 PPC 선택기가 정형 가우시안 선형 모델에서 서로 다른 학습률을 구분할 수 있는지 조사한다.

방법론
저자는 $y = X\beta + \varepsilon$, $\varepsilon \sim N(0, \sigma^2 I_n)$인 가우시안 선형 모델에 대해 PPC $p$-값 선택기에 대한 정확한 유한 표본 분석을 수행한다. 분석은 두 가지 주요 시나리오를 고려한다:

1. 분산이 알려진 경우: $\sigma^2 = \sigma_0^2$은 알려져 있으며, $\beta$에 대해서는 평평한 사전 분포(flat prior)를 사용한다.
2. 분산을 모르는 경우: $\beta$와 $\sigma^2$ 모두 미지수이며, 표준 참조 사전 분포(reference prior) $\pi(\beta, \sigma^2) \propto \sigma^{-2}$를 활용한다.

PPC $p$-값은 $p(\eta) = P(T(y_{rep}, \theta) < T(y, \hat{\theta}_\eta))$로 정의된다. 여기서 $T$는 로그-우도 불일치(discrepancy)이고, $\hat{\theta}_\eta$는 템퍼링된 우도 하의 사후 평균이며, $y_{rep}$는 템퍼링되지 않은 모델으로부터 추출된다. 저자는 이 $p$-값의 분포가 $\eta$, 데이터, 그리고 데이터 생성 과정(DGP)에 어떻게 의존하는지 결정하기 위해 폐쇄형(closed-form) 표현식을 유도한다.

주요 기여 및 결과

1. 알려진 분산 하에서의 정확한 퇴화 (정리 1):
   $\sigma^2$이 알려져 있고 평평한 사전 분포가 사용될 때, PPC $p$-값은 $\eta$에 대해 **불변(invariant)**이다. 임의의 $\eta > 0$에 대해, $p$-값은 $P(\chi^2_n > \text{RSS}/\sigma_0^2)$와 같다.

• 함의: 이 선택기는 학습률을 구분할 수 없다. 이는 잔차 제곱합(RSS)이 가정된 분산에 비해 상대적인 정도에 따라, 그리드 전체를 수용하거나(최소 그리드 값을 반환) 그리드 전체를 기각한다.
• 오설정: 선택기는 양방향 비식별적(two-sided non-identifying)이다. 만약 실제 분산이 가정된 분산보다 크면(과분산), 모든 $\eta$에 대해 $p \to 0$이 된다. 만약 실제 분산이 더 작으면(저분산), 모든 $\eta$에 대해 $p \to 1$이 된다. 어떤 경우에도 선택기는 적합도를 교정하기 위해 $\eta$를 활용하지 못한다.

2. 미지수 분산 하에서의 데이터 독립적 법칙 (정리 2):
   참조 사전 분포를 사용하여 $\sigma^2$을 모르는 경우, $p$-값은 다음과 같은 폐쇄형 표현식을 갖는다:
   $$p(\eta) = P\left[ W + n \log\left(\frac{\eta n - d - 2}{V}\right) > \frac{\eta n - d - 2}{\eta} \right]$$
   여기서 $W \sim \chi^2_n$이고 $V \sim \chi^2_{\eta n - d}$이며, 둘은 독립이다.

• 결정적 발견: 이 식은 오직 표본 크기 $n$, 계수 $d$, 그리고 학습률 $\eta$에만 의존한다. 이는 실현된 데이터 $y$ 및 데이터 생성 과정으로부터 완전히 독립적이다.
• 결과: 선택된 $\eta$는 데이터를 관측하기 전에 이미 결정된다. 수치 분석 결과, 일반적인 그리드에 대해 곡선 $p_{n,d}(\eta)$는 기각 임계치(예: $\alpha=0.10$)보다 훨씬 높게 위치한다. 결과적으로, 선택기는 데이터의 실제 적합도와 상관없이 항상 가장 작은 허용 가능한 그리드 값(그리드 바닥)으로 붕괴한다.

3. 보정 비용:
   데이터 독립적 붕괴로 인해 선택기가 가장 작은 $\eta$(과도한 템퍼링)를 기본값으로 선택함에 따라, 결과적인 예측 구간은 지나치게 넓어진다. 시뮬레이션에 따르면, PPC로 선택된 $\eta$를 사용하여 구축된 90% 예측 구간은 0.97–0.99의 피복률(coverage rate)을 달성하여 과잉 피복(over-covering)되는 양상을 보이며, 홀드아웃(held-out) 선택이나 $\eta=1$로부터 도출된 구간보다 1.5–1.9배 더 넓다.

4. 사전 분포의 역할:
   정확한 데이터 독립성은 참조 사전 분포(또는 알려진 분산의 경우 평평한 사전 분포)에 특이적이다. 저자는 정보적 사전 분포(예: 적절한 리지 사전 분포)를 도입하면 이 정확한 퇴화가 깨져 $p$-값이 데이터에 의존하게 된다고 언급한다. 그러나 희박한(diffuse) 사전 분포의 경우, 그 의존성은 수치적으로 무시할 수 있는 수준이며, 선택기는 여전히 그리드 바닥으로 붕괴하는 경향을 보인다.

의의 및 범위
본 논문은 이러한 발견을 일반적인 부정적 진술이라기보다 하나의 "경계 결과(boundary result)"로 규정한다. 그 의의는 다음과 같다:

• 정형 클래스 식별: 본 연구는 PPC 선택기가 증명 가능하게 비식별적인 특정 모델 클래스(가우시안 척도-위치 가족 및 참조 사전 분포)를 명시한다.
• 메커니즘 설명: 이러한 실패를 불일치 통계량이 피벗 양(pivotal quantities)의 함수라는 "피벗성 속성(pivotality property)" 때문으로 설명한다. 이로 인해 통계량 간의 비교 확률이 미지 파라미터로부터 자유로워지며, 미지 분수의 경우 데이터 자체로부터도 자유로워진다.
• 실용적 진단 도구: 저자는 "저렴하고 데이터가 필요 없는 사전 스크리닝 진단법"을 제안한다. 모델을 적합시키기 전에, 실무자는 자신의 $(n, d)$ 구성에 대한 이론적 $p$-값 곡선을 계산할 수 있다. 만약 그리드 상의 최소 $p$-값이 유의 수준 $\alpha$를 초과한다면, 해당 PPC 선택기는 데이터 독립적이며 그리드 바닥으로 붕괴할 것임을 미리 알 수 있다. 이러한 상황에서는 홀드아웃 선택이나 ELPPD와 같은 데이터 기반 대안이 권장된다.

결론적으로, Zafar와 Nicholls (2024)의 접근 방식이 복잡하고 비-공액(non-conjugate)인 설정에서는 작동할 수 있지만, 이러한 정확한 유한 표본 특성을 가진 정형 가우시안 설정에서는 근본적으로 실패하므로 적용 시 주의가 필요하다.