An Old Look at Empirical Bayes

기술적 요약: 경험적 베이지안 (Empirical Bayes) 에 대한 오래된 시각

문제 제기
본 논문은 데니스 린들리 (Dennis Lindley) 의 비판, 즉 경험적 베이지안 (EB) 이 "동일한 데이터를 두 번 사용한다"는 이유로 통계적 비일관성을 가진다는 주제를 재조명한다. 구체적으로 EB 는 먼저 주변 분포로부터 초모수 (hyperparameters) 또는 사전분포를 추정하고, 그 다음에 그 사전분포가 고정되고 알려진 것처럼 사후분포를 계산한다. 저자들은 현대의 EB 확장, 특히 데이비드 블레이 (David Blei) 의 2026 년 IMS 메달리온 강연 프로그램이 확률적 대칭성, 시뮬레이션 기반 추론, 보정 연구와 같은 계산적 혁신과 "베이지안 경험적 베이지안", "모집단 사후분포 (population posterior)"와 같은 용어적 변화를 통해 이를 해결하려 시도한다고 주장한다. 핵심 문제는 이러한 계산적 및 개념적 확장이 사전분포/초모수에서의 불확실성 전파 실패라는 EB 의 근본적 비일관성을 해결하는지, 아니면 단순히 이를 은폐하는지에 있다. 저자들은 완전한 위계적 (hierarchical) 엄밀성을 유지하는 계산 비용이 충분히 낮아졌으므로, 효율성 향상이라는 명분으로 EB 의 "단축키"가 더 이상 정당화되지 않는다고 논한다.

방법론 및 이론적 틀
본 논문은 새로운 실험적 시뮬레이션이 아닌 이론적 및 비교 분석을 수행한다. 세 가지 구별된 추론 접근법을 대조한다:

1. 완전 위계적 베이지안 (Full Hierarchical Bayes): 초모수 $\eta$에 대한 적절한 초사전분포 (proper hyperprior) $\rho(\eta)$를 가진 결합 확률 모델을 지정하여, 일관된 사후분포 $p(\theta | x) = \int p(\theta | x, \eta)p(\eta | x)d\eta$를 도출한다.
2. 고전적 경험적 베이지안 (Type II ML): 주변 최대우도 (또는 모멘트법) 를 통해 $\eta$를 추정하여 $\hat{\eta}(x)$를 얻은 후, $p(\theta | x, \hat{\eta})$를 계산한다. 이는 $\hat{\eta}$의 변동성을 무시한다.
3. 블레이의 현대적 프로그램:
   • 베이지안 경험적 베이지안 (BEB): 교환성, 이동 불변성과 같은 확률적 대칭성과 에르고드 분해를 사용하여 지시 측도 (directing measure) $g$를 정의하며, 변분 추론이나 신경망을 통해 이를 추정한다.
   • 모집단 사후분포 (Population Posterior): 실현된 데이터에 대한 사후분포가 아닌, 반복 데이터셋에 대한 기대값인 $q^*(\theta) = E_{X \sim F}[p(\theta | X)]$를 목표로 정의한다.
   • 시뮬레이션 기반 EB: 암시적 우도 (implicit likelihoods) 와 상각 추론 네트워크 (amortized inference networks) 를 사용하여 모집단 사후분포를 근사한다.

저자들은 트위디 공식 (Tweedie formula) ($E[\theta|x] = x + \sigma^2 \nabla \log m(x)$) 을 통해 이를 분석하며, 다음을 구분한다:

• f-modeling: 주변 밀도 $m(x)$를 직접 평활화한다. 저자들은 이것이 결과 추정량이 유효한 사전분포에서 비롯됨을 보장하지 않으며, 이로 인해 허용 가능성 (admissibility) 과 일관성이 위반될 수 있다고 주장한다.
• g-modeling / NPMLE: 혼합 분포 $\pi$를 추정한다. 일관성은 있으나, 결과적인 사전분포는 유한한 지지집합을 가진 이산형이 되어 희소 신호 복원에 필요한 두꺼운 꼬리 (heavy tails) 를 포착하지 못할 수 있다.
• 호스슈 (Horseshoe) 위계적 베이지안: 희소 정규 평균 문제에서 유효한 트위디 공식을 도출하고 미니맥스 최적성을 달성하는 연속적인 전역 - 지역 축소 사전분포 (반 - 코시 초사전분포) 이다.

주요 기여 및 논점
본 논문은 네 가지 주요 기술적 논점을 제시한다:

1. "베이지안 경험적 베이지안"의 구분: 저자들은 블레이의 "베이지안 경험적 베이지안 (BEB)"이 딜리 - 린들리의 "베이지안 경험적 베이지안"과 구조적으로 구별된다고 명확히 한다. 딜리 - 린들리는 유한 차원 매개변수에 적절한 초사전분포를 둔다. 반면 블레이의 BEB 는 신경망을 최적화 도구로 사용하여 무한 차원 지시 측도를 주변 최대우도 (MML) 로 적합시키며, 지시 측도에 대한 사후분포를 두지 않는다. 결과적으로 BEB 는 고전적 EB 의 데이터 의존성과 커버리지 부족 문제를 물려받으며, 단순히 플러그인 추정을 더 높은 추상화 수준으로 이동시킬 뿐이다.

2. "모집단 사후분포"의 본질: 본 논문은 "모집단 사후분포"($q^*$) 가 실현된 데이터에 조건부인 베이지안 사후분포가 아니라, 가상의 반복에 대한 기대값인 빈도주의적 객체라고 논한다. PAC-베이지안 이론과 연결된 유효한 예측적 해석을 가지지만, 이를 "사후분포"로 마케팅하는 것은 불확실성 정량화에 대한 혼란을 야기한다. 저자들은 이를 빈도주의적 평균 특성을 반영하여 "모집단 예측 분포 (population predictive distribution)"로 명명할 것을 제안한다.

3. f-modeling 과 트위디 공식에 대한 비판: 저자들은 에프론의 f-modeling 에 대한 다타 - 폴슨 (Datta-Polson) 의 비판을 정교화한다. 평활화된 주변 점수 함수 (score function) 가 반드시 유효한 사전분포에 대응하는 것은 아님을 보여준다. 따라서 결과적인 "사후평균"은 진정한 베이지안 규칙이 아니며, 적절한 사전분포와 관련된 허용 가능성과 미니맥스 보장을 결여한다. 반면, 호스슈 트위디 공식은 적절한 위계적 사전분포 (반 - 코시 스케일 혼합) 에서 유도되어, 희소 신호에 대한 최적의 꼬리 거동을 가진 진정한 베이지안 규칙으로서 축소 프로필을 보장한다.

4. 시뮬레이션 기반 추론 (SBI) 과 목표: 본 논문은 표준 사후분포 $p(\theta|x)$를 목표로 하는 SBI 방법 (예: 신경 사후분포 추정, 생성적 베이지안 계산) 과 모집단 사후분포를 목표로 하는 블레이의 SBI-EB 를 구분한다. 저자들은 현대 SBI 도구가 완전한 위계적 사후분포를 직접 계산할 수 있으므로, 이를 모집단 평균 객체를 근사하는 데 사용하는 것은 목표의 선택일 뿐 계산적 필연성이 아니라고 논한다.

결과 및 발견

• 일관성과 불확실성: 본 논문은 EB 단축키 (플러그인 추정량) 가 체계적으로 불확실성을 과소평가하여, 특히 소표본 또는 희소 영역에서 신뢰구간의 커버리지 부족을 초래함을 규명한다. 완전한 위계적 베이지안은 초모수 불확실성을 올바르게 전파한다.
• 최적성: 희소 정규 평균 문제에서 호스슈 위계적 베이지안 추정량은 미니맥스 최적 속도를 달성한다. 저자들은 NPMLE (일관된 EB 방법) 가 생성하는 이산형 사전분포가 호스슈의 두꺼운 꼬리 거동을 따라잡지 못해 꼬리 추론에서 비최적 성능을 보임을 보인다.
• 계산적 트레이드오프: 저자들은 현대 변분 추론, 신경 상각 (neural amortization), 시뮬레이션 기반 방법을 통해 완전한 위계적 베이지안의 계산 비용이 이제 EB 단축키의 추론 비용에 비해 무시할 수 있을 정도로 낮아졌다고 주장한다.
• 사례 연구:
  • 약물감시 (DuMouchel): 성공적인 정보 공유는 감마 - 푸아송과 같은 실제 위계 구조에 의존하며, 여기서 EB 단계는 근본적 필연성이 아닌 계산적 편의임을 보여준다.
  • 보정 연구: 보정을 통해 실험 데이터와 관찰 데이터를 결합하는 것은 편향을 위한 위계적 모델을 필요로 한다. 편향 매개변수에 대한 MLE 추정치를 플러그인하는 것은 불확실성 전파에 실패하지만, 편향 스케일에 호스슈 사전분포를 가진 위계적 모델은 일관된 추론을 제공한다.

의의 및 권고
본 논문은 경험적 베이지안 개념의 "이름 변경" (예: "베이지안 경험적 베이지안"으로) 이 린들리, 굿, 듀무셸이 지적한 근본적인 통계적 비일관성을 해결하지 못한다고 결론 내린다. 이 연구의 의의는 현대 통계의 놀라운 계산 장비 (변분 추론, 신경망, SBI) 를 적절한 위계적 베이지안을 위해 재배치하되, 그 대용품으로 사용하지 말라는 호소에 있다.

저자들은 다음과 같이 권고한다:

1. 희소 문제에 대한 기본값으로 전역 - 지역 축소 사전분포 (특히 호스슈 및 그 변형) 를 채택할 것. 이는 일관된 불확실성 정량화와 미니맥스 최적성을 제공한다.
2. "모집단 사후분포"를 베이지안 사후분포가 아닌 빈도주의적 예측 객체로 취급할 것.
3. EB 와 완전한 위계적 베이지안 사이의 계산 격차가 해소되어 EB 단축키의 주요 정당화 근거가 사라졌음을 인식할 것.
4. "경험적" 방법의 사용이 위계적 모델에 대한 근사임을 명시적으로 framing 하고, 근사가 실패하는 조건 (예: 소수의 그룹, 높은 희소성) 을 명확히 인정할 것.

본 논문은 경험적 베이지안이 무용하다고 주장하는 것이 아니라, 현대적 계산 확장이 완전한 위계적 사후분포를 계산하기 위한 도구로 간주되어야 함을 역설한다. 이를 통해 EB 단축키가 필요하다고 여겨졌던 계산 효율성을 달성하면서도 베이지안 추론의 엄밀성을 유지할 수 있다.