Translating predictive distributions into informative priors

이 논문은 복잡한 베이지안 모델에서 관측 가능량 (observable) 또는 모델 유도량 (model-derived quantity) 에 대한 사전 정보를 모델 매개변수 (latent parameters) 에 대한 정보성 사전분포 (informative prior) 로 변환하는 새로운 방법론을 제안합니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 문제 제기 (Problem Statement)

• 배경: 베이지안 분석에서 사전 정보 (prior information) 를 통합하는 것은 개념적으로 간단하지만, 실제로 정보성 사전분포를 구성하는 것은 어렵습니다. 특히 비선형적이거나 과매개변수화된 (overparameterised) 복잡한 모델의 경우, 사전분포가 현실 세계의 알려진 특성과 모순되는 행동을 보일 수 있어 이를 배제하기 위한 정보성 사전분포가 필수적입니다.
• 핵심 난제: 전문가로부터 elicitation(도출) 된 정보는 주로 관측 가능량 $Y$나 모델에서 유도된 특정 통계량 (예: $R^2$) 에 대한 형태 (예: 분포, 분위수) 로 존재합니다. 그러나 베이지안 모델의 매개변수 $\theta$는 보통 잠재적 (latent) 이며, 관측 가능량과 직접적인 대수적 관계가 없는 경우가 많습니다.
• 기존 방법의 한계:
  • 단순한 모델에서는 매개변수의 역함수 등을 통해 직접 변환이 가능하지만, 복잡한 비공액 (nonconjugate) 모델에서는 변환이 명확하지 않습니다.
  • 기존 자동화 방법들은 주로 특정 모델 구조에 국한되거나, 전문가가 '가능/불가능' 영역을 표시하는 방식에 의존하여, 분포 기반의 불확실성을 직관적으로 표현하지 못합니다.

2. 제안된 방법론 (Methodology)

저자들은 예측 검증 (Predictive Checks) 개념과 다목적 최적화 (Multi-objective Optimisation) 를 결합한 자동화된 변환 프레임워크를 제안합니다.

2.1 기본 설정

• 목표: 전문가가 도출한 타겟 예측 분포 $T(Y)$ (또는 $T(Y|X)$) 와 모델의 사전 예측 분포 $P(Y|\lambda)$ 사이의 차이를 최소화하는 하이퍼파라미터 $\lambda$를 찾는 것.
• 가정: $T(Y)$는 표준 분포의 혼합으로 표현되거나 샘플링이 가능하다고 가정합니다. $P(Y|\lambda)$는 닫힌 형식 (closed-form) 이 아닐 수 있습니다.

2.2 최적화 목적 함수

두 가지 목적을 동시에 고려하는 다목적 최적화 문제를 설정합니다.

1. 주요 목적: 충실도 (Faithfulness)

   • 사전 예측 분포와 타겟 분포 간의 차이를 정량화하는 예측 불일치 (Predictive Discrepancy) $\tilde{D}(\lambda)$를 최소화합니다.
   • 불일치 함수: Cramér-von Mises (CvM), Anderson-Darling (AD), Kullback-Leibler (KL) 발산 등 다양한 거리 측정 지표를 사용할 수 있습니다.
   • 수식: $\tilde{D}(\lambda | X) = \frac{1}{R} \sum_{r=1}^R \int d(P(Y|\lambda, X_r), T(Y|X_r)) dT(Y|X_r)$

2. 보조 목적: 유일성 및 재현성 (Uniqueness & Replicability)

   • 동일한 충실도를 가진 여러 $\lambda$가 존재할 수 있으므로 (비유일성 문제), 이를 해결하기 위해 사전 분포의 속성을 제어하는 보조 목적 함수 $\tilde{N}(\lambda)$를 도입합니다.
   • 예시: 사전 불확실성을 최대화하는 것 (예: $\theta$의 주변 표준편차의 로그 합을 최대화). 이는 불필요한 제약 없이 가능한 넓은 범위의 사전분포를 선호할 때 사용됩니다.
   • 수식: $\tilde{N}(\lambda | X) = \int n(\theta) dP(\theta|\lambda, X)$

2.3 최적화 알고리즘 (Two-stage Global Optimisation)

복잡한 목적 함수를 효율적으로 최적화하기 위해 2 단계 전역 최적화 절차를 사용합니다.

1. 1 단계 (충실도 중심):
   • CRS2 (Controlled Random Search 2) 알고리즘을 사용하여 $\tilde{D}(\lambda)$를 최소화하는 초기 설계점 (design points) 을 탐색합니다.
   • 이 단계에서 얻은 점들을 다음 단계의 초기 설계 (initial design) 로 사용합니다.
2. 2 단계 (다목적 최적화):
   • MSPOT (Multi-Objective Stochastic Pareto Optimisation) 알고리즘을 사용하여 베이지안 최적화 (Bayesian Optimisation) 를 수행합니다.
   • 각 목적 함수에 대해 가우시안 프로세스 (GP) 를 근사 모델로 사용하여, 노이즈가 있고 계산 비용이 큰 목적 함수를 효율적으로 탐색합니다.
   • 파레토 프론티어 (Pareto Frontier) 를 생성하여 충실도와 보조 목적 간의 트레이드오프를 시각화합니다.
3. 최종 선택:
   • 파레토 프론티어 상의 점들 중에서 가중치 $\kappa$를 부여한 손실 함수 $\tilde{L}(\lambda) = \log(\tilde{D}) + \kappa \tilde{N}$을 최소화하는 $\lambda^*$를 선택합니다.
   • $\kappa$는 최적화 후 파레토 프론티어를 분석하여 선택할 수 있어, 사전 최적화 단계에서 $\kappa$를 정확히 설정할 필요가 없습니다.

3. 주요 사례 연구 (Examples)

3.1 치료율 생존 모델 (Cure-fraction Survival Model)

• 상황: 관측 데이터가 우측 중도절단 (right-censoring) 되어 있어 관측 가능량이 이산/연속 혼합 분포를 가짐.
• 결과: 제안된 방법은 타겟 생존 분포를 충실히 반영하는 사전분포를 생성했습니다. 단일 목적 최적화 (충실도만) 는 매개변수 $\beta$가 0 에 수렴하는 퇴화 (degenerate) 된 해를 찾았으나, 다목적 최적화 (불확실성 최대화 추가) 는 더 유일성 (uniqueness) 이 개선된 해를 제공했습니다.

3.2 모델 유도량 ($R^2$) 에서의 사전분포

• 상황: 회귀 모델의 결정계수 $R^2$에 대한 사전 정보를 회귀계수 $\beta$의 사전분포로 변환.
• 결과:
  • 가우시안 사전분포: $R^2$ 정보를 충실히 반영하지 못함 (충실도 낮음).
  • Shrinkage 사전분포 (Dirichlet-Laplace, Regularised Horseshoe): $R^2$ 분포를 매우 충실히 반영했으나, 특히 Regularised Horseshoe 의 경우 최적화 과정의 재현성 (replicability) 이 낮고 비유일성 문제가 발생함.
  • 노이즈 파라미터 ($\sigma^2$): $R^2$ 정보만으로는 $\sigma^2$에 대한 사전분포를 유일하게 결정하기 어렵다는 것을 확인.

3.3 인간 성장 모델 (Preece-Baines Model)

• 상황: 비선형 회귀 모델에서 키 성장 곡선에 대한 전문가 정보를 사전분포로 변환.
• 결과:
  • 공변량 독립적 (covariate-independent) 과 공변량 종속적 (covariate-specific) 타겟 모두에서 충실한 사전분포를 생성.
  • Stan 경고 분석: 제안된 사전분포는 평탄한 (flat) 사전분포보다 모델 수렴성 (MCMC 수렴) 을 크게 향상시킴.
  • 비유일성: 타겟 분포가 모델의 유연성 부족으로 인해 매개변수 공간을 유일하게 결정하지 못해, 서로 다른 모드 (modes) 를 가진 사전분포가 동일한 손실 값을 가짐을 확인.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 모델-중립적 (Model-agnostic) 접근법: 특정 모델 구조에 의존하지 않고, 관측 가능량이나 유도된 통계량에 대한 분포 정보를 모델 매개변수의 사전분포로 변환하는 일반적인 프레임워크를 제시했습니다.
2. 자동화된 변환 프로세스: 전문가의 직관적 정보 (예측 분포) 를 수학적 최적화 문제로 변환하여, 복잡한 모델에서도 체계적으로 정보성 사전분포를 구성할 수 있게 했습니다.
3. 다목적 최적화를 통한 비유일성 해결: 단순히 분포를 맞추는 것뿐만 아니라, 불확실성 최대화 등 추가적인 기준을 통해 비유일성 (non-uniqueness) 문제를 완화하고 더 안정적인 해를 찾는 전략을 제시했습니다.
4. 실용적 도구 (R 패키지 pbbo): 제안된 알고리즘을 R 패키지 pbbo로 구현하여 연구자들이 쉽게 적용할 수 있도록 했습니다.
5. 실증적 검증: 생존 분석, 회귀 분석, 비선형 성장 모델 등 다양한 복잡한 시나리오에서 방법론의 유효성, 충실도, 재현성을 입증했습니다.

5. 결론 및 한계

이 논문은 복잡한 베이지안 모델링에서 "예측 가능한 정보"를 "매개변수 사전분포"로 변환하는 난제를 해결하기 위한 강력한 도구를 제공합니다. 다만, 전역 최적화 알고리즘의 특성상 전역 최적해를 보장하지는 않으며, 보조 목적 함수의 선택과 가중치 $\kappa$ 설정에 대한 추가 연구가 필요하다는 점을 지적합니다. 그럼에도 불구하고, 이 방법은 데이터 과학자와 통계학자가 복잡한 모델에 대해 직관적이고 타당한 사전 지식을 통합하는 데 중요한 기여를 할 것으로 기대됩니다.