기술 요약: 선택할 것인가 선택하지 않을 것인가: 모델 선택 대신 예측적으로 일관된 사전 분포(Predictively Consistent Priors)

문제 정의

베이지안 모델링 워크플로우에서 실무자들은 모델 복잡도와 일반화 능력 사이의 절충안에 직면하곤 한다. 통계적 관습은 특히 유한한 데이터 환경에서 과적합을 피하기 위해 더 단순한 모델을 선택하는 것(간결성, parsimony)이 필요하다고 제안한다. 그러나 모델 선택 자체는 불안정성의 원인이 될 수 있으며, 사용된 기준에 따라 과적합 또는 과소적합을 선호하게 만드는 선택 유도 편향(selection-induced bias)을 도입할 수 있다.

본 연구가 다루는 핵심 문제는 모델 선택이 언제 필요한지, 그리고 언제 불필요하거나 심지어 해로운지를 결정하는 것이다. 저자들은 단순한 모델을 선택해야 한다는 인식이 모델 구조 자체에서 기인하는 것인지, 아니면 모델 복잡도가 증가함에 따라 합리성을 유지하지 못하는 부실한 사전 분포 지정에서 기인하는 것인지를 조사한다. 구체적으로, 이들은 공변량을 추가하거나 비선형 복잡도를 높일 때 사전 분포의 선택이 예측 성능의 안정성에 어떤 영향을 미치는지 검토한다.

방법론

이론적 프레임워크

본 논문은 **예측적으로 일관된 사전 분포(predictively consistent priors)**의 개념을 정식화한다. 저자들은 복잡도 $d$(예: 예측 변수의 수 또는 기저 함수)가 증가하는 일련의 중첩된 모델 $\{M_d\}$를 정의한다. 그리고 이 시퀀스 내의 사전 분포에 대해 두 가지 핵심 속성을 도입한다:

1. 2차 예측 일관성(Second-Order Predictive Consistency): 사전 분포 시퀀스가 예측적으로 일관되다는 것은 유도된 신호 분포(체계적 성분 $\eta_d$)의 분산이 전역적으로 유계(bounded)되어 있고 $d \to \infty$일 때 유한한 극한값으로 수렴함을 의미한다. 형식적으로, $\sup_{d} \text{Var}_{q_d}(\eta_d) \leq C$ 이고 $\lim_{d \to \infty} \text{Var}_{q_d}(\eta_d) = L$ 이다. 이는 모델 구성 요소를 추가하더라도 사전 예측 분포가 폭발하거나 터무니없어지지 않도록 보장한다.
2. 예측적 간결성(Predictive Parsimony): 연속적인 유도 신호 분포 간의 쿨백-라이블러(Kullback-Leibler, KL) 발산이 합산 가능해야 한다는 더 약한 조건이다. 저자들은 예측적 간결성만으로는 분산 폭발을 방지하기에 불충분하다는 것을 보여준다(예: 독립 정규 사전 분포는 간결성을 만족하지만 일관성은 실패한다).

저자들은 이러한 조건들을 표준적인 독립 정규 사전 분포(예: $\beta_j \sim \mathcal{N}(0, \tau^2)$)와 대조한다. 이들은 독립 정규 사전 분포가 예측적 일관성을 위반하는 경우가 많음을 보여주는데, 이는 예측 변수의 수($d$)에 따라 전체 신호 분산($d\tau^2$)이 선형적으로 증가하여 비현실적인 사전 예측 분포를 만들기 때문이다.

실험 설계

저자들은 시뮬레이션 데이터를 사용하여 네 가지 실험 환경을 통해 이러한 개념들을 평가한다:

1. 로지스틱 회귀에서의 공변량 추가: 모든 공변량을 포함하는 조밀한(dense) 환경이다. 독립 정규 사전 분포와 R2D2 사전 분포(베이지안 $R^2$에 사전 분포를 두는 방식)를 비교한다.
2. 전진 단계적 선택(Forward Stepwise Selection): 일부 공변량만이 관련 있는 희소(sparse) 환경이다. 독립 정규 사전 분포를 사용하는 전진 선택법과 R2D2 사전 분포를 사용하는 방식을 투영 예측 추론(projection predictive inference, projpred)과 함께 비교한다.
3. 비선형 복잡도 증가: 단일 예측 변수 설정에서 다항식 차수나 기저 함수를 증가시킨다(원시 다항식, 직교 다항식, 얇은 판 스플라인, Hilbert Space Approximate Gaussian Processes).
4. 무작위 대조 시험(RCTs): 고차원 공변량을 통제하면서 처치 효과를 추정하는 인과 추론 설정이다. 결합 사전 분포(모든 계수에 대한 R2D2)와 분리된 사전 분포(공변수에 대한 R2D2, 처치에 대한 독립 정규 분포)를 비교한다.

성능은 테스트 데이터가 없는 경우 PSIS-LOO-CV를 통해 추정된 독립 테스트 데이터에 대한 기대 로그 예측 밀도(expected log predictive density, elpd)로 측정된다.

주요 기여

1. 예측적으로 일관된 사전 분포의 정식화: 본 논문은 모델 복잡도가 증가함에 따라 안정적인 예측적 함의를 유지하는 사전 분포에 대한 엄밀한 수학적 정의를 제공한다. 이는 "간결성"(복잡성에 대한 페널티)과 "예측적 일관성"(사전 예측 분포의 척도 제어)을 구분한다.
2. 해로운 선택의 입증: 저자들은 예측적으로 일관된 사전 분포를 사용할 때, 더 단순한 모델을 선택하는 것이 종종 불필요하다는 것을 보여준다. 많은 실험에서, 일관된 사전 분포를 가진 전체 복잡 모델이 선택된 더 단순한 모델과 일치하거나 오히려 더 나은 성능을 보인다. 반대로, 모델 선택이 "도움이 되는" 것처럼 보일 때(즉, 더 단순한 모델이 더 나은 성능을 보일 때), 이는 모델 구조 자체가 본질적으로 결함이 있는 것이 아니라 복잡한 모델에 대한 사전 분포가 잘못 지정되었음(예: 불가능한 값에 과도한 질량을 배치함)을 나타내는 경우가 많다.
3. R2D2 및 함수 공간 사전 분포를 통한 해결책: 저자들은 다음과 같이 예측적 일관성을 구현한다:
   • R2D2 사전 분포: 설명된 분산의 비율($R^2$)에 사전 분포를 둠으로써, 유도된 계수에 대한 사전 분포가 예측 변수가 추가됨에 따라 분산 폭발을 방지하도록 자동으로 척도를 조절한다.
   • 함수 공간 사전 분포: 가우시안 프로세스와 페널티 스플라인은 함수의 주변 분산을 제한함으로써 예측적 일관성을 자연스럽게 만족함을 보여준다.
4. 인과 추론에 대한 시사점: RCT 실험에서, 결합 R2D2 사전 분포는 공변수의 수가 증가함에 따라 처치 계수 추정에 심각한 편향을 유발할 수 있음을 밝혀냈다. 이는 공변량에 의한 과도한 수축(shrinkage)을 일으키기 때문이다. 이는 예측에는 예측적 일관성이 필수적이지만, 인과 추론에서는 특정 파라미터에 대한 의도치 않은 수축을 피하기 위해 사전 분포를 분리해야 함을 강조한다.

결과

• 선형 및 로지스틱 회귀: 공변량을 추가하는 실험에서, 독립 정규 사전 분포를 사용한 모델은 예측 변수가 증가함에 따라 (폭발하는 사전 분산으로 인해) 외-표본 예측 성능(elpd)이 급격히 하락했다. 반면, R2D2 사전 분포를 사용한 모델은 실제 모델 크기까지 안정적인 성능을 유지했다.
• 전진 선택: 독립 정규 사전 분포를 사용할 때, 전진 선택은 과적합을 피하기 위해 조기에 중단되는 경우가 많았으나, 결과적으로 생성된 모델은 R2D2 사전 분포를 가진 전체 모델보다 성능이 떨어졌다. R2D2 사전 분포는 성능 저하 없이 모든 공변량을 사용할 수 있게 해주었다.
• 비선형 모델링: 독립 사전 분포를 사용한 원시 다항식 회귀는 높은 차수에서 폭발적인 사전 예측 분산과 저하되는 테스트 성능을 보였다. 페널티 얇은 판 스플라인과 HSGP와 같이 예측적으로 일관된 모델들은 안정적이었다.
• 인과 추론: RCT 실험에서 결합 R2D2 사전 분포는 공변수의 수($p$)가 증가함에 따라 처치 효과 추정에 심각한 하향 편향을 초래하여 낮은 커버리지를 보였다. "분리된(split)" 사전 분포(공변수에 대해서는 R2D2, 처치에 대해서는 고정된 정규 분포)가 편향을 유발하지 않으면서 공변량으로부터 분산 감소를 제공하는 최적의 균형을 달랐다.

의의 및 주장

본 논문은 복잡성을 관리하기 위한 전통적인 모델 선택에 대한 의존이 종종 부실한 사전 분포 지정에 대한 임시방편(workaround)이라고 주장한다. 저자들은 예측적으로 일관된 사전 분포를 사용하면, 사전 분포가 합리적인 사전 예측 분포를 유지하도록 지정되어 있는 한, 과적합에 대한 두려움 없이 가용한 모든 정보를 포함하도록 모델을 안전하게 확장할 수 있다고 주장한다.

실무자를 위한 핵심 요점은 다음과 같다:

• 결합 사전 분포 지정: 구성 요소 간의 독립 가정은 안전한 기본값이 아니다. 이는 매우 정보량이 많고 비현실적인 결합 사전 분포를 암시할 수 있다.
• 사전 예측 점검(Prior Predictive Checks): 사전 분포가 터무니없는 값에 너무 많은 질량을 배치하고 있는지 감지하기 위해 결합된 양(예: 사전 $R^2$)을 확인하는 것이 필수적이다.
• 선택의 재평가: 만약 모델 선택이 더 단순한 모델을 선호한다면, 이는 간결성의 진정한 필요성이라기보다 복잡한 모델에 대한 부실한 사전 분포의 징후일 수 있다.
• 맥락이 중요하다: 예측적 일관성은 예측에는 매우 중요하지만, 인과 추론에서는 어떤 파라미터를 수축시켜야 하는지에 대한 신중한 고려가 필요하다. 결합된 사전 분포가 결과값에 대해 예측적으로 일관되더라도, 특정 인과적 파라미터에 대해서는 편향을 일으킬 수 있다.

저자들은 목표가 구성 요소 수준에서 희소성을 강제하는 선택을 하는 것이 아니라, 모델이 더 복합해짐에 따라 예측 공간에서 합리적으로 남아 있는 사전 분포를 지정하는 것이 되어야 한다고 결론짓는다. 이 접근 방식은 더 안전하고 반복적인 모델 확장 워크플로우를 지원한다.