Bayesian inference for the learning rate in Generalised Bayesian inference

기술 요약: 일반화된 베이지안 추론에서 학습률에 대한 베이지안 추론

문제 제기
일반화된 베이지안 추론 (GBI) 은 $\pi_s(\phi|x) \propto \exp(-\eta \ell_\beta(\phi; x))\pi(\phi)$ 형태의 깁스 사후분포를 사용하여 신념을 업데이트하며, 여기서 $\eta$는 학습률이고 $\beta$는 손실 함수 $\ell_\beta$의 하이퍼파라미터를 나타냅니다. GBI 는 모델 오지정 (misspecification) 처리와 이질적인 데이터 세트 결합에 효과적이지만, 추론 하이퍼파라미터 $s = (\eta, \beta)$는 단순히 사전분포를 할당하고 데이터에 조건부화함으로써 모델 파라미터 $\phi$와 함께 추정할 수 없습니다. 그렇게 하면 정규화 상수 $c(\phi, s)$로 인해 $\phi$에 대한 사후분포가 왜곡됩니다. 따라서 기존 방법들은 종종 임의의 선택이나 교차검증에 의존합니다. 본 논문은 특히 일부 모듈이 오지정된 다중 데이터 모듈이 포함된 설정에서 $s$를 추정하고 이에 대한 불확실성을 정량화하기 위한 일관된 프레임워크의 필요성을 다룹니다.

방법론
저자들은 홀드아웃 보정 데이터 $y$를 사용하여 추론 하이퍼파라미터 $s$에 대한 베이지안 추론 프레임워크를 제안합니다. 핵심 아이디어는 보정 데이터의 사후예측분포 $p_s(y|x)$를 $s$에 대한 가능도 유사량으로 취급하는 것입니다. 서로 다른 손실 함수에 기반하여 $s$에 대한 두 가지 구별되는 사후분포가 정의됩니다:

1. 풀드 손실 (Pooled Loss): $l^{(1,J)}(s; y, x) = -\log p_s(y|x)$로 정의되며, 여기서 $p_s(y|x) = \int p(y|\phi)\pi_s(\phi|x)d\phi$입니다. 이 접근법은 "가상적 참" 파라미터 $\tilde{\phi}$ (실제 데이터 생성 과정과 모델 간의 클루백 - 라이블러 발산을 최소화하는 파라미터) 의 커버리지를 목표로 합니다. 결과적인 사후분포 $\rho^{(1,J)}(s|y; x)$는 보정 데이터의 크기 $J \to \infty$로 갈수록 수렴하지 않지만, $\pi_s(\tilde{\phi}|x)\rho(s)$에 비례하는 확산된 분포로 수렴합니다.
2. 곱 손실 (Product Loss): $l^{(J,1)}(s; y, x) = -\sum_{j=1}^J \log p_s(y_j|x)$로 정의되며, 이는 음의 기대 로그 포인트별 예측 밀도 (ELPPD) 에 해당합니다. 이 접근법은 예측 위험의 최소화를 목표로 합니다. 정규성 조건 하에서 결과적인 사후분포 $\rho^{(J,1)}(s|y; x)$는 최적 하이퍼파라미터 $s^*$에 $J^{-1/2}$ 속도로 집중하며, 점근적 정규 분포를 가집니다.

본 논문은 이 프레임워크를 **반모듈러 추론 (Semi-Modular Inference, SMI)**으로 확장합니다. SMI 는 모델이 여러 모듈로 구성되고 그 중 일부가 오지정될 수 있는 설정입니다. 저자들은 SMI 를 순차 깁스 사후분포 (Sequential-Gibbs posterior) (Winter et al., 2023) 의 특정 사례로 식별합니다. 그들은 의심스러운 모듈로부터의 정보 흐름 ( $\eta$를 통해) 과 손실 함수의 강건성 ( $\beta$를 통해) 을 공동으로 제어하는 새로운 변형인 $(\eta, \beta)$-SMI 사후분포를 도입합니다.

주요 기여

• 공동 하이퍼파라미터 추정: 본 논문은 홀드아웃 데이터를 사용하여 학습률 $\eta$와 손실 하이퍼파라미터 (예: $\beta$-손실의 $\beta$) 의 공동 추정을 위한 통합 프레임워크를 제공하며, 단일 파라미터 튜닝을 넘어섭니다.
• 이론적 특성화: 저자들은 풀드 및 곱 사후분포에 대한 점근적 성질을 확립합니다. 그들은 곱 사후분포가 예측을 위한 최적 하이퍼파라미터에 집중하는 반면, 풀드 사후분포는 가상적 참 파라미터를 목표로 함을 증명합니다. 또한 최적 $s$가 파라미터 공간의 경계에 있는 비정규 사례 (예: Cut 모델에서의 $\eta=0$) 에 대한 결과를 제공하여 감마 분포로의 수렴을 보입니다.
• SMI 통합: SMI 를 순차 깁스 사후분포로 프레임함으로써, 저자들은 기존 일관성 및 베른슈타인 - 폰 미세스 (BvM) 정리를 모듈러 설정으로 가져와 새로운 $(\eta, \beta)$-SMI 업데이트의 점근적 행동을 검증합니다.
• 추정량: 사후평균, 손실 최소화자 (MAP), 조화평균, KL-발산 최소화자를 포함한 여러 $s$ 추정량이 제안되고 비교됩니다.

결과
제안된 방법은 시뮬레이션 연구와 실제 텍스트 분석 응용을 통해 평가되었습니다:

• 정규 혼합 및 상태 공간 모델: 오지정된 모델을 사용한 합성 실험에서, 학습된 하이퍼파라미터 (특히 곱 손실을 통한) 는 테스트 데이터의 기대 위험 비율 측면에서 고정 베이지안 추론 ($\eta=1$) 과 Cut 모델 ($\eta=0$) 보다 일관되게 우수한 성능을 보였습니다. $(\eta, \beta)$-SMI 접근법은 $\eta$-SMI 와 유사한 성능을 보였으나 강건한 손실 함수의 추가적인 유연성을 제공하여 종종 표준 베이지안 또는 Cut 업데이트보다 낮은 위험을 달성했습니다.
• 텍스트 분석 (의미 변화): 1810 년부터 2010 년까지의 영어 텍스트 코퍼스 (EDiSC 모델) 에 적용되어 단어 의미를 클러스터링하는 데 사용되었습니다. 학습된 학습률 $\hat{\eta}$는 $\eta=1$이나 사후예측검사를 통해 선택된 값에 비해 홀드아웃 테스트 데이터에서 더 높은 사후예측확률을 보였습니다. 결과적으로 생성된 클러스터는 표준 베이지안 추론에 비해 향상된 의미적 일관성 (브라이어 점수로 측정) 을 보여주었으며, 모델의 오지정과 희소 데이터를 효과적으로 처리했습니다.
• 점근적 검증: 시뮬레이션은 이론적 예측을 확인했습니다: 곱 사후분포는 $J$가 증가함에 따라 최적 값 주변에 집중하는 반면, 풀드 사후분포는 확산된 상태를 유지하여 예측 대 파라미터 커버리지라는 서로 다른 추론 목표와 일치했습니다.

의의 및 주장
본 논문은 홀드아웃 데이터에서 유도된 사후분포를 가진 확률변수로서 추론 하이퍼파라미터를 취급하는 것이 일반화된 베이지안 추론에서 불확실성 정량화와 최적 선택을 위한 일관된 경로를 제공한다고 주장합니다. 저자들은 풀드와 곱 보정 간의 선택이 서로 다른 추론 목표 (가상적 참 파라미터 커버리지 대 예측 밀도 최대화) 에 해당하므로, 결과적인 최적 하이퍼파라미터가 일치할 필요가 없다고 강조합니다.

이 연구는 잘 지정된 모듈과 오지정된 모듈 간의 정보 흐름을 임의의 튜닝 없이 균형 있게 조정하는 원칙적인 방법을 제공한다는 점에서 다중 모듈러 추론에 특히 중요합니다. 저자들은 이 접근법이 고차원 하이퍼파라미터 공간에서는 계산적으로 집약적이지만, 저차원 사례 (예: $\eta$와 $\beta$) 에서는 실용적이며 오지정된 설정에서 신뢰할 수 없는 WAIC 와 같은 방법에 대한 강건한 대안을 제공한다고 지적합니다. 이 프레임워크는 이질적인 데이터와 모델 오지정이 포함된 복잡하고 실제적인 문제에서 일반화된 베이지안을 사용하는 것을 지원합니다.