기술 요약: 가능성 변분 추론을 위한 최대화 도네스커-바라단 공식화

1. 문제 제기

변분 추론 (VI) 은 복잡한 모델에서 증거 하한 (ELBO) 을 최대화함으로써 근사 추론을 가능하게 하는 현대 베이지안 학습의 핵심 기둥입니다. 그러나 표준 VI 는 고차원 적분을 통해 정의된 기대값과 발산 (예: 쿨백 - 라이블러 발산) 에 의존하며, 이는 가법 확률 측도를 전제합니다. 이러한 의존성은 해석적 처리를 어렵게 만들고 중대한 근사를 필요로 합니다.

반면, 가능성 이론은 가법성을 요구하지 않고 인식론적 불확실성을 모델링하기 위한 부정확한 확률 체계를 제공합니다. 합 대신 최대/최소 연산자를 사용하여 희소하거나 부정확한 정보 하에서 불확실성을 직접 모델링할 수 있습니다. 가능성 이론은 견고성과 해석 가능성을 제공하지만, VI 를 이러한 설정에 적용하는 것은 간단하지 않습니다. ELBO 와 같은 표준 목적 함수와 KL 과 같은 발산은 근본적으로 가법 측도에 의존하므로 가능성 설정에서 직접적인 유사체가 존재하지 않습니다. Cella 와 Martin(2025) 의 시도와 같은 기존 시도들은 몬테카를로 전략을 사용하여 가능성 추론 모델을 근사화했으나, 가능성 VI 를 위한 원칙적이고 일반적인 변분 프레임워크는 부재했습니다.

2. 방법론

최대화 도네스커 - 바라단 유사체

이 연구의 핵심 이론적 기여는 고전적인 도네스커 - 바라단 (DV) 변분 공식의 최대화 유사체를 확립하는 것입니다.

표준 확률적 VI 에서 DV 공식은 KL 발산을 포함하는 목적 함수의 상한을 통해 로그 증거를 특징짓습니다. 저자들은 가능성 설정에 대한 이중 변분 특징화를 유도합니다. $\pi$를 사전 가능성 함수로, $\ell$을 손실 함수로 둡니다. 최대화 사후 $g^*_{\max}$는 다음과 같이 정의됩니다:
$$g^*_{\max}(\theta) = \frac{\exp(-\ell(\theta))\pi(\theta)}{\sup_{\theta'} \exp(-\ell(\theta'))\pi(\theta')}$$

저자들은 로그 일관성 (최대화 주변 가능도의 로그) 이 두 가지 이중 변분 문제를 통해 표현될 수 있음을 증명합니다:

1. 하한 (최대화): $\log Z_{\max} = \sup_{g \in \mathcal{F}(\Theta)} \inf_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$
2. 상한 (최소화): $\log Z_{\max} = \inf_{g \in \mathcal{F}(\Theta)} \sup_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$

여기서 $\mathcal{F}(\Theta)$는 가능성 함수들의 집합입니다. 오른쪽에서 최적화되는 양을 **일관성 하한 (CBO)**이라고 합니다.

• 하한 CBO 를 최대화하면 참 사후를 하한하는 가능성 함수들이 얻어집니다 ($g \preceq g^*_{\max}$).
• 상한 CBO 를 최소화하면 참 사후를 상한하는 가능성 함수들이 얻어집니다 ($g^*_{\max} \preceq g$).

표준 가능성 사후 $g^*_{\max}$는 두 하한을 동시에 만족하는 유일한 요소로, 해 집합의 표준 대표자 역할을 합니다. 최적화는 표준 VI 에서 KL 발산과 유사한 역할을 하는 최대 상대 엔트로피($D_{\max}$)를 포함하며, 이는 $D_{\max}(g \| f) = \sup_{\theta} \log(g(\theta)/f(\theta))$로 정의됩니다.

지수족 처리 및 학습 규칙

이 프레임워크를 신경망에 실용적으로 적용하기 위해 저자들은 지수족 가능성 함수에 대한 처리를 개발합니다. $g_\lambda(\theta) = \exp(\lambda^\top T(\theta) - A^\dagger(\lambda) - A(\theta))$ 형태의 후보 집합을 정의하며, 여기서 $A^\dagger$는 로그 분할 함수 $A$의 르장드르 변환입니다.

유도된 주요 특성은 다음과 같습니다:

• 켤레성: 무정보 사전 하에서 사후는 동일한 지수족 내에 유지되며, 하이퍼파라미터는 충분 통계량의 이동 평균로 업데이트됩니다.
• 뉴턴형 업데이트: 댄스킨 정리와 2 차 테일러 근사를 적용하여 CBO 를 최적화하는 학습 규칙을 유도합니다. 이는 뉴턴 단계와 유사한 자연 그래디언트 업데이트로 이어집니다:
  $$\eta_{t+1} = \eta_t - \rho_t H_s(\eta_t)^{-1} \nabla \hat{\ell}(\eta_t)$$
  여기서 $H_s$는 손실의 헤시안과 후보의 정밀도에 의존하는 부호 곡률 행렬입니다.

CBOpt 최적화기

이러한 이론적 유도 기반에 따라 저자들은 CBOpt라고 불리는 최적화기 계열을 제안합니다.

• uCBOpt: 상한 CBO 를 최적화합니다 (상한 최소화).
• lCBOpt: 하한 CBO 를 최적화합니다 (하한 최대화).
• 적응형 변형 (uCBOpt-adapt, lCBOpt-adapt): 이러한 변형은 훈련 중 내부 최적화 문제의 필요한 볼록성/오목성 조건을 만족하도록 곡률 매개변수 $\vartheta$를 동적으로 조정합니다.

실제 구현은 헤시안의 대각 근사 (Adam 또는 Vprop 와 유사) 와 그래디언트 및 제곱 그래디언트 추정을 위한 지수 이동 평균 (EMA) 을 사용하여 계산 효율성을 높이고 대규모 신경망으로 확장 가능하게 만듭니다.

3. 주요 기여

1. 이론적 공식화: 이 논문은 가능성 추론을 위한 엄격한 변분 기초를 제공하는 도네스커 - 바라단 공식화의 첫 번째 원칙적 최대화 유사체를 확립합니다.
2. 이중 특징화: 하한과 상한 이중 형식을 갖춘 일관성 하한 (CBO) 을 도입하여 참 가능성 사후가 이러한 하한의 유일한 교차점임을 입증합니다.
3. 지수족 프레임워크: 저자들은 가능성 지수족에 대한 켤레 사전 프레임워크를 개발하여 확률적 경우와의 구조적 유사성을 드러내면서도 이론의 최대화 본질을 수용합니다.
4. CBOpt 최적화기: 새로운 최적화기 계열이 유도되고 구현되어 가능성 변분 추론으로 신경망을 훈련하는 실용적인 방법을 제공합니다.
5. 실증적 검증: 이 방법들은 도메인 내 및 도메인 외 (OOD) 이미지 분류 작업에서 평가되어 경쟁력 있는 예측 성능과 신뢰할 수 있는 불확실성 추정을 입증했습니다.

4. 실험 결과

저자들은 Fashion-MNIST, CIFAR-10, CIFAR-100 세 가지 데이터셋에서 SGD, AdamW, IVON, MC Dropout, 라플라스 근사, SWAG 를 포함한 베이스라인 대비 CBOpt 변형 (uCBOpt, uCBOpt-adapt, lCBOpt-adapt) 을 평가했습니다.

• 도메인 내 성능: Fashion-MNIST 에서 CBOpt 변형은 가장 강력한 전체 성능을 달성했으며, lCBOpt-adapt가 최고의 정확도 (0.913) 와 음의 로그 가능도 (NLL) 를 기록했습니다. CIFAR-100 에서 모든 CBOpt 변형은 대부분의 도메인 내 지표에서 베이스라인을 능가하여 더 큰 모델로의 확장성을 시사했습니다.
• 도메인 외 (OOD) 탐지: 이 방법들은 경쟁력 있는 OOD 탐지 능력을 입증했습니다. uCBOpt는 데이터셋 전반에 걸쳐 일관된 행동을 보이며 FPR@95 및 AUROC 측면에서 MC Dropout 과 SWAG 의 성능과 일치하거나 근접했습니다.
• 효율성: CBOpt 변형은 SGD 및 Adam 과 같은 1 차 최적화기와 비교 가능한 계산 효율성을 유지하며, 매개변수별 그래디언트 및 스칼라 곡률 추정만 필요로 하고 추론 시 여러 번의 확률적 순전파가 필요하지 않습니다 (MC Dropout 과는 대조적).
• MC Dropout 과의 결합: 추가 실험은 CBOpt 와 MC Dropout 을 결합하면 MC Dropout 의 강력한 도메인 내 성능을 유지하면서 OOD 탐지 지표를 더욱 개선함을 보여주었습니다.

5. 중요성 및 주장

이 논문은 가능성 변분 추론이 기존 방법의 단순한 재구성이 아니라, 실용적으로 유용한 알고리즘으로 이어지는 불확실성 표현에 대한 독특한 관점을 제공한다고 주장합니다.

• 개념적 전환: 가법 확률에서 최대화 가능성으로 이동함으로써, 이 프레임워크는 인식론적 불확실성을 자연스럽게 처리하며 확률론에서 흔히 발생하는 부적절 적분 문제 없이 완전히 무정보 사전을 허용합니다.
• 실용적 유용성: CBOpt 의 개발은 이론적 프레임워크가 테스트 시 샘플링의 계산 오버헤드를 피하면서 IVON 및 MC Dropout 과 같은 최첨단 불확실성 인식 학습 방법과 경쟁할 수 있는 확장 가능한 최적화기로 구체화될 수 있음을 보여줍니다.
• 미래 작업의 기초: 저자들은 이 작업이 가능성 이론으로의 변분 추론 확장을 위한 기초를 제공한다고 명시합니다. 그들은 이 프레임워크의 구성 요소 (특히 무정보 사전 하의 최대화 유사 발산과 사후) 가 이미 Ni et al.(2026) 에 의해 2 차 예측기를 유도하는 데 활용되어 기본 이론의 유용성을 검증했다고 지적합니다.

저자들은 한계에 대해 겸손하게 접근하며, 그들의 뉴턴형 업데이트가 2 차 근사와 특정 곡률 조건에 의존하며 현재 실증적 검증이 대각 피셔 근사를 가진 등방성 가우시안 후보로 제한됨을 인정합니다. 그러나 그들은 이 프레임워크가 이론적 가능성 추론과 확장 가능한 딥러닝 응용 사이의 간극을 성공적으로 메웠다고 주장합니다.