기술적 요약: 심층 가우시안 프로세스를 위한 온사저-마클럽 사후 운송

1. 문제 제기

심층 가우시안 프로세스 (DGPs) 는 가우시안 프로세스 (GP) 계층을 적층함으로써 보정된 불확실성을 갖춘 베이지안 딥러닝 프레임워크를 제공합니다. 그러나 추론은 여전히 주요 계산 병목 현상으로 남아 있습니다. 계층별 유도 변수 $U = \{U^{(\ell)}\}_{\ell=1}^L$에 대한 사후 분포는 비가우시안이며 계층 간에 매우 상관되어 있어 정확한 추론을 불가능하게 만듭니다.

기존의 근사 추론 방법들은 다음과 같은 트레이드오프에 직면해 있습니다:

• 명시적 밀도 피팅 (ELBO 기반): doubly-stochastic 변분 추론 (DSVI) 과 같은 방법들은 가우시안 분해를 강제하여, 다중 모드 또는 상관된 사후 분포에는 제한적입니다.
• 점수 기반 SDE: DDVI 및 DBVI 와 같은 방법들은 사후 분포를 역시간 확률 미분 방정식 (SDE) 의 종단점으로 정의하며, 이는 딕노이징 점수 매칭 (DSM) 과 기르사노프 형태의 증거 하한 (ELBO) 을 통해 학습됩니다. 유연하지만, 이러한 방법들은 보조 점수 네트워크의 학습이 필요하며 확률적 적분의 분산으로 고통받습니다.
• 샘플링: 확률적 경사 해밀토니안 몬테 카를로 (SGHMC) 는 계산 비용이 많이 들고 대규모 데이터셋으로 확장하는 데 어려움을 겪습니다.

핵심적인 과제는 DSVI 의 제한적인 가우시안 가정 없이 DGP 유도 변수에 대한 추론을 수행하면서도, 점수 기반 SDE 방법의 높은 분산 보조 손실 및 확률적 적분 비용을 피하는 것입니다.

2. 방법론: FBVI-bridge-Path (OM-Path)

저자들은 **사후 운송 (posterior transport)**을 대안적 공식으로 제안합니다. ELBO 최대화를 통해 밀도 $q_\phi(U)$를 피팅하는 대신, 처리 가능한 참조 측도 (reference measure) 를 사후 관련 유도 변수로 매핑하는 결정론적 샘플러 $T_\phi$를 학습합니다.

2.1 SDE 에서 결정론적 ODE 로

이 방법은 DBVI 에서 사용되는 도브-브리지된 전방 SDE에 기반하며, 이는 아모라이저 $\mu_\theta(x)$를 통해 확산 과정을 데이터 의존적 초기 분포에 고정합니다.

• 참조 과정: 저자들은 DBVI 브리지 SDE 에 Song 등 (2021) 의 확률 흐름 ODE 축소를 적용합니다. 이는 브리지 주변 계수 (평균 및 분산) 에서 직접 유도된 폐형 참조 드리프트 (closed-form reference drift) $v_{ref}^{Bri}(U, s)$를 산출하여 점수 매칭의 필요성을 제거합니다.
• 결정론적 운송: 변분 대상은 브리지의 노이즈 측도에서 사후 분포로 샘플을 운송하는 결정론적 ODE $\dot{U}_\tau = v_\phi(U_\tau, 1-\tau, \text{ctx})$입니다.

2.2 온사저-마클럽 목적 함수

핵심적인 이론적 통찰은 SDE 기반 변분 추론에 사용되는 표준 기르사노프 KL 발산이 확산 계수 $g \to 0$ (결정론적 극한) 으로 갈 때 발산한다는 것입니다. 결정론적 극한에 대한 올바른 목적 함수는 프리드린-벤첼 대편차율 함수에 해당하는 온사저-마클럽 (OM) 작용입니다.

학습 목적 함수 $L_{OM}$은 다음과 같이 정의됩니다:
$$L_{OM}(\phi) = -\mathbb{E}_{q_\phi}[\log p(y | F(L))] + \frac{\alpha}{2} \int_0^1 \mathbb{E} \left[ \| v_\phi(U_\tau, 1-\tau, \text{ctx}) - v_{ref}^{Bri}(U_\tau, 1-\tau) \|^2 \right] d\tau$$

• 데이터 항: 종단점의 음의 로그 가능도.
• 경로 사전 분포: 폐형 참조 드리프트로부터 학습된 속도장의 편차를 측정하는 트레이스 프리 정규화항.
• 주요 특성:
  • 트레이스 프리: FFJORD/CNF 와 달리 Hutchinson trace 추정이 필요 없음.
  • 보조 손실 프리: DDVI/DBVI 와 달리 딕노이징 점수 매칭이 필요 없음.
  • 분할 함수 프리: NFS2 와 달리 $\partial_t \log Z_t$ 추정이 필요 없음.

2.3 이론적 상태

정리 1은 $L_{OM}$이 $\epsilon \to 0$일 때 프리드린-벤첼 대편차 원리 (LDP) 를 통해 온화화된 도브-브리지 경로 사후 분포의 작은 노이즈 최대 사후 확률 (MAP) 경로와 동일함을 입증합니다.

• 유한한 학습 값 ($\alpha=1, \epsilon=1$) 에서 목적 함수는 종단점 가능도로 기울어진 가우시안 참조 경로 측도에 대한 경로 공간 정규화항으로 작용합니다.
• 이 방법은 경로 공간 MAP 추정기이며 ELBO 가 아닙니다. 저자들은 이를 엄격한 하한 방법과 대비시키며 이 구분을 명시적으로 지적합니다.

2.4 엄격한 ELBO 제거 실험

이 논문은 동일한 브리지 백본 위에서 두 가지 엄격한 경로 공간 ELBO 변형을 유도합니다:

1. FBVI-bridge-CNF: KL 항에 대해 FFJORD 순간 변수 변환 공식 (Hutchinson trace) 을 사용합니다.
2. FBVI-bridge-CNFOM: CNF 목적 함수에 OM 정규화항을 추가합니다.
   경험적으로, 이러한 엄격한 ELBO 변형은 Hutchinson trace 추정기가 도입하는 높은 분산으로 인해 트레이스 프리 MAP 추정기보다 성능이 떨어집니다.

3. 주요 기여

1. DGPs 를 위한 사후 운송: 점수 기반 SDE 변분 추론을 대체하는 DGP 유도 변수를 위한 결정론적 ODE 기반 사후 운송 프레임워크를 도입합니다. 참조 드리프트는 폐형이므로 점수 매칭이 필요 없습니다.
2. 유한-$\epsilon$ 경로 사후 동일성: 학습 목적 함수를 온화화된 경로 사후 분포의 정규화되지 않은 밀도의 음의 로그 (유한 $\alpha$) 로 엄밀하게 식별하고, 프리드린-벤첼 LDP 를 통해 작은 노이즈 MAP 경로와 연결합니다 (정리 1).
3. 편차 - 분산 트레이드오프 분석: DGP 사후 운송 영역에서 경로 목적 함수의 분산을 줄이는 것 (Hutchinson trace 제거) 이 정확한 밀도 추적을 하는 것보다 우세함을 보여줍니다. 트레이스 프리 MAP 추정기는 엄격한 ELBO 보다 우수한 성능을 발휘합니다.
4. 경험적 검증: 대규모 UCI 회귀 데이터셋 ($N > 9,000$) 에서 최첨단 DBVI 대비 통계적으로 유의미한 개선을 보이며, 이진 분류에서는 경쟁력 있는 성능을 유지하면서 소규모 데이터셋에서도 안정성을 유지함을 입증했습니다.

4. 실험 결과

이 방법 (FBVI-bridge-Path 또는 OM-Path) 은 7 개의 UCI 회귀 데이터셋, 대규모 회귀 (Airline, Year), 이진 분류 (SUSY, HIGGS) 에서 DSVI, SGHMC, IPVI, DDVI, DBVI 와 비교 평가되었습니다.

• 소규모/중규모 회귀 (UCI):
  • 유의미한 승리: OM-Path 는 두 개의 가장 큰 데이터셋인 Power ($p=0.014$) 와 Protein ($p=0.002$) 에서 DBVI 대비 통계적으로 유의미한 승리 (쌍체 윌콕슨 검정) 를 기록했습니다.
  • 무승부: Yacht와 QSAR에서 통계적 무승부.
  • 패배: OM-Path 는 작은 $N$의 노이즈가 많은 데이터셋 (Boston, Energy, Concrete) 에서 DBVI 에게 밀렸습니다. 이는 DBVI 의 점수 매개변수화에 있는 SDE-노이즈 정규화가 이 경우 이점을 제공하기 때문입니다.
• 대규모 회귀: Year(515k 행) 및 Airline데이터셋에서 OM-Path 는 RMSE 및 NLL 에서 평균 최상위 성능을 달성했으나, 제한된 시드 수로 인해 통계적 유의성은 주장되지 않았습니다.
• 이진 분류: OM-Path 는 SUSY 및 HIGGS 에서 DBVI 와 동급의 최상위 성능을 달성하여 암시적-q 대리 모델과 이전에 보였던 격차를 해소했습니다.
• 소수 단계 추론: ODE 의 결정론적 특성으로 인해 OM-Path 는 Energy 및 Concrete 와 같은 데이터셋에서 최소한의 정확도 저하로 1~4 단계의 공격적인 소수 단계 추론을 지원하며, 이 영역에서 확률적 베이스라인을 능가합니다.
• 베이지안 최적화: OM-Path 는 저차원부터 중간 차원까지의 합성 벤치마크 (Hartmann-6, Levy-20) 에서 우수한 불확실성 정량화를 제공하여 DSVI 를 능가합니다.

5. 중요성 및 주장

이 논문은 FBVI-bridge-Path가 DGPs 를 위한 점수 기반 변분 추론에 대한 엄밀하고 트레이스 프리인 대안임을 주장합니다. 그 중요성은 다음과 같습니다:

• 이론적 엄밀성: 프리드린-벤첼 LDP 와 온사저-마클럽 작용에 학습 목적 함수를 근거를 두어 결정론적 사후 운송에 대한 수학적으로 타당한 정당성을 제공합니다.
• 실용적 효율성: 점수 매칭 및 Hutchinson trace 추정의 계산 오버헤드를 제거하여 더 빠른 학습과 더 안정적인 기울기를 이끌어냅니다.
• 성능: 엄격한 ELBO 경계를 낮은 분산과 교환하는 경로 공간 MAP 추정기가 기울기 분산이 제한 요인인 대규모 데이터셋에서 우수한 경험적 결과를 산출함을 입증합니다.

저자들은 다음과 같이 겸손하게 주장을 인정합니다:

• 이 방법은 ELBO 가 아니며 주변 가능도에 대한 하한을 제공하지 않습니다.
• 엄격한 ELBO 변형이 존재하지만, 이 특정 영역에서는 분산으로 인해 경험적으로 열등합니다.
• 작고 노이즈가 많은 데이터셋의 성능은 현재 점수 기반 방법 (DBVI) 의 확률적 정규화가 가장 잘 처리합니다.
• MAP 경로와의 이론적 동일성은 점근적 결과 ($\epsilon \to 0$) 이며, 실제 학습은 유한한 $\epsilon$에서 발생합니다.