Direct Bethe Free Energy Minimization for Bayesian Neural Ne twork

기술적 요약: 베이지안 신경망을 위한 직접 베스 자유 에너지 최소화

문제 제기
베이지안 신경망 (BNN) 은 일반적으로 증거 하한 (ELBO) 을 최대화하여 훈련됩니다. 그러나 ELBO 는 젠센 부등식의 적용으로 인해 발생하는 구조적 '젠센 간극 (Jensen gap)'으로 고통받습니다. 이 간극은 근사 사후 분포가 정확한 사후 분포와 같아질 때만 사라지는데, 이는 실제 상황에서 거의 달성되지 않습니다. 기존 대안들은 트레이드오프에 직면해 있습니다: 변분 추론은 간극을 유지하고, 사후 처리 방법 (예: 라플라스 근사) 은 훈련 중 확률적 피드백이 부족하며, 샘플링 기반 방법 (예: 딥 앙상블, MC 드롭아웃) 은 여러 번의 순전파로 인해 높은 추론 비용을 초래합니다. 또한, 표준 경험적 베이지안 (가중치와 초매개변수의 결합 최적화) 은 일반적으로 외부 교차 검증 루프나 주변 가능도 근사를 필요로 하여 계산 오버헤드를 증가시킵니다.

방법론
본 논문은 변분 하한을 최대화하는 대신, 직접 베스 자유 에너지 ($F_{Bethe}$) 를 경사 하강법을 통해 최소화함으로써 BNN 을 훈련하는 것을 제안합니다.

• 이론적 기초: 트리 구조 인자 그래프에서 베스 자유 에너지를 최소화하는 것은 국소 일관성 조건을 만족하는 신념 (beliefs) 을 찾는 것과 동일합니다. 최적점에서 베스 자유 에너지는 정확한 로그 분할 함수와 같아 젠센 간극을 완전히 제거합니다.
• 아키텍처: 이 프레임워크는 확률적 및 결정적 서브그래프의 임의의 혼합을 수용합니다. 구체적으로, 저자들은 결정적 백본 네트워크 ($\psi$) 와 가우시안 사후 분포 $q(w) = \mathcal{N}(\mu, \Sigma)$를 가진 확률적 마지막 레이어로 이를 구체화했습니다.
• 공유-공동 (Shared-Cavity) 구성: $N$개의 데이터 플레이트에 걸쳐 공유되는 가중치 사후 분포를 처리하기 위해, 이 방법은 사후 분포 $q(w)$를 모든 플레이트로 나가는 메시지로 사용하는 '공유 - 공동' 근사를 적용합니다. 이를 통해 베스 자유 에너지는 인자들에 대한 처리 가능한 적분의 합으로 분해될 수 있습니다.
• 폐형 손실 함수: 사후 분포를 마지막 레이어로 제한하고 가우시안 또는 프로빗 가능도를 사용함으로써, 저자들은 해석적으로 처리 가능한 손실 함수를 유도했습니다:
  • 회귀 (가우시안 가능도): 베스 목적 함수는 정확한 주변 가능도와 같습니다. 손실 함수는 이분산성 (heteroscedastic) 음의 로그 가능도 및 사전 항으로 구성됩니다.
  • 분류 (프로빗 가능도): 프로빗 - 가우시안 합성곱 항등식을 사용하여, 손실 함수는 폐형 항 $-\log \Phi(t_n)$과 사전 항으로 축소됩니다.
• Z-일관성 사전 및 경험적 베이지안: 사전 분포는 $p(w) = \mathcal{N}(0, \alpha^{-1}I)$로 공식화됩니다. 결정적으로, 사전 분포의 로그 분할 함수인 $-\log Z_w$ 항은 사전 정밀도 $\alpha$를 미분 가능한 매개변수로 만듭니다. 이는 가중치, 공분산, 그리고 초매개변수를 외부 루프나 교차 검증 없이 단일 경사 통과로 결합 최적화할 수 있는 단일 통과 경험적 베이지안을 가능하게 합니다.
• 추론 비용: 예측 분포는 폐형이며, 앙상블이나 샘플링 방법과 대조적으로 단일 결정적 순전파 (MAP 와 동등한 비용) 만 요구됩니다.

주요 기여

1. 직접 베스 최소화: 반복적 신념 전파를 우회하고 혼합 확률적/결정적 그래프를 지원하는 BNN 에서 베스 자유 에너지를 최소화하기 위한 경사 기반 프레임워크.
2. 단일 통과 경험적 베이지안: Z-일관성 사전 공식화는 초매개변수를 미분 가능하게 만들어, 가중치, 공분산, 그리고 사전 정밀도를 한 번의 통과로 결합 최적화할 수 있게 합니다. 저자들은 이것이 대부분의 데이터셋에서 그리드 탐색 교차 검증 성능과 일치한다고 주장합니다.
3. 더 엄격한 최적화 기하학: 베스 목적 함수는 최대 사후 확률 (MAP) 과 ELBO 사이에 엄격하게 위치합니다 ($L_{MAP} \le L_{Bethe} \le L_{ELBO}$). 이는 어떤 변분족의 선택으로도 닫을 수 없는 구조적 젠센 간극을 제거합니다.
4. 폐형 예측: 회귀 및 분류 목적 함수 모두 폐형 예측을 산출하여, 표준 결정적 네트워크와 비교 가능한 추론 비용을 유지합니다.

실험 결과
이 방법은 공유 초매개변수 체제 (단일 은닉층, 너비 50, 전체 배치 Adam) 하에서 8 개의 UCI 회귀 및 12 개의 UCI 분류 벤치마크에서 평가되었습니다.

• 성능: 베스 변형 (특히 완전 공분산을 가진 Bethe-FG 와 대각 공분산을 가진 Bethe-Diag) 은 대부분의 음의 로그 가능도 (NLL) 및 보정 지표에서 참조 방법 (MAP, 라플라스, VBLL, MC 드롭아웃, 딥 앙상블) 과 일치하거나 초과했습니다.
  • 회귀에서 Bethe-FG 또는 Bethe-Diag 는 8 개 데이터셋 중 6 개에서 최상이거나 최상과 동점이었습니다.
  • 분류에서 순서형 베스 변형은 8 개 데이터셋 중 6 개에서 최상이거나 최상과 동점이었습니다.
• 다중 통과 방법과의 비교: 베스는 단일 순전파만 요구하면서도 딥 앙상블 (5 배 비용) 및 MC 드롭아웃 (50 배 비용) 과 경쟁력 있는 결과를 달성했습니다.
• 경험적 베이지안 대 교차 검증: 사전 정밀도 $\alpha$의 결합 경험적 베이지안 최적화는 사실상 모든 데이터셋 - 변형 조합에서 그리드 탐색 교차 검증 결과와 일치하여, 외부 초매개변수 루프의 필요성을 제거했습니다.
• 애블레이션 (Ablation): 선형 모델 설정 (백본 없음) 에서 경험적 베이지안은 튜닝된 릿지/프로빗 회귀와 일치하여, 신경망의 혼란 요소 없이 메커니즘이 작동함을 확인했습니다.

의의 및 주장
본 논문은 직접 베스 최소화가 ELBO 에 내재된 구조적 젠센 간극을 제거하는 변분 추론에 대한 원칙적인 대안을 제공한다고 주장합니다. 트리 구조 그래프에서 베스 자유 에너지의 정확성을 활용함으로써, 이 프레임워크는 다음과 같은 성과를 달성합니다:

• 보정된 불확실성: 투 - 문 (Two-Moons) 벤치마크에서 보여지듯, 베스는 데이터에서 멀어질수록 확장되는 보정된 불확실성 윤곽을 생성하는 반면, MAP 은 과도하게 확신하며 라플라스는 스케일이 잘못되었습니다.
• 효율성: 이는 추론 오버헤드 없이 앙상블과 같은 다중 통과 방법의 성능을 일치시키는 '강력한 단일 통과 빌딩 블록'을 제공합니다.
• 최적화 지형: 저자들은 프레임워크가 이론적으로 트리 그래프에서 정확하지만, 실제 최적화 도전 과제 (예: 관측 노이즈가 불확실성을 흡수하는 회귀에서의 '분산 기아' 또는 사전 정밀도가 발산하는 '알파 - 런어웨이') 가 존재한다고 지적합니다. 그러나 이들은 베스 프레임워크 자체의 근본적 한계가 아니라 결합 경험적 베이지안 지형의 특정 실패 모드로 특징짓습니다.

본 논문은 이 접근법이 결정적 네트워크의 계산 효율성과 트리 구조 근사에서의 정확한 추론의 이론적 엄밀함을 갖춘 베이지안 신경망의 엔드 - 투 - 엔드 훈련을 가능하게 한다고 결론지었습니다.