기술 요약: GEM-FI: 피셔 변조가 적용된 게이트형 증거 혼합 모델

문제 제기

신뢰할 수 있는 예측 불확실성 추정은 모델이 학습 분포 밖에서 작동하는 안전-중요 응용 분야에서 필수적입니다. 베이지안 신경망 (BNN) 과 딥 앙상블은 원칙적인 불확실성 정량화를 제공하지만, 여러 번의 순전파 (forward passes) 가 필요하여 훈련 또는 추론 비용이 과도하게 발생하는 경우가 많습니다. 증거 딥 러닝 (EDL) 은 '증거'를 나타내기 위해 디리클레 (Dirichlet) 매개변수를 예측함으로써 단일 순전파 대안을 제공합니다. 그러나 표준 EDL 모델은 분포 변화 하에서 종종 과도하게 확신하는 경향이 있으며, 복잡한 결정 경계 근처에서 다중 모드 인식 불확실성을 표현하지 못하거나 견고한 보정 (calibration) 이 부족합니다.

기존의 밀도 인식 변형인 밀도 인식 증거 딥 러닝 (DAEDL) 은 오프라인 특징 공간 가능도 (예: 가우시안 판별 분석) 를 사용하여 증거 출력을 재조정하려고 시도합니다. 이는 보정을 개선하지만, 밀도 단서가 정적이며 증거 메커니즘과 결합되어 최적화되지 않는 탈결합을 초래합니다. 이로 인해 특징 표현이 변위될 때 취약성이 발생하며, 인식적 다중 모달리티를 해결하지 못해 종종 모델이 복잡한 경계 근처에서 과도하게 확신하는 할당으로 수렴하게 됩니다. 또한, 종종 더 나은 분포 외 (OOD) 분리성을 제공하는 에너지 기반 방법은 사후적으로 적용되는 경우가 많으며 증거 신뢰도 생성 중에 개입하지 않습니다.

방법론

저자들은 데이터 의존적 표현 '지지 (support)' 개념을 증거 메커니즘에 직접 통합하는 단일 순전파 모델 군인 **GEM(게이트형 증거 혼합)**을 소개합니다. 이 프레임워크는 세 가지 점진적 구성 요소로 이루어져 있습니다:

1. GEM-CORE: 에너지-게이트 증거 학습

GEM-CORE 는 정적 밀도 대리 모델을 학습 가능한 모델 내 에너지 신호로 대체합니다.

• 특징 수준 에너지: 경량 멀티 레이어 퍼셉트론 (MLP) 인 $E_\psi$가 백본 특징 $z$로부터 스칼라 에너지 $E(x)$를 학습합니다. 더 높은 에너지는 더 낮은 표현 수준 지지 (특징 밀도와 반비례) 에 해당합니다.
• 경계 통합 게이트: 에너지는 시그모이드를 통해 중간 스칼라 $\hat{s}(x)$로 매핑됩니다. 이는 특징 $z$와 연결되어 '통합 게이트' 네트워크 $G_\eta$에 입력됩니다. 이 네트워크는 클래스별 게이트 $s(x) \in [s_{min}, s_{max}]^C$를 출력합니다.
• 확률 공간 게이팅: 게이트 $s(x)$는 확률 공간에서 예측 평균 $p(x)$에 곱셈적으로 적용된 후 재규격화됩니다. 핵심적으로, 네트워크는 역매핑을 학습합니다: 더 높은 에너지 (더 낮은 지지) 는 더 작은 게이트를 초래하여 OOD 또는 비전형적 입력에 대한 증거를 억제합니다.
• 밀도 스케일링: 사전 적합된 가우시안 혼합 모델 (GMM) 에서 유도된 경량 밀도 스케일러 $\rho(z)$가 추가적으로 '하드' 안전 가드레일 역할을 하여 극도로 낮은 밀도 영역에서 증거를 억제하며, 학습된 게이트는 세밀한 변조를 처리합니다.

2. GEM-MIX: 신념의 혼합 (단일 순전파)

다중 순전파 앙상블 없이 다중 모드 인식 구조를 포착하기 위해 GEM-MIX 는 공통 백본을 공유하는 $K$개의 증거 헤드를 갖춘 GEM-CORE 를 확장합니다.

• 학습된 라우팅: 라우터 네트워크 $h_\omega$는 특징과 에너지 신호를 받아 혼합 가중치 $\pi(x) = \text{softmax}(h_\omega([z, \hat{s}(x)]))$를 생성합니다.
• 혼합 예측 평균: 최종 예측은 $K$개 헤드의 예측 평균의 가중 평균입니다. 이를 통해 모델은 복잡한 결정 경계 근처의 여러 모드에 걸친 불확실성을 표현할 수 있습니다.

3. GEM-FI: 피셔 정보 기반 정규화

GEM-FI 는 '헤드 붕괴'(라우터가 모든 가중치를 단일 헤드에 할당하는 경우) 를 방지하고 더 부드러운 경계 불확실성을 보장하기 위해 혼합 할당을 안정화합니다.

• 피셔 프록시: 각 헤드의 로짓에 대한 로그 가능도 기울기의 제곱 $L_2$ 노름을 $\tilde{FI}_k(x)$로 계산하여 경량 피셔 민감도 프록시를 생성합니다.
• FI-정규화: 자주 선택된 헤드가 매우 민감한 (불안정한) 경우를 처벌하는 손실 항 $L_{FI}$를 추가합니다.
• FI 기반 변조: 훈련 중 혼합 가중치는 더 낮은 피셔 민감도 (더 안정적인 예측) 를 가진 헤드를 상향 가중하도록 재가중됩니다. 이 변조는 훈련 중에만 적용되며, 추론 시에는 원시 라우터 출력을 사용합니다.
• 보조 손실: 프레임워크에는 가상 이상치 합성 (VOS) 을 통해 합성 부정 샘플에 대해 높은 에너지를 장려하는 에너지 기반 항과, 분포 내 (ID) 에 대한 엔트로피를 최소화하고 분포 외 (OOD) 에 대한 엔트로피를 최대화하기 위한 대비 손실 (contrastive loss) 인 불확실성 분해 항이 포함됩니다.

주요 기여

1. 학습 가능한 모델 내 게이팅: 저자들은 특징 수준 에너지를 학습하여 디리클레 증거를 직접 변조하는 경계 게이트로 매핑하는 것을 제안합니다. 이는 정적이며 탈결합된 밀도 대리 모델을 대체하면서 비전형적 특징에 대한 과도한 확신을 줄이고 확신 있는 ID 예측은 유지합니다.
2. 단일 순전파 다중 모드 인식: 학습된 라우팅 가중치를 갖춘 경량 증거 헤드의 혼합을 도입하여 앙상블이나 여러 번의 순전파에 따른 계산 비용 없이 다중 모드 인식 구조를 포착합니다.
3. 피셔 정보 기반 안정화: 혼합 할당을 안정화하고 헤드 붕괴를 방지하며 더 부드러운 경계 불확실성을 도출하기 위해 새로운 FI 기반 정규화 및 변조 방식을 추가했습니다.
4. 실증적 검증: 이 논문은 표준 이미지 분류 및 OOD 탐지 벤치마크 전반에서 보정 및 ID/OOD 분리 개선을 입증하며, 에너지 게이트, 혼합 크기, FI 정규화의 역할을 분리하는 제거 실험 (ablation studies) 을 제공합니다.

실험 결과

저자들은 GEM 을 MNIST, CIFAR-10 및 다양한 OOD 쌍 (SVHN, CIFAR-100, KMNIST, FMNIST) 에서 평가했습니다.

• 보정 및 정확도: CIFAR-10 에서 GEM-FI 는 테스트 정확도를 DAEDL 의 91.11% 에서 **93.75%**로 개선했습니다. 브라이어 점수 (Brier score) 를 14.27 에서 6.81로 크게 줄였고, 오분류 탐지 AUPR 을 99.08 에서 99.94로 개선했습니다.
• OOD 탐지: GEM-FI 는 여러 설정에서 최첨단 성능을 달성했습니다.
  • CIFAR-10 $\to$ SVHN: 인식적 AUPR 이 DAEDL 의 85.54% 에서 **92.59%**로 개선되었습니다.
  • CIFAR-10 $\to$ CIFAR-100: 인식적 AUPR 이 DAEDL 의 88.19% 에서 **90.20%**로 개선되었습니다.
  • 이 모델은 알레토릭 및 인식적 불확실성 스코어링 모두에서 EDL, DAEDL 및 기타 최근 베이스라인 (예: Re-EDL, I-EDL) 을 일관되게 능가했습니다.
• 제거 실험: 저자들은 스펙트럴 정규화 (SN), 에너지 게이트 모듈 (CORE), 혼합 (MIX), FI 정규화/변조 (FI-Reg, FI-Mod) 의 조합이 최적 성능에 필수적임을 확인했습니다. 구체적으로, FI 기반 구성 요소는 독립 모듈로 작동하기보다는 에너지 기반 메커니즘 및 불확실성 분해와 짝을 이룰 때 가장 효과적이었습니다.

중요성 및 주장

이 논문은 GEM-FI 가 학습 가능한 지지 신호를 증거 메커니즘에 직접 성공적으로 통합하여 정적 밀도 인식 방법의 한계와 앙상블의 계산 비용을 해결했다고 주장합니다. 거리 정보 신뢰 신호를 학습하고 피셔 정보를 통해 멀티 헤드 혼합을 안정화함으로써, 이 모델은 다음과 같은 성과를 달성합니다:

• 개선된 보정: 모델은 잘 지지된 영역에서만 확신을 가지고 다른 곳에서는 적절히 유보합니다.
• 견고한 OOD 분리: 이 방법은 특히 의미적 중첩이 존재하는 까다로운 근접 OOD 시나리오에서 ID 와 OOD 입력을 효과적으로 구분합니다.
• 효율성: 이 접근법은 단일 순전파 추론을 유지하여 앙상블과 유사한 다양성을 제공하면서도 지연 시간 제약 환경에 적합합니다.

저자들은 한계를 인정하며, 학습된 에너지와 지지 프록시 간의 정렬은 보장된 것이 아니라 경험적임을 지적하고, 이 방법은 혼합 관련 하이퍼파라미터의 신중한 조정이 필요하다고 언급합니다. 그들은 그들의 주장이 표준 벤치마크 (MNIST/CIFAR) 에 국한되며 추가 검증 없이 ImageNet 규모 평가로 확장되지 않는다고 강조합니다. 이 연구는 개선된 보정과 신뢰할 수 있는 OOD 탐지가 입력이 지지되지 않을 때 시스템이 예측을 유보하도록 함으로써 안전-중요 배포에 긍정적인 영향을 미칠 수 있음을 시사합니다.