Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation

기술 요약: Softmax-Temperature 조절을 통한 정규화 기반 암시적 앙상블의 제어 가능한 다양성

문제 정의
딥 앙상블(Deep ensembles)은 여러 개의 독립적인 모델을 훈련함으로써 신뢰할 수 있는 보정(calibration)과 분포 외(OOD) 탐지를 제공하며, 딥러닝의 불확실성 정량화에서 골드 표준으로 남아 있습니다. 그러나 이들의 계산 및 메모리 비용은 앙상블 멤버의 수에 따라 선형적으로 증가하므로, 대규모 모델에서는 실행이 불가능해질 정도로 비대해집니다. 암시적 앙상블(Implicit ensembles)은 단일 백본을 여러 멤버가 공유하도록 하여, 멤버별 변조(modulation) 또는 분할(partitioning)을 도입함으로써 단일 훈련 과정 내에서 앙상블 동작을 시뮬레이션하여 이 문제를 해결합니다.

기존 암시적 앙상블 방식의 결정적인 한계는 **멤버 간 다양성(member diversity)**을 제어할 수 없다는 점입니다. 다양성은 앙상블 품질의 주요 결정 요인이지만, 현재의 방식들은 (BatchEnsemble과 같은 어댑터 기반 방식처럼) 초기화 시점에 다양성을 고정하거나 (Packed Ensembles와 같은 분할 방식처럼) 아키텍처에 하드코딩합니다. 결과적으로, 훈련 중에 정확도와 보정 사이의 트레이드오프를 형성하거나 탐색할 수 있는 메커니즘이 없습니다. 또한, 기존 방식들은 독자적인 아키텍처 재설계를 요구하는 경우가 많아 사전 학습된 모델(pretrained models)에 적용하기 어렵습니다.

방법론: $\sigma$N-Ens
저자들은 $\sigma$N-Ens를 소개합니다. 이는 정규화 기반의 암시적 앙상블로, 각 멤버를 다중 작업 학습(MTL) 프레임워크 내의 별도 작업으로 취급합니다.

1. 아키텍처 ($\sigma$Norm): 이 방식은 공유 백본 내의 표준 정규화 레이어(BatchNorm 또는 LayerNorm)를 작업별 레이어로 대체합니다. 각 멤버 $t$에 대해, 정규화는 시그모이드로 경계가 제한된 스케일러에 의해 변조됩니다:
   $$\sigma\text{Norm}_t(x) = \sigma(\gamma_t) \odot \text{norm}_t(x)$$
   여기서 $\sigma(\gamma_t) = \frac{1}{1 + e^{-\gamma_t}}$ 입니다. 이 스케일러들은 각 피처의 중요도로 작용합니다. 정규화 레이어만 복제되기 때문에 백본 가중치(합성곱 또는 트랜스포머)는 완전히 공유된 상태를 유지하며, 이를 통해 이 방식은 어떤 표준 아키텍처라도 감쌀 수 있고 짧은 미세 조정(fine-tuning)을 통해 사전 학습된 모델을 적응시킬 수 있습니다.

2. Softmax-Temperature를 통한 제어 가능한 다양성: 다양성을 능동적으로 형성하기 위해, 저자들은 각 피처에 대해 멤버들 간의 중요도 벡터($\sigma(\gamma)$)에 적용되는 **소프트맥스-온도 정규화 항(softmax-temperature regularizer)**을 도입했습니다.
   $$\mathcal{L}_{div} = \lambda \sum_{\ell \in \mathcal{R}} \sum_{i} \sum_{m=1}^{M} \log \left[ \text{softmax}_{\tau}(\sigma(\gamma_{\cdot, \ell, i})) \right]_m$$
   여기서 $\tau$는 공유 수준을 설정하는 온도 하이퍼파라미터 역할을 합니다.

   • 낮은 $\tau$: 분포를 원-핫(one-hot) 형태로 유도하여, 피처가 단일 멤버에 의해 소유되도록 강제합니다 (최대 다양성, 하드 분할과 유사).
   • 높은 $\tau$: 분포를 균등하게 유도하여, 피처가 완전히 공유되도록 장려합니다.
   • 중간 $\tau$: "소프트 $M$-choose-$k$" 할당을 생성하며, 피처가 $k$개의 멤버 부분 집합 내에서 공유되도록 합니다.
     표준적인 정규화 강도($\lambda$)가 네트워크를 목표치로 얼마나 강하게 밀어붙이는지를 결정한다면, $\tau$는 시스템이 어떤 평형 상태에 안착할지를 선택합니다. 이를 통해 실무자는 $\tau$를 스윕(sweep)함으로써 정확도-보정 파레토 프런티어(accuracy-calibration frontier)를 추적할 수 있습니다.

3. 변조 불확실성(Modulation Uncertainty): 저자들은 이 앙상블이 표현하는 에피스테믹 불확실성을 변조 불확실성으로 재정의합니다. 백본이 공유되고 결정론적이기 때문에, 불확실성은 오직 변조 파라미터에 의한 공유 피처의 재가중치화(reweighting)로부터 발생합니다. 이는 서로 다른 피처 추출기를 갖는 풀 딥 앙상블에서 유도되는 불확실성과 구조적으로 구별됩니다.

주요 기여

• 제어 가능한 다양성: 본 논문은 초기화나 구조 구축 시에 다양성을 고정하는 대신, 단일 하이퍼파라미터($\tau$)를 통해 훈련 중에 멤버 다양성을 형성할 수 있는 최초의 메커니즘을 제시합니다. 이를 통해 정확도-보정 파레토 프런티어를 탐색할 수 있습니다.
• 변조 불확실성: 저자들은 공유 백본 앙상블에 의해 표현되는 특정 에피스테믹 성분을 "변조 불확실성"으로 식별하고 정의했습니다. 이 불확실성은 입력 손상(input corruption) 하에서도 보정 성능을 유지하지만, 공유 백본이 인코딩하지 않는 입력에 대해서는 스스로 분화할 수 없기 때문에 풀 딥 앙상블에 비해 OOD 탐지 성능이 약하다는 점을 입증했습니다.
• 아키텍처 불가지론 및 효율성: 정규화 레이어에서만 작동하는 $\sigma$N-Ens는 침습적인 재설계 없이 합성곱 및 트랜스포머 백본 모두에 적용 가능합니다. 이는 기존의 사전 학습된 모델을 최소한의 미세 조정을 통해 보정된 앙상블로 전환할 수 있게 하여, 멤버를 처음부터 다시 훈련해야 하는 부담을 덜어줍니다.

결과
방법론은 ResNet, WideResNet, Vision Transformer(ViT)를 사용하여 CIFAR-10/100, ImageNet, SST-2에서 평가되었습니다.

• 성능 대비 비용: $\sigma$N-Ens는 파라미터 수를 훨씬 적게 사용하면서도(예: CIFAR-100의 WideResNet에서 매우 적은 파라미터로 SOTA 정확도 달성) 정확도와 음의 로그 가능도(NLL) 측면에서 딥 앙상블과 대등하거나 이를 능가하는 성능을 보였습니다.
• 확장성: 용량 제약으로 인해 멤버($M$)가 증가함에 따라 성능이 저하되고 붕괴하는 분할 방식(예: Packed Ensembles)과 달리, $\sigma$N-Ens는 매끄럽게 확장됩니다. $M$이 커짐에 따라 소프트 공유 메커니즘이 용량을 효과적으로 풀링하여, 성능이 붕괴하기보다 개선되거나 포화 상태에 이르게 합니다.
• 변화(Shift) 하에서의 보정: 이 방법은 분포 변화(입력 손상) 하에서도 견고한 보정을 유지하며, 손상 심도가 증가함에 따라 기대 보정 오차(ECE)가 거의 일정하게 유지됩니다.
• OOD 탐지: 이론적 분석과 일치하게, 특히 사전 학습된 백본을 사용할 경우 OOD 탐지 성능은 풀 딥 앙상블보다 약합니다. 이는 피처 표현이 고정되어 있기 때문입니다. 그러나 처음부터 훈련할 경우, 멤버들이 다양성 압력 하에서 공유 표현을 형성함에 따라 탐지 성능이 향상됩니다.
• 하이퍼파라미터 민감도: 최종 성능은 수렴 후 정규화 강도 $\lambda$에 크게 영향을 받지 않으므로, $\tau$가 실무자가 튜닝해야 할 유일한 핵심 하이퍼파라미터가 됩니다.

의의
본 논문은 제어 가능한 다양성이 암시적 앙상블을 정적인 아키텍처 선택에서 동적이고 튜닝 가능한 시스템으로 변화시킨다고 주장합니다. 다양성을 초기화 및 아키텍처로부터 분리함으로써, $\sigma$N-Ens는 모델 크기가 커짐에 따라 풀 딥 앙상블을 대체할 수 있는 실질적인 대안을 제공합니다. 단일 사전 학습 모델을 짧은 미세 조정을 통해 보정된 앙상블으로 전환할 수 있는 능력은 자원이 제한적이거나 위험 민감도가 높은 도메인에서 불확실성을 인지하는 딥러닝을 배포하는 데 있어 중요한 격차를 해소합니다. 본 연구는 공유 백본 앙상블의 내재적 트레이드오프를 명확히 하며, 구조적 한계(공유 피처 추출기)를 OOD 탐지 약점과 연결하는 동시에 보정 견고성의 강점을 강조합니다.