MahaVar: OOD Detection via Class-wise Mahalanobis Distance Variance under Neural Collapse

기술 요약: MahaVar: 신경 붕괴 하의 클래스별 마할라노비스 거리 분산을 통한 OOD 탐지

문제 제기
실제 환경에 심층 신경망을 배포하는 것은 중요한 과제를 안고 있습니다: 폐쇄적 세계 가정 하에서 훈련된 모델은 종종 훈련 분포 밖 (Out-of-Distribution 또는 OOD) 에 있는 테스트 샘플을 마주치게 됩니다. 이러한 샘플은 과도하게 확신에 찬 잠재적으로 치명적인 예측으로 이어질 수 있습니다. 자율 주행 및 의료 영상과 같은 안전이 중요한 분야에서 OOD 탐지는 필수적이지만, 기존 사후 (post-hoc) 방법 (재훈련이나 OOD 데이터 접근이 필요 없는 방법) 은 종종 제한된 신호에 의존합니다. 구체적으로, 마할라노비스 거리 기반 탐지기는 강력한 베이스라인이지만, 일반적으로 가장 가까운 클래스 조건부 가우시안 분포까지의 최소 거리에만 초점을 맞추어 모든 클래스에 걸친 거리의 구조적 기하학을 간과할 수 있습니다.

방법론: MahaVar
저자들은 표준 마할라노비스 거리에 클래스별 거리 분산 항을 보강한 간단하면서도 효과적인 사후 OOD 탐지기인 MahaVar를 제안합니다. 이 방법은 다음과 같은 논리에 기반합니다:

1. 경험적 관찰: 저자들은 In-Distribution(ID) 샘플의 경우 정렬된 클래스별 마할라노비스 거리가 "뚜렷한 날카로운 최소값 구조"를 보인다고 관찰합니다. 가장 가까운 클래스까지의 거리는 다른 모든 클래스까지의 거리보다 현저히 작으며, 나머지 거리들은 크고 상대적으로 균일하게 유지됩니다. 반면, OOD 샘플은 덜 뚜렷한 최소값을 보이며, 모든 클래스까지의 거리가 상대적으로 크고 변동성이 적습니다. 이러한 구조적 비대칭성은 ID 샘플이 OOD 샘플보다 클래스별 거리 분산이 더 높음을 시사합니다.
2. 이론적 근거 (신경 붕괴): 이 논문은 **신경 붕괴 (Neural Collapse)**에 기반한 이론적 분석을 제공합니다. 신경 붕괴는 각 클래스의 penultimate(마지막 전) 특징이 해당 클래스의 평균으로 붕괴되고, 클래스 평균들이 심플렉스 등각 긴밀 프레임 (Simplex Equiangular Tight Frame, ETF) 을 형성하도록 배열되는 기하학적 현상입니다. 완화된 신경 붕괴 가정 (구체적으로 클래스 내 응집성과 클래스 간 분리) 하에서, 저자들은 ID 샘플이 구조적으로 OOD 샘플보다 엄격하게 높은 클래스별 거리 분산을 보인다고 증명합니다. 정리 4.3 과 corollary 4.4 는 특히 OOD 샘플이 클래스 평균으로부터 충분한 각도적 분리를 유지하거나 클래스 평균이 span 하는 부분 공간 내에 있지 않을 때, 이 분산 분리가 보장되는 충분 조건을 확립합니다.
3. 점수 함수: 제안된 OOD 점수 $S(x)$는 최소 마할라노비스 거리의 음수와 이러한 거리들의 클래스별 분산을 결합합니다:
   $$S(x) = -\min_{c} d_{Maha,c}(\hat{\phi}(x)) + \alpha \cdot \text{Var}_c[d_{Maha,c}(\hat{\phi}(x))]$$
   여기서 $\hat{\phi}(x)$는 L2-정규화된 penultimate 특징을 나타내며, $\alpha$는 분산 항의 가중치를 조절하는 하이퍼파라미터입니다.

주요 기여
이 논문은 세 가지 주요 기여를 합니다:

1. 경험적 발견: 이전에 활용되지 않았던 구조적 비대칭성의 식별: ID 샘플은 클래스별 마할라노비스 거리에서 날카로운 최소값 (높은 분산) 을 보이는 반면, OOD 샘플은 더 평평한 분포 (낮은 분산) 를 보입니다.
2. 이론적 정당화: 이 관찰을 신경 붕괴 기하학과 연결하는 원칙적인 분석으로, 특정 기하학적 조건 하에서 ID 샘플이 클래스별 거리 분산 측면에서 OOD 샘플을 엄격하게 우세하게 만든다는 것을 증명합니다.
3. 알고리즘 제안: 이 분산 항을 Mahalanobis++ 프레임워크에 통합하는 사후 탐지기 MahaVar 의 도입.

실험 결과
저자들은 세 가지 In-Distribution(ID) 설정 (CIFAR-10, CIFAR-100, ImageNet) 에서 Near-OOD 및 Far-OOD 평가 설정을 모두 사용하여 OpenOOD v1.5 벤치마크 프로토콜에 따라 MahaVar 를 평가했습니다.

• 성능: MahaVar 는 평가된 모든 방법 중 CIFAR-100 과 ImageNet 에서 **최고 수준 (State-of-the-Art, SOTA)**의 성능을 달성합니다.
• 베이스라인 대비 비교: AUROC 및 FPR@95 측면에서 세 가지 벤치마크 전반에 걸쳐 모든 마할라노비스 기반 베이스라인 (Mahalanobis 및 Mahalanobis++ 포함) 을 일관되게 능가합니다.
• 강건성: 대규모 ImageNet 벤치마크에서 세 가지 백본 아키텍처 (ResNet-50, Swin-B, ViT-B) 에 대해 평균낸 결과, MahaVar 는 최고의 평균 AUROC 및 FPR@95 를 달성합니다. 특히, 다른 활성화 형태 방법들 (ASH-S 및 SCALE 등) 이 Transformer 기반 백본 (Swin-B, ViT-B) 에서 현저히 저하되는 반면, MahaVar 는 안정적이고 우수한 성능을 유지합니다.
• Ablation 연구: 실험은 분산 항이 L2 정규화 없이도 의미 있는 보완 정보를 제공함을 확인하지만, L2 정규화와 분산의 조합이 최상의 결과를 산출함을 입증했습니다. 이 방법은 거리 메트릭 (L1, L2, 마할라노비스) 선택에도 강건하며, 공분산 구조 처리 능력으로 인해 마할라노비스 거리가 가장 좋은 성능을 보입니다.

의의 및 주장
이 논문은 전체 클래스별 거리 구조가 단일 최단 클래스 거리보다 더 풍부한 판별 정보를 포함한다고 주장합니다. 신경 붕괴의 기하학적 특성을 활용함으로써 MahaVar 는 이론적으로 근거가 있고 경험적으로 강건한 OOD 탐지 방법을 제공합니다. 저자들은 모델 재훈련이 비실용적인 실제 배포 환경에서 이 접근법이 특히 가치 있다고 강조합니다.

그러나 저자들은 한계에 대해 겸손한 어조를 유지합니다:

• CIFAR-10 에서는 KNN 기반 방법들이 여전히 약간 더 높은 AUROC 를 달성하여, 클래스 수가 적은 설정에서는 비모수적 접근법이 더 우월할 수 있음을 시사합니다.
• 이론적 프레임워크는 훈련의 말단 단계 근처에서 잘 훈련된 네트워크를 가정하는 신경 붕괴 가정에 의존합니다. 저자들은 이러한 가정을 완화하여 더 일반적인 특징 기하학을 다루는 것이 향후 연구 방향이라고 언급합니다.
• 실제 구현에서는 ReLU 활성화로 인한 비음수 특징 기하학으로 인해 ResNet-50 에서 성능이 저하됨이 발견되었으므로, 이론적 증명에 사용된 전역 평균 중심화 (global mean centering) 단계를 생략합니다.