기술 요약: MM++ (Multilayer Mahalanobis++)

문제 정의

심층 신경망(DNN)은 종종 분포 외(out-of-distribution, OOD) 입력에 대해 과도하게 확신하는 예측을 보이는데, 이러한 현상은 인 분포(in-distribution, ID) 표현이 저차원 클래스 중심점으로 압축되는 신경 붕괴(neural collapse) 현상에 기인합니다. 이는 분류 정확도를 향상시키지만, 표현의 다양성을 감소시켜 OOD 샘플이 ID 구조 근처로 투영되게 만듭니다.

기존의 사후(post-hoc) OOD 탐지 방법들은 **척도 불변성(scale invariance)**과 계층적 표현력(hierarchical expressivity) 사이에서 트레이드오프를 겪습니다:

1. 단일 계층 방법(예: Mahalanobis++, ReAct)은 최종(마지막 전) 계층에서 작동합니다. Mahalanobis++와 같은 척도 불변 접근 방식은 크기 변화를 완화하기 위해 특징을 단위 초구체(unit hypersphere)로 투영하지만, 근접 OOD(near-OOD) 샘플을 탐지하는 데 중요한 중간 단계의 구조적 단서들을 버리게 됩니다.
2. 다층 계층 방법(예: X-Mahalanobis)은 중간 계층들의 점수를 집계하지만, 일반적으로 계층별 표현을 독립적인 주변 분포(marginals)로 취급합니다. 이들은 개별 점수의 가산적 융합(additive fusion)에 의존하며, 종종 분산 기반 가중치나 분류기 미세 조정(fine-tuning)을 필요로 합니다. 이러한 접근 방식은 **계층 간 조건부 의존성(cross-layer conditional dependencies)**을 무시하며, 초기 계층의 고분산 노이즈를 전파할 수 있어, 개별 계층에서는 ID 특징을 모사하지만 계층 간의 기대되는 진화 궤적을 위반하는 계층적 불일치를 탐지하는 데 실패할 수 있습니다.
3. 엄격한 사후(strictly post-hoc)의 한계: 많은 고급 방법들은 보조 OOD 검증 세트나 미세 조정을 요구하며, 이는 엄격한 사후 가정을 위반하고 탐지기를 특정 보조 기하 구조에 편향되게 만듭니다.

방법론: MM++ 프레임워크

저자들은 **MM++ (Multilayer Mahalanobis++)**라는 완전 비지도, 엄격한 사후, 그리고 척도 불변 프레임워크를 제안합니다. MM++는 단순한 가산적 점수 융합 대신, 선택된 중간 계층들과 최종 표현을 융합하여 **원칙적인 결합 특징 공간(principled joint feature space)**을 구축합니다.

1. 엔트로피 밀도 저하를 통한 계층 선택

MM++는 보조 데이터 없이 **엔트로피 밀도 저하(entropy density drops)**를 측정함으로써 변별력 있는 중간 계층을 식별합니다:

• 공분산 엔트로피: 각 계층 $l$에 대해, 정규화된 Ledoit–Wolf 축소 공분산 고윳값 스펙트럼의 섀넌 엔트로피 $H_l$을 계산합니다. 이는 표현의 풍부함을 정량화합니다.
• 엔트로피 밀도: $\rho_l = H_l / D_l$ (특징 차원당 엔트로피)로 정의되며, 척도 불변 메트릭을 제공합니다.
• 엔트로피 밀도 저하 ($\Delta_l$): 연속된 계층 간의 차이로, $\Delta_l = \rho_{l-1} - \rho_l$입니다. 큰 양의 $\Delta_l$은 상대적 고유 차원의 급격한 감소를 나타내며, 이는 **의미적 압축(semantic compression)**의 경계를 표시합니다.
• 선택 전략: 마지막 전 계층 $L$은 항상 앵커(anchor)로 포함됩니다. 가장 큰 양의 $\Delta_l$을 가진 상위 $K-1$개의 중간 계층이 선택됩니다. 이는 모델이 초기 계층의 노이즈를 억제하면서, 가장 유의미한 구조적 변화가 일어나는 표현에 집중하도록 합니다.

2. 특징 융합 및 결합 모델링

선택된 계층들은 $\ell_2$-정규화된 후 하나의 통합된 표현 $\phi(x)$로 결합됩니다.

• 손실 없는 결합(Lossless Concatenation): 가산적 융합과 달리, 이는 명시적인 가중치 없이 각 선택된 계층으로부터의 전체 정보를 보존합니다.
• 결합 정밀도 행렬(Joint Precision Matrix): 이 통합 공간에서 단일 클래스 조건부 마할라노비스 거리가 계산됩니다. 묶인 공분산 행렬 $\hat{\Sigma}_K$는 결합된 특징들로부터 추정됩니다.
• Ledoit–Wolf 축소(Shrinkage): 융합된 공간의 고차원성(특징 차원 $D_K$가 샘플 수 $N_c$를 초과하는 경우)을 처리하기 위해, MM++는 공분산 행렬에 Ledoit–Wolf 축소를 적용합니다. 이는 잘 조건화된(well-conditioned), 양의 정치행렬인 $\hat{\Sigma}_K^{-1}$을 보장합니다.
• 계층 간 의존성: 결합 정밀도 행렬의 비대각 블록(off-diagonal blocks)은 계층 간 공분산을 명시적으로 모델링합니다. 이를 통해 개별 계층 분포 하에서는 타당해 보이지만, 결합 구성(joint configuration)이 비정상적인(즉, 학습된 특징의 진화 궤적을 위반하는) 샘플에 패널티를 부여할 수 있습니다.

3. OOD 점수 산출

최종 OOD 점수는 결합 공간에서의 모든 클래스에 대한 음의 최소 마할라노비스++ 거리입니다:
$$S_{MM++}(x) = -\min_{c} (\phi(x) - \hat{\mu}_c^K)^\top \hat{\Sigma}_K^{-1} (\phi(x) - \hat{\mu}_c^K)$$
점수가 높을수록 ID 클러스터에 근접함을 의미합니다. 이 방법은 미세 조정을 요구하지 않으며, 대리(proxy) OOD 데이터를 필요로 하지 않고, 단 하나의 하이퍼파라미터 $K$(융합할 계층 수)만을 도입합니다.

주요 기여

1. 통합 다층 프레임워크: 가산적 점수 집계에서 결합 특징 공간 모델링으로 패러다임을 전환하여, 잠재적인 계층 간 상관관계를 포착합니다.
2. 원칙적인 계층 선택: 엔트로피 밀도 저하를 통해 계층을 선택하는 메커니즘을 도입하여, 휴리스틱한 가중치 설정 없이 의미적 압축의 경계를 식별합니다.
3. 엄격한 사후 및 척도 불변성: $\ell_2$-정규화(Mahalanobis++로부터)를 다층 설정으로 확장하고 Ledoit–Wolf 정규화를 적용하여, 보조 데이터나 아키텍처 수정 없이 작동합니다.
4. 아키텍처 독립성: 이 프레임워크는 정규화된 중간 특징 위에서 작동하므로, 차원 특화된 적응 없이 다양한 이종 아키텍처(Transformer, CNN, 계층형 모델)에 적용 가능합니다.

실험 결과

논문은 다양한 백본(ViT-B/16, Swin-T, ConvNeXt-T, EVA02)과 데이터셋(ImageNet-1K, ImageNet-LT)에 대해 MM++를 평가합니다.

• 균형 잡힌 환경 (ImageNet-1K): MM++는 SOTA 방법들과 경쟁력 있는 성능을 보여줍니다. 미세 조정을 요구하는 X-Mahalanobis가 원거리 OOD(far-OOD) 벤치마크에서 가장 높은 전체 성능을 달성하지만, MM++는 미세 조정 없이도 특정 근접 OOD(near-OOD) 데이터셋(Texture, SUN)에서 이를 능가합니다.
• 롱테일 환경 (ImageNet-LT): MM++는 가장 높은 평균 AUROC(83.91%)를 달성하며 탁월한 강건성을 입증합니다. 특히 단일 계층 방법이나 가산적 다층 융합 방식이 불균형 환경에서 미묘한 의미적 편차를 포착하는 데 어려움을 겪는 도전적인 근접 OOD 시프트(ImageNet-ES, -R, -V2)에서 우수한 성능을 보입니다.
• 교차 아키텍처 일관성: MM++는 Vision Transformer, 계층적 어텐션 모델(Swin), 현대화된 컨볼루션(ConvNeXt) 전반에 걸쳐 근접 OOD 벤치마크에서 일관되게 베이스라인을 능가합니다. 특히, 균일한 특징 차원과 미세 조정에 의존하는 X-Mahalanobis는 Swin이나 ConvNeft와 같은 비동질적 아키텍처에 적용하기 어려운 경우가 많습니다.
• 절제 연구 (Ablation Studies):
  • 계층 선택: 마지막 전 계층 앵커링과 엔트로피 저하를 통한 계층 선택이 필수적입니다. 앵커링을 제거하거나 의사 역행렬(pseudo-inverse) 추정을 사용하면 성능이 크게 저하됩니다.
    �   * 축소 (Shrinkage): Ledoit–Wolf 축소는 고차원 융합 공간에서 의사 역행렬 추정 대비 상당한 이득(예: +8.26% AUROC)을 제공합니다.
        * 하이퍼파라미터 $K$: 성능은 중간 정보의 상보성과 확장되는 차원의 통계적 노이즈 사이의 균형을 맞추는 작은 $K$(일반적으로 $K=2$)에서 정점에 도달합니다.

의의 및 주장

본 논문은 MM++가 최종 계층의 안정성과 다층 아키텍처의 깊이 사이의 근본적인 이분법을 해결한다고 주장합니다. 특징 진화의 계층적 궤적을 통합된 결합 분포를 통해 모델링함으로써, MM++는 계층 간 진화 역학을 위반하는 OOD 샘플을 탐지하며, 이는 단일 계층이나 가산적 방법으로는 탐지 불가능한 실패 모드입니다.

저자들은 MM++가 신뢰할 수 있는 딥러닝 시스템을 향한 엄격하고 일반화 가능한 경로를 제공한다고 강조합니다. MM++는 미세 조정의 계산 비용이나 보조 OOD 데이터의 요구 사항 없이, 이종 아키텍처와 롱테일 환경 전반에서 강력한 근접 및 원거리 OOD 탐지를 달현합니다. 이 연구는 견고한 OOD 탐지가 아키텍처 특화된 튜닝이 아닌, 일반화된 원칙(정보 이론적 계층 선택 및 기하학적 결합 모델링)을 통해 달성될 수 있음을 시사합니다.