기술 요약: 표현 및 학습 패러다임 전환 하의 분포 외 (OOD) 탐지에 대한 체계적 분석

문제 제기

심층 신경망은 종종 높은 확신으로 잘못된 예측을 제공하는 "침묵하는 실패 (silent failures)"를 일으킵니다. 분포 외 (Out-of-Distribution, OOD) 탐지는 신뢰할 수 있는 예측과 신뢰할 수 없는 예측을 구별하는 신뢰도 점수를 부여함으로써 이러한 실패를 경고하는 것을 목표로 합니다. 수많은 신뢰도 점수 함수 (Confidence Scoring Functions, CSFs) 가 존재하지만, 그 성능 순위는 데이터셋, 아키텍처, 학습 파이프라인이 달라질 때 극도로 불안정합니다. 본 연구가 다루는 핵심 질문은 다음과 같습니다: 특정 탐지기 계열이 언제 작동하며, 훈련된 모델의 어떤 속성이 그 효과성을 결정하는가?

저자들은 OOD 탐지를 단순히 점수 규칙 간의 경쟁으로 보는 시각에 도전합니다. 대신, 성능은 주로 아키텍처, 학습 패러다임, 그리고 레이블 공간의 복잡성에 의해 형성된 학습된 표현의 기하학적 구조에 의해 지배되며, 그 위에 적용되는 점수 설계보다는 이 기하학적 구조에 의해 좌우된다는 가설을 제시합니다.

방법론

1. 표현 중심 벤치마크

저자들은 네 가지 핵심 차원을 계승적으로 변화시키는 체계적인 벤치마크를 제시합니다:

• 백본 (Backbones): CNN(VGG-13, ResNet-18) 과 비전 트랜스포머 (ViT).
• 학습 패러다임: 바닐라 교차 엔트로피 (ConfidNet), DeVries(보간된 신뢰도), Deep Gamblers(예비 선택을 위한 도박 손실).
• 원본 데이터셋: CIFAR-10, CIFAR-100, SuperCIFAR-100, TinyImageNet.
• OOD 영역: CLIP 에서 파생된 의미적 거리를 기반으로 데이터를 근접 (near), 중간 (mid), 원거리 (far) 영역으로 그룹화하여, 표준적인 이진 근접/원거리 그룹화를 넘어섭니다.

2. 통계적 순위 파이프라인

순위 불안정성을 해결하기 위해, 본 논문은 단일 승자 요약 대신 다중 비교 통제 순위 파이프라인을 도입합니다:

• 지표: 임계값이 없는 지표인 AURC(위험 - 커버리지 곡선 아래 면적) 와 AUGRC(일반화된 위험 - 커버리지 곡선 아래 면적).
• 절차: 프리드만 (Friedman) 검정은 순위 간 유의미한 차이를 식별합니다. 사후 (Post-hoc) Conover-Holm 검정에 홀름 (Holm) 보정을 적용하여 통계적으로 구별할 수 없는 "승자"들의 **클릭 (cliques)**을 식별합니다. 이를 통해 단일 최선의 선택을 강제하는 대신, 공동으로 경쟁력 있는 CSFs 의 그룹을 식별할 수 있습니다.

3. 투영 필터링

본 연구는 표현 기하학에 대한 통제된 개입으로서 **투영 필터링 (projection filtering)**을 도입합니다. penultimate(최종 직전) 레이어 특징에 주성분 분석 (PCA) 을 적용하여 저차원 부분 공간에서 특징을 재구성합니다. 세 가지 변형을 평가합니다:

• 전역 투영 (Global Projection): 모든 클래스에 대한 단일 부분 공간.
• 클래스 투영 (Class Projection): 각 클래스에 특화된 부분 공간.
• 클래스 예측 투영 (Class-Predicted Projection, CPP): 모델이 예측한 클래스의 부분 공간 사용.

4. 신경 붕괴 (Neural Collapse, NC) 분석

저자들은 마지막 레이어 특징의 기하학을 정량화하기 위해 신경 붕괴 (NC) 지표를 활용합니다. 이러한 지표는 변동성 붕괴, 심플렉스 등각 조밀 프레임 (ETF) 에의 수렴, 클래스 평균과 분류기 가중치 간의 자기 이중성 (self-duality) 과 같은 현상을 측정합니다.

• 상관관계: 맨텔 (Mantel) 검정을 사용하여 NC 기하학 거리와 CSF 순위 거리 간의 상관관계를 분석합니다.
• 예측: NC 기반 예측 프레임워크를 제안합니다. 훈련된 분류기에서 계산된 NC 특징에 대해 CSF 별 L2 로지스틱 회귀 모델을 훈련시켜, OOD 검증 데이터 없이도 새로운 모델에 대한 경쟁력 있는 탐지기 단축 목록을 예측합니다.

주요 기여

1. 표현 인식 벤치마크: CNN, ViT, 여러 학습 패러다임, 그리고 세분화된 3 단계 OOD 영역 (근접/중간/원거리) 을 포괄하는 종합적 평가.
2. 통계적 클릭 파이프라인: 통계적으로 구별할 수 없는 최상위 성능 CSFs 를 식별하는 강력한 방법으로, 집계 평균보다 경쟁적 성능에 대한 더 미묘한 시각을 제공합니다.
3. CLIP 기반 계층화: OOD 데이터셋의 데이터 기반 그룹화로, 근접 OOD 에서는 마진 기반 점수에서 중간/원거리 OOD 에서는 기하학 인식 점수로 탐지기 효과성이 체계적으로 전환됨을 보여줍니다.
4. 투영 필터링 통찰: 최적 필터링 세분화가 아키텍처에 의존함을 입증: 전역 투영은 CNN 에서 CSFs 를 광범위하게 개선하는 반면, **클래스 예측 투영 (CPP)**은 미세 조정된 ViT 에 있어 결정적인 개입입니다.
5. NC 기반 예측기: OOD 검증 데이터 없이 모델의 NC 프로파일만을 사용하여 미지의 모델에 대한 경쟁력 있는 탐지기 단축 목록을 추천하는 방법.

결과

탐지기 계열에 대한 경험적 발견

경쟁적 탐지기 계열은 전환의 심각성과 아키텍처에 따라 체계적으로 전환됩니다:

• CNN:
  • 분포 내/오분류: 단순 확률적 점수 (예: GEN, MSR) 가 지배적입니다.
  • 근접 OOD: 마진 기반 점수 (Energy, MLS) 와 NNGuide 가 가장 강력합니다.
  • 중간/원거리 OOD: 기하학 인식 점수 (CTM, fDBD, NNGuide) 가 지배적이 됩니다.
• ViT (미세 조정):
  • 전환이 더 급격합니다. 근접 OOD 는 이질적입니다.
  • 중간 OOD 는 재구성 기반 점수 (KPCA RecError) 가 지배적입니다.
  • 원거리 OOD 는 잔차 기반 점수 (Residual, ViM, pNML) 로 전환됩니다.

투영 필터링의 영향

• CNN: 전역 투영은 불필요한 변동을 제거함으로써 거리 기반 점수 (예: Mahalanobis, CTM) 를 크게 개선하는 반면, 클래스 조건부 변형은 종종 성능을 저하시킵니다.
• ViT: 클래스 예측 투영 (CPP) 이 가장 큰 개선을 이끕니다 (예: GradNorm 의 경우). 이는 작업 특이적 기하학을 흐리게 하는 사전 학습 잔차를 효과적으로 제거합니다. 전역 투영은 로그 기반 점수에 대해 modest 한 개선을 제공합니다.

NC 기하학 및 예측

• 상관관계: 모든 학습 패러다임에 걸쳐 NC 기하학과 CSF 순위 사이에 유의미한 상관관계 ($r = 0.31\text{--}0.68, p \le 0.004$) 가 있음을 맨텔 검정이 확인합니다.
• 교차 아키텍처 전이: VGG-13 에서 훈련된 NC 기반 예측기가 재훈련 없이 ResNet-18 에 대한 경쟁력 있는 단축 목록을 성공적으로 예측합니다.
  • 성능: 예측된 단축 목록은 근접, 중간, 원거리 OOD 영역 전반에 걸쳐 가장 강력한 고정 CSF 기준선 대비 평균 세트 후회 (mean set-regret) 를 51% 에서 84% 까지 감소시킵니다.
  • 유의성: 54 개의 홀름 보정 쌍별 윌콕슨 (Wilcoxon) 비교 중 49 개에서 예측기가 기준선보다 유의하게 우월했습니다.

의의 및 주장

본 논문은 OOD 탐지 성능은 점수 설계 단독이 아니라 주로 표현 영역 (regime) 에 의해 지배된다고 주장합니다.

• 메커니즘: 학습된 표현의 기하학 (특히 신경 붕괴의 정도와 분류기 가중치와의 정렬) 이 어떤 점수 규칙이 효과적인지를 결정합니다. 프로토타입 및 경계 인식 점수는 표현이 붕괴되고 정렬되었을 때 번성하는 반면, 경사 및 매니폴드 기반 점수는 붕괴가 약할 때 선호됩니다.
• 실용적 유용성: 저자들은 모델의 내부 기하학 (NC 지표) 만 분석하면 주어진 모델에 어떤 OOD 탐지기 작동할지 예측할 수 있음을 보여주며, 이는 비용이 많이 드는 OOD 검증 데이터의 필요성을 제거합니다.
• 방법론적 전환: 이 연구는 "어떤 CSF 가 평균적으로 이기는가?"라는 질문에서 "어떤 표현 영역 하에서 어떤 계열이 통계적으로 경쟁력 있으며, 그 이유는 무엇인가?"라는 질문으로 분야를 이동시킵니다.

저자들은 범위에 대해 겸손하게 언급하며, 결과는 특정 데이터셋과 백본에 대한 이미지 분류로 제한되며, 교차 아키텍처 전이는 단일 CNN-to-CNN 쌍에서 테스트되었음을 지적합니다. 또한 NC 예측기가 단일 결정론적 선택이 아닌 후보들의 단축 목록을 제공하며, 배포 시 추가적인 동점 깨기가 필요할 수 있음을 강조합니다.