기술 요약: 효율적인 분포 외 탐지를 위한 국소적 평탄성(Local Flatness)의 활용

문제 정의

신뢰할 수 있는 머신러닝 배포를 위해서는 학습 데이터셋과 이질적인 분포에서 추출된 샘플인 분포 외(Out-of-Distribution, OOD) 데이터를 탐지하는 능력이 필수적이다. 현대의 심층 신경망은 이러한 입력에 대해 과도하게 확신에 찬 잘못된 예측을 내놓는 경우가 많다. 사전 학습된 모델을 재학습 없이 사용하는 사후 처리(post-hoc) 탐지 방식은 효율성 측면에서 매력적이지만, 기존의 곡률 기반 접근 방식들은 상당한 한계에 직면해 있다. 헤시안(Hessian) 행렬의 곡률을 통해 모델의 불확실성을 추정하는 방식(예: 라플라스 근사)은 파라미터 공간의 이차 스케일링 문제로 인해 대규모 네트워크에서는 계산 비용이 매우 높다. 또한, 이러한 방법들은 ID(In-Distribution) 데이터와 OOD 데이터 간의 손실 지형(loss landscape) 평탄도 차이에 대한 암묵적인 가정을 전제로 하는데, 이에 대한 체계적인 조사는 이루어지지 않았다.

방법론

1. 곡률 불일치에 대한 경험적 관찰

저자들은 먼저 ID 및 OOD 샘플에 의해 유도되는 손실 지형 곡률에 대한 체계적인 경험적 분석을 제공한다. 전체 행렬을 구축하지 않고 Hutchinson의 방법을 사용하여 헤시안 통계량(최대 고유값 $\lambda_{max}$ 및 트레이스 $tr(H)$)을 추정함으로써 다음을 관찰하였다:

• ID vs. OOD 곡률: ID 샘플은 OOD 샘플에 비해 일관되게 낮은 곡률(더 작은 $\lambda_{max}$ 및 trace)을 보인다.
• 변화 심각도: 곡률 격차는 분포 변화가 near-OOD에서 far-OOD 영역으로 이동함에 따라 더 넓어진다.
• 샘플 수준의 분리 가능성: 개별 샘플의 헤시안 트레이스 분포는 명확한 분리 양상을 보이는데, ID 샘플은 낮은 값에 집중되어 있는 반면, OOD 샘플은 더 높은 값과 더 넓은 분포를 향해 이동한다.

2. FOLD: 평탄도 변조 OOD 탐지

ID 샘플이 손실 지형의 더 평탄한 영역에 위치한다는 관찰에 착안하여, 본 논문은 파라미터 공간의 곡률 근사에 따르는 막대한 비용을 피하는 경량 탐지기인 FOLD를 제안한다.

• 특징 헤시안(Feature Hessian): 전체 파라미터 헤시안을 계산하는 대신, FOLD는 로짓 공간(logit-space)의 곡률을 잠재 특징 공간(latent feature space)으로 전달한다. 네트워크가 특징 인코더 $h(\cdot)$와 선형 분류기 $g(\cdot)$로 분해되어 있다고 할 때, 특징 헤시안은 다음과 같은 2차 연쇄 법칙(second-order chain rule)을 통해 유도된다:
  $$\nabla_{\mathbf{h}}^2 \mathcal{L} = (\nabla_{\mathbf{h}} g) (\nabla_{\mathbf{z}}^2 \mathcal{L}) (\nabla_{\mathbf{h}} g)^{\top}$$
  이 연산자는 예측 불확실성을 분류기에 의해 유도된 특징 매니폴드(feature manifold)로 투영하여, OOD 탐지에 결정적인 기하학적 구조를 포착한다.
• 부분 특징 정규화(Partial Feature Normalization): 큰 특징 크기로 인해 소프트맥스가 포화되어 손실 지형이 평탄해지고 헤시안이 소실되는 문제를 해결하기 위해, FOLD는 부분 특징 정규화를 도입한다:
  $$\tilde{\mathbf{h}} = \frac{\mathbf{h}}{\|\mathbf{h}\|^{\alpha}}, \quad 0 < \alpha \leq 1$$
  탐지 점수는 이 정규화된 공간에서의 헤시안 트레이스로 정의된다: $S_{fold}(\mathbf{x}) = \text{tr}(\nabla_{\tilde{\mathbf{h}}}^2 \mathcal{L})$.
  • 데이터셋 의존성: 최적의 $\alpha$ 값은 데이터셋의 복잡도에 따라 달라진다. 단순한 데이터셋(예: CIFAR)은 거의 완전한 정규화($\alpha \approx 1$)로부터 이득을 얻는 반면, 복잡한 데이터셋(예: ImageNet)은 정보가 담긴 크기 단서를 보존하기 위해 완만한 억제($\alpha \approx 0.2$)가 필요하다.

3. AUTOFOLD: 자기 지도 학습 기반 캘리브레이션

$\alpha$를 튜닝하기 위해 외부 OOD 검증 데이터셋이 필요한 문제를 제거하기 위해, 저자들은 AUTOFOLD를 도입한다. 이 자기 지도 학습 스킴은 다음과 같이 작동한다:

• ID 샘플의 지배적인 로짓을 마스킹(진정한 클래스의 로짓을 $-\infty$로 설정)하여 미지의 클래스 시나리오를 시뮬레이션함으로써 의사(pseudo)-OOD 샘플을 생성한다.
• 원래의 ID 검증 샘플과 로짓이 마스킹된 대응 샘플 간의 AUROC를 최대화함으로써 최적의 $\alpha^*$를 자동으로 선택한다.
• 외부 데이터 없이 추론 시점에 완전히 작동하며, 오버헤드가 극히 적다.

주요 기여

1. 체계적인 곡률 분석: OOD 입력이 ID 데이터보다 더 큰 헤시안 곡률을 나타내며, 이러한 불일치가 강력한 분포 변화 하에서 증가함을 확인한 최초의 체계적인 조사이다.
2. 효율적인 탐지 알고리즘 (FOLD): 베이지안 곡률 기반 방법의 비용 부담 없이, 특징 헤시안과 부분 특징 정규화를 활용하여 ID-OOD 분리도를 높이는 경량화된 방법을 제공한다.
3. 자동 하이퍼파라미터 튜닝 (AUTOFOLD): 외부 OOD 데이터 없이 로짓 마스킹을 사용하여 정규화 파라미터를 캘리브레이션하는 자기 지도 학습 전략을 제공한다.
4. 이론적 및 경험적 검증: 단순화된 이진 분류 가정하의 이론적 분석은 특징 헤시안의 기대 트레이스가 OOD 데이터에 대해 더 크다는 주장을 뒷받침한다. 다양한 아키텍처와 데이터셋에 걸친 광범위한 실험을 통해 이러한 발견을 입증하였다.

실험 결과

저자들은 표준 OOD 벤치마크(CIFAR-10, CIFAR-100, ImageNet-200, ImageNet-1K)에서 다양한 사후 처리 베이스라인(예: MSP, ODIN, ReAct, VIM, KNN)을 대상으로 FOLD와 AUTOFOLD를 평가하였다.

• 성능: FOLD와 그 변형 모델들은 기존 방법들을 일관되게 능가했다.
  • FOLD-R (FOLD와 ReAct의 활성화 임계값 설정을 결합)은 강력한 베이스라인 대비 평균 AUROC를 1.63% 개선하고 FPR95를 2.30% 감소시켜 최고의 평균 성능을 달성했다.
  • AUTOFOLD 변형 모델들은 고정된 $\alpha$를 사용하는 FOLD와 경쟁력 있는 성능을 보여주었으며, 이는 자동 캘리브레이션이 수동 튜닝 없이도 효과적임을 입증한다.
• 효율성: FOLD는 표준 순전파(forward pass)와 유사한 계산 효율성을 유지한다. 복잡한 설정(예: KNN, MDS)이나 추론 단계의 비용(예: RMDS)이 필요한 방법들과 달리, FOLD는 최소한의 오버헤드만을 발생시킨다.
• 일반화: 이 방법은 다양한 백본 아키텍처(RegNet, DenseNet, WRN, ResNeXt)에서 안정적인 성능을 보여주며, 곡률 기반 점수의 기하학적 이점이 아키텍처에 구애받지 않음을 나타낸다.
• 절제 연구(Ablation Studies):
  • 정규화: 복잡한 데이터셋(ImageNet)에서는 완전한 정규화가 정보가 담긴 크기 단서를 버려 ID와 OOD 사이의 스펙트럼 격차를 붕괴시키기 때문에, 부분 정규화가 더 우수하다는 것이 밝혀졌다.
  • 특징 헤시안: 특징 헤시안을 사용하는 것이 로짓 헤시안만을 사용하는 것보다 특히 복잡한 도메인에서 더 높은 AUROC를 기록하였으며, 이는 분류기에 의해 유도된 기하학적 구조를 포함하는 것의 가치를 확인시켜 준다.

의의 및 주장

본 논문은 견고한 실세계 OOD 탐지를 위한 원칙적이고 실용적인 솔루션을 제공한다고 주장한다. ID 데이터가 OOD 데이터보다 더 평탄한 손실 영역에 위치한다는 구조적 특성을 활용함으로써, FOLD는 곡률 기반 불확실성 추정의 이론적 유망함과 계산 효율성의 실제적 제약 사이의 간극을 메운다.

저자들은 자사의 접근 방식이 다음과 같음을 강조한다:

• 베이지안 곡률 근사에서 발생하는 "막대한 계산 비용"을 피한다.
• AUTOFOLD를 통해 외부 OOD 검증 데이터셋에 대한 하이퍼파라미터 튜닝 의존성을 제거한다.
• 기존 탐지 프레임워크를 강화할 수 있는 "플러그 앤 플레이(plug-and-play)" 구성 요소(부분 정규화)를 제공한다.
• 특징 헤시안 트레이스와 분포 변화를 연결하는 이론적 토대(Theorem 1)를 제공하여, 관찰된 경험적 성공에 대한 직관적인 설명을 제시한다.

결론적으로 FOLD는 탐지 정확도와 계산 효율성 사이의 유리한 균형을 달성하여, OOD 데이터 검증이 불가능하고 실시간 추론이 요구되는 시나리오에 배포하기에 적합하다.