기술 요약: 밀도 기반 기하학: 퓨샷 교차 도메인 OOD 탐지

문제 정의

비분포 (Out-of-Distribution, OOD) 탐지는 자율 주행, 의료 진단과 같은 고위험 시나리오에서 머신러닝의 안전한 배포를 위해 필수적이며, 모델이 학습 분포와 편차된 입력을 인식해야 합니다. 기존 OOD 탐지 방법은 일반적으로 분류기 기반, 밀도 기반, 거리 기반 접근법으로 분류됩니다. 그러나 이러한 방법들은 두 가지 주요 한계를 겪습니다:

1. 도메인 특이성: 이들은 특정 학습 분포와 긴밀하게 결합되어 있습니다. 새로운 도메인에 탐지기를 배포하려면 대규모 분포 내 (In-Distribution, ID) 데이터 (종종 5 만~20 만 개 샘플) 를 수집하고 전용 모델을 재학습해야 합니다.
2. 밀도 추정에 대한 의존: 대부분의 방법은 ID 데이터의 확률 밀도 $p(x)$를 모델링하려 합니다. 본 논문은 이러한 분포 통계에 대한 의존이 교차 도메인 일반화를 제한한다고 주장합니다. 왜냐하면 밀도 추정은 도메인 변화에 매우 민감하기 때문입니다.

저자들은 퓨샷 교차 도메인 OOD 탐지라는 과제를 제기합니다: 단일 사전 학습된 모델이 추론 시 추가 학습이나 미세 조정 없이 소수의 라벨 없는 ID 샘플 (예: 약 100 개) 만을 사용하여 임의의 새로운 ID-OOD 작업 쌍에서 OOD 탐지를 수행할 수 있을까요?

방법론: UFCOD

저자들은 UFCOD(Unified Few-shot Cross-domain OOD Detection, 통합 퓨샷 교차 도메인 OOD 탐지) 를 제안합니다. 이는 밀도 추정에서 확산 궤적의 정보-기하학적 분석으로 패러다임을 전환하는 학습 없는 프레임워크입니다.

1. 핵심 통찰: 보편적 특징 추출기로서의 확산

각 도메인마다 새로운 탐지기를 학습시키는 대신, UFCOD 는 단일 사전 학습된 확산 모델 (예: CelebA 데이터셋으로 학습됨) 을 보편적 특징 추출기로 활용합니다. 핵심 이론적 통찰은 확산 모델의 노이즈 예측 $\epsilon_\theta(x_t, t)$가 스코어 함수(로그 밀도의 기울기, $\nabla \log p(x_t)$) 에 직접 비례한다는 점입니다.

• ID 샘플의 경우, 학습된 스코어 함수는 정확한 안내를 제공하여 매끄럽고 낮은 에너지를 가진 궤적을 생성합니다.
• OOD 샘플의 경우, 스코어 함수는 신뢰할 수 없어 제거 과정이 진동하며 높은 에너지를 보입니다.

2. 에너지 기반 특징 추출

이 방법은 입력 이미지 $x$의 확산 궤적에서 2 차원 특징 벡터를 추출합니다:

• 경로 에너지 ($f_1$): 궤적을 따라 누적된 노이즈 예측의 제곱 크기입니다. 이는 통합된 스코어 함수 크기를 측정합니다.
  $$f_1 = \sum_{t,c,h,w} \epsilon_{t,c,h,w}^2$$
• 동적 에너지 ($f_2$): 노이즈 예측의 누적된 변화율 (시간 미분) 의 제곱입니다. 이는 스코어 공간에서 궤적의 매끄러움을 측정합니다.
  $$f_2 = \sum_{t,c,h,w} (\Delta \epsilon_{t,c,h,w})^2$$

이 두 가지 특징은 크기와 매끄러움을 모두 포착하는 스코어 함수의 이산 **소볼레프 노름 (Sobolev norm)**을 형성합니다. 저자들은 2 차 통계량 (에너지) 이 퓨샷 탐지에 최적이라고 주장합니다. 왜냐하면 1 차 모멘트는 가우시안 노이즈에 대해 거의 0 의 기대값을 가지며, 고차 모멘트는 이상치에 너무 민감하기 때문입니다.

3. 퓨샷 참조 구성

제한된 데이터로 탐지를 수행하기 위해 UFCOD 는 소수의 ID 샘플 (예: 100 개) 로부터 참조 집합을 구성합니다.

• 시설 위치 선택 (Facility Location Selection): 무작위 샘플링 대신, 이 방법은 시설 위치 목적 함수를 사용하여 2 차원 특징 공간에서 모든 ID 점까지의 최대 거리를 collectively 최소화하는 샘플을 선택합니다. 이는 참조 집합이 경계 이상치가 아닌 ID 분포의 핵심 구조를 충실히 반영하도록 보장합니다.
• 이론적 정당성: 특징 공간을 고차원 픽셀 공간 ($d \approx 3072$) 에서 2 차원 에너지 공간으로 축소함으로써, 분포를 특성화하는 데 필요한 샘플 복잡도가 $O(1/\epsilon^d)$에서 $O(1/\epsilon^2)$로 감소하여 약 100 개의 샘플로 효과적인 탐지가 가능해집니다.

4. 최적 수송을 통한 OOD 스코어링

OOD 스코어는 테스트 샘플의 특징에서 참조 집합까지의 엔트로피 정규화 Wasserstein-1 거리로 계산됩니다. 이는 소프트 최소 거리로 구현됩니다:
$$s_T(f) = -T \log \sum_{i=1}^m \exp\left(-\frac{\|f - f_i\|^2}{T}\right)$$
여기서 $T$는 온도 매개변수 (0.5 로 설정됨) 입니다. 이 접근법은 단일 최근접 이웃에 의존하는 대신 여러 이웃에 질량을 분산시켜 참조 집합의 노이즈에 대한 강건성을 제공합니다. 마지막으로, Z-스코어 보정을 적용하여 서로 다른 도메인 간 스코어를 정규화하고 통합된 결정 임계값을 가능하게 합니다.

주요 기여

1. 정보-기하학적 프레임워크: 본 논문은 확산 기반 OOD 탐지와 정보 기하학 사이의 이론적 연결을 확립합니다. 경로 에너지와 동적 에너지를 이산 소볼레프 노름으로 정의하고 크라메르 - 라오 하한 (Cramér-Rao bound) 을 통해 2 차 통계량이 퓨샷 탐지에 최적임을 증명합니다.
2. 학습 없는 교차 도메인 탐지: UFCOD 는 단일 사전 학습된 확산 모델이 재학습이나 미세 조정 없이 의미적으로 관련 없는 도메인 (예: 얼굴, 숫자, 질감) 간 OOD 탐지를 위한 보편적 특징 추출기로 작용할 수 있음을 보여줍니다.
3. 샘플 효율성: 이 방법은 작업당 약 100 개의 ID 샘플만을 사용하여 높은 성능을 달성합니다. 이론적 분석은 이것이 전체 데이터 방법 대비 샘플 요구 사항을 약 500 배 줄였음을 보여줍니다.

실험 결과

저자들은 CIFAR-10, SVHN, CelebA, CIFAR-100, Textures 를 포함하는 12 개의 ID-OOD 벤치마크 쌍에서 UFCOD 를 평가했습니다.

• 성능: 80150 개의 ID 샘플만을 사용하여 UFCOD 는 평균 **AUROC 93.7%**를 달성했습니다. 이 성능은 5 만16 만 3 천 개 샘플로 학습된 최첨단 베이스라인 (예: IGEBM, VAEBM, DiffPath) 과 경쟁하거나 종종 더 우수합니다.
• 교차 도메인 일반화: CelebA 에서만 학습된 모델은 CIFAR-10 과 SVHN 의 OOD 샘플을 높은 정확도로 성공적으로 탐지한 반면, 한 도메인에서 학습된 베이스라인 방법은 다른 도메인에 적용될 때 크게 실패했습니다 (예: 특정 교차 도메인 설정에서 DoS 베이스라인의 성능이 91.5% 하락).
• 애블레이션 연구:
  • 특징 선택: 2 차 에너지 특징 (2 차원) 은 6 차원 특징 집합 및 1/3 차 모멘트보다 우수한 성능을 보였습니다.
  • 코어셋 선택: 시설 위치 선택은 무작위 샘플링 및 K-센터 그리디보다 우수하여, 퓨샷 regime 에서 다양성보다 대표성이 더 중요함을 확인했습니다.
  • 스코어링: $T=0.5$인 소프트 가중 근접 스코어링은 무가중 및 밀도 기반 스코어링 방법보다 우수했습니다.

중요성과 주장

본 논문은 현재 OOD 탐지의 한계가 도메인 특이적 밀도 통계 모델링에 의존하는 데 있다고 주장합니다. 도메인 특이적 학습에서 OOD 탐지를 분리할 수 있음을 보여주기 위해, 저자들은 확산 궤적의 기하학적 속성(특히 스코어 함수의 신뢰성과 매끄러움) 에 초점을 옮깁니다.

이 연구의 중요성은 다음과 같은 세 가지 측면에서 나타납니다:

1. 실용적 배포: 대규모 ID 데이터셋 수집이 불가능한 시나리오에서 OOD 탐지를 가능하게 하며, 보정을 위해 소수의 샘플만 요구합니다.
2. 이론적 통찰: 밀도 추정이 아닌 스코어 함수의 기하학적 구조에 기인하여 확산 모델이 이상 탐지에서 도메인 간에 잘 일반화되는지에 대한 원칙적인 설명을 제공합니다.
3. 효율성: 약 500 배의 샘플 효율성 개선을 달성하여, 자원 제약이 있거나 급변하는 배포 환경에서도 고성능 OOD 탐지를 가능하게 합니다.

저자들은 한계를 인정하며, 에너지 특징이 세분화된 카테고리 경계보다는 거친 분포 차이를 포착하기 때문에 의미적 구분이 미묘한 근접 OOD 탐지(예: CIFAR-10 대 CIFAR-100) 에서는 이 방법이 어려움을 겪는다고 지적합니다.