기술 요약: 신호와 잡음 (SITN)

문제 제기

심층 생성 모델, 특히 연속 정규화 흐름 (Continuous Normalising Flows, CNFs) 은 데이터 분포를 명시적으로 모델링함으로써 이상치 (Out-of-Distribution, OOD) 감지를 위한 이론적 기반을 제공합니다. 그러나 기존 연구는 고차원 공간에서 이러한 모델이 할당하는 가능도 (likelihood) 가 분포 내 (in-distribution, ID) 데이터와 OOD 데이터를 구분하는 신뢰할 수 있는 지표가 아님을 입증했습니다. 잘 문서화된 실패 사례 중 하나는 CIFAR-10 과 같은 한 데이터셋으로 훈련된 모델이 MNIST 나 SVHN 과 같은 다른 데이터셋의 샘플에 대해 더 높은 가능도를 할당하는 현상입니다.

이러한 문제를 해결하기 위한 기존 교정 방법들, 즉 전형성 (typicality) 테스트, 복잡성 페널티, 그리고 가능도 비율 등은 종종 가능도 자체와 관련된 내재적 편향 (특히 단순한 이미지를 선호하는 "복잡성 편향") 이나 실용적 제약으로 인해 고통받습니다. 이러한 제약에는 도메인별 압축 알고리즘의 필요성, 배경 모델을 위한 OOD 데이터 접근성, 또는 테스트 샘플에 대한 앙상블 훈련이나 미세 조정과 같은 상당한 계산 오버헤드가 포함됩니다.

방법론: 신호와 잡음 (SITN)

저자들은 OOD 감지를 CNFs 의 잠재 잡음 공간 내 단일 샘플 적합도 (goodness-of-fit) 테스트로 재해석하는 프레임워크인 **신호와 잡음 (Signal in the Noise, SITN)**을 제안합니다.

핵심 통찰

CNFs 는 표준 가우시안 잡음 사전 ($P_0 = \mathcal{N}(0, I)$) 을 목표 데이터 분포 ($P_{ID}$) 로 변환하는 미분동형 (diffeomorphic), 질량 보존 매핑을 활용합니다. 이러한 매핑이 가역적이기 때문에 ID 데이터는 표준 가우시안 사전에 부합하는 샘플로 다시 매핑됩니다. 반면, 목표 분포 하에서 낮은 확률 질량을 가진 OOD 샘플은 가우시안 사전 하에서 비전형적인 경험적 특성을 보이는 잡음 잠재 공간으로 매핑됩니다. 중요하게도, 이러한 비전형성은 가능도 값의 주요 동인인 벡터장의 발산과 무관합니다.

프레임워크

SITN 은 가우시안 사전의 완전한 분해 (factorization) 를 활용합니다. 역흐름 (inverse flow) $\phi^{-1}$을 통해 입력 $X$에서 매핑된 단일 고차원 잠재 벡터 $Z$는 일변량 표준 정규 분포에서 추출된 $D$개의 독립 동일 분포 (i.i.d.) 샘플의 집합으로 간주됩니다. 이 방법은 $Z \sim \mathcal{N}(0, I)$라는 귀무가설 ($H_0$) 에 대한 두 가지 필요 조건을 $Z$에 대해 테스트합니다.

1. 주변 정규성 (Marginal Normality): $Z$의 각 요소는 표준 일변량 정규 분포를 따라야 합니다.
   • 통계량: 잠재 요소의 경험적 누적 분포 함수 (CDF) 와 이론적 표준 정규 CDF 간의 불일치를 정량화하기 위해 앤더슨 - 달링 (Anderson-Darling, AD) 통계량 ($S_{AD}$) 을 사용합니다.
2. 차원 독립성 (Dimensional Independence): $Z$의 요소들은 상호 독립적이어야 합니다.
   • 통계량: 경험적 파워 스펙트럼의 변동 계수 (Coefficient of Variation, CV) ($S_{CV}$) 를 사용합니다. 백색 가우시안 잡음의 경우 파워 스펙트럼은 지수 분포를 따르며, 이론적 CV 는 1 입니다. 구조적 상관관계 (의존성) 는 지배적인 주파수로 나타나 스펙트럼 분산을 증가시켜 $S_{CV}$를 1 보다 훨씬 높게 만듭니다.

점수화 및 보정

단일 스칼라 OOD 점수 ($S_{SITN}$) 를 생성하기 위해, 이 방법은 **최대 분위수 전략 (max-quantile strategy)**을 사용합니다:
$$S_{SITN} = \max(\hat{F}_{AD}(S_{AD}), \hat{F}_{CV}(S_{CV}))$$
여기서 $\hat{F}$는 ID 보정 세트에서 추정된 경험적 CDF 를 나타냅니다. 이 접근법은 통계량을 의미 있는 비교가 가능한 균일한 $[0, 1]$ 범위로 매핑합니다. 최댓값을 취함으로써, 이 방법은 샘플이 주변 정규성 또는 차원 독립성 중 하나라도 위반할 경우 $H_0$를 기각합니다.

이론적 특성

• 거짓 양성 제어: 이 방법은 1 종 오류율 (거짓 양성률) 을 엄격하게 제어할 수 있게 합니다. 홀드아웃 ID 세트에서 경험적 CDF 를 보정함으로써, OOD 데이터에 접근할 필요 없이 특정 거짓 양성률을 보장하는 임계값을 설정할 수 있습니다.
• 계산 효율성: 오버헤드는 역흐름 계산에 비해 무시할 수 있습니다. $S_{AD}$ 계산에는 정렬 ($O(D \log D)$) 이, $S_{CV}$ 계산에는 고속 푸리에 변환 (Fast Fourier Transform, $O(D \log D)$) 이 포함됩니다.
• 강건성: CNF 가 실제 분포의 근사일지라도 프레임워크는 적용 가능하지만, 이는 거짓 양성보다는 2 종 오류 (미탐지) 를 증가시킬 수 있습니다.

주요 기여

1. 새로운 프레임워크: CNFs 의 분해된 가우시안 잡음 사전에 대한 단일 샘플 적합도 테스트로서 OOD 감지를 제시하는 이론적으로 근거된 접근법.
2. SITN 방법: OOD 데이터가 필요 없고, 최소한의 계산 오버헤드를 요구하며, 엄격한 1 종 오류 제어를 제공하는 구체적인 구현.
3. 경험적 검증: 표준 벤치마크 및 합성 교란에 걸친 효과성을 입증하는 포괄적인 평가로, 가능도 기반 방법의 내재적 복잡성 편향이 부재함을 강조합니다.

실험 결과

저자들은 CIFAR-10, SVHN, CelebA(32x32 로 다운샘플링) 의 세 가지 데이터셋에 걸쳐 원시 로그 가능도 (Log-likelihood), 전형성 (Typicality), 상태 밀도 추정 (Density of States Estimation, DoSE) 을 포함한 베이스라인과 SITN 을 평가했습니다.

• 교차 데이터셋 성능: SITN 은 모든 베이스라인을 일관되게 능가했습니다. 예를 들어, CIFAR-10 에서 훈련하고 SVHN 에서 테스트할 때, SITN 은 0.946 의 AUROC 를 달성한 반면, 로그 가능도는 0.105, DoSE 는 0.802 였습니다. 반대 설정 (SVHN 훈련, CIFAR-10 테스트) 에서 SITN 은 0.986 을 달성한 반면 로그 가능도는 0.980 이었습니다.
• 합성 교란: CIFAR-10-C(19 가지 손상 유형) 에서 SITN 은 평균 AUROC 0.85를 달성하여 로그 가능도 (0.59), 전형성 (0.69), DoSE(0.78) 를 크게 능가했습니다. SITN 은 다른 방법들이 우연 수준으로 떨어지는 조건에서도 견고한 성능을 유지했습니다.
• 복잡성 편향 분석: 시각화 및 산점도는 로그 가능도, 전형성, DoSE 가 이미지 복잡성 (PNG 압축 크기로 측정) 과 강한 상관관계를 보이며, 종종 단순하고 일정한 배경을 가진 이미지를 OOD 로 잘못 표시했음을 드러냈습니다. SITN 은 그러한 편향을 보이지 않았습니다 ($R^2 = 0.052$).
• 실패 모드: SITN 은 매우 효과적이지만, UNet 아키텍처가 큰 일정한 배경 패치를 전형적인 가우시안 잡음으로 매핑하는 데 어려움을 겪는 특정 엣지 케이스를 보였습니다. 이로 인해 AD 통계량이 분포 내일지라도 이를 비전형적으로 표시했습니다.

중요성 및 주장

이 논문은 SITN 이 가능도 중심 접근법보다 실질적, 통계적으로 중요한 진전을 제공한다고 주장합니다. 데이터 공간 (여기서 가능도는 신뢰할 수 없음) 에서 잡음 공간 (여기서 OOD 샘플은 비전형적인 잡음으로 나타남) 으로 감지 메커니즘을 전환함으로써, 이 방법은 다음을 달성합니다:

• 신뢰성: 가능도 기반 OOD 감지와 관련된 치명적인 실패 모드를 회피합니다.
• 실용성: 훈련이나 보정을 위한 OOD 데이터 접근이 필요 없으며, 최소한의 계산 비용을 수반합니다.
• 통계적 엄밀성: 종종 휴리스틱 OOD 감지기에서 결여된 거짓 양성률을 제어하기 위한 공식적 메커니즘을 제공합니다.

저자들은 SITN 이 만병통치약은 아니라고 결론지으며 (일정한 배경과 관련된 특정 엣지 케이스를 언급), 이는 OOD 입력에 대한 견고하고 이론적으로 근거된 방어를 제공함으로써 고위험 도메인에서의 머신러닝 배포를 더 안전하게 만드는 중요한 단계라고 주장합니다.