Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

기술 요약: 테스트를 테스트하다: 클래스 분할 이상 탐지에서의 점수-방향 불안정성

1. 문제 정의

데이터셋 내부의 클래스 분할(within-dataset class-split) 평가는 특정 의미론적 클래스를 "정상"으로, 다른 클래스를 "이상치"로 지정하여 분포 외(OOD) 탐지를 시뮬레이션하는 이상 탐지(AD)의 표준 프로토콜이다. 외부 데이터 소스를 피하기 위해 매력적인 방식이지만, 본 논문은 선택된 "이상치" 클래스가 표현 공간(representation space) 내의 정상 혼합물(normal mixture)과 상당 부분 중첩될 때, 이 프로토콜이 정밀한 운영적 관점에서 **부적절(ill-posed)**해질 수 있다고 주장한다.

식별된 핵심 실패 모드는 **클래스 의존적 점수-방향 불안정성(class-dependent score-direction instability)**이다. 홀드아웃(held-out) 된 이상치 클래스가 정상 혼합물의 고밀도 영역 내에 있거나 근처에 위치할 경우, 이상 점수는 우연 수준(AUROC $\approx$ 0.5)으로 붕괴하거나, 더 심각하게는 역전(invert)(AUROC < 0.5)될 수 있다. 이러한 체제에서 "이상함"의 방향(높은 점수가 이상치를 나타내는지 또는 낮은 점수가 이상치를 나타내는지)은 알려지지 않은 특정 이상치 클래스에 따라 달라진다. 결과적으로, 벤치마크 결론은 취약해지며, 데이터셋 특유의 기벽을 이용하는 방법론이 견고하고 무조건적인 OOD 탐지 능력을 입증하는 것이 아니라 오히려 보상받는 결과를 초래할 수 있다.

2. 방법론

저자들은 추가적인 학습 없이 이 불안정성을 진단하고 정량화하기 위한 프레임워크를 제안한다.

진단: 이웃 클래스 누출(Neighborhood Class Leakage)
본 논문은 고정된 표현 공간 $r(x)$에서 클래스 조건부 매니폴드 간의 중첩을 정량화하기 위해 이웃 클래스 누출(neighborhood class leakage)($L_k$)이라는 간단한 학습 불필요(training-free) 지표를 도입한다.

• 정의: 샘플 $x_i$에 대하여, 누출 $\ell_k(i)$는 표현 공간에서의 $k$-최근접 이웃(k-nearest neighbors) 중 서로 다른 의미론적 클래스에 속하는 이웃의 비율이다.
• 집계: 데이터셋 수준의 지표 $L_k$는 모든 샘플에 대한 평균 누출 값이다.
• 근거: 높은 누출은 국소적 기하 구조가 의미론적 클래스 구조와 일치하지 않음을 나타낸다. 만약 이상치 클래스가 정상 샘플들이 밀집된 영역을 점유하고 있다면, 표준 AD 점수(거리 기반 또는 국소 밀도 기반)는 이들을 일관되게 분리하는 데 실패할 것이다.

불안정성 지표
벤치마크의 신뢰성을 특징짓기 위해, 저자들은 "K-1 vs 1" 프로토콜(각 클래스를 홀드아웃 이상치로 반복 수행)을 기반으로 몇 가지 통계량을 정의한다.

• AUROC 분산(AUROC Dispersion): 서로 다른 홀드아웃 클래스에 따른 AUROC 점수의 분산.
• 무작위 근접률($\rho_{rnd}$): AUROC 점수가 0.5 근처에 떨어지는 빈도.
• 역전율($\rho_{inv}$): AUROC 점수가 0.5 미만으로 떨어지는 빈도.
• 방향 불안정성률($\rho_{dir}$): 선호되는 점수 방향(우연으로부터의 양의 편차 또는 음의 편차)이 이상치 클래스에 따라 얼마나 자주 바뀌는지에 대한 척도.

실험 설정
연구는 복잡도가 증가하는 세 가지 데이터셋을 평가한다:

1. Fashion-MNIST: 음성 대조군(negative control, 낮은 중첩).
2. CIFAR-10: 중간 복잡도.
3. Imagenette: 높은 복잡도.

이들은 두 가지 표현 공간에서 테스트된다:

• 픽셀 공간(Pixel Space): 벡터화된 원시 입력.
• VAE 잠재 공간(VAE Latent Space): 정상 풀(normal pool)만을 사용하여 학습된 변이형 오토인코더(VAE)로부터 인코딩된 특징.

세 가지 표준 무조건적 AD 스코어러(unconditional AD scorers)가 적용된다: k-최근접 이웃(kNN), Isolation Forest, 그리고 Local Outlier Factor(LOF).

3. 주요 결과

경험적 결과는 높은 이웃 누출과 벤치마크 불안정성 사이의 강한 상관관계를 보여준다:

• Fashion-MNIST: 낮은 누출($L_k \approx 0.24$)과 안정적인 동작을 보이며, 역전 및 방향 불안정성이 낮다.
• CIFAR-10 및 Imagenette: 픽셀 및 잠재 공간 모두에서 높은 누출($L_k > 0.76$)을 보인다. 이 데이터셋들은 상당한 역전율(최대 50%)과 방향 불안정성률(최대 63%)을 나타낸다.
• 일관성: 불안정성은 서로 다른 스코어링 계열(kNN, Isolation Forest, LOF)과 표현 공간 전반에 걸쳐 지속되며, 이는 실패가 특정 탐지기의 결함이 아니라 데이터의 기하학적 중첩에 내재된 문제임을 시사한다.
• 클래스별 분산: CIFAR-10 픽셀 공간에서, 특정 이상치 클래스는 동일한 스코어링 관례를 사용함에도 불구하고 우연보다 현저히 낮은 AUROC 점수를 내는 반면, 다른 클래스는 우연보다 높은 점수를 낸다.

4. 기여

본 논문은 세 가지 주요 기여를 한다:

1. 실패 모드의 공식화: 클래스 분할 평가의 실질적인 실패 모드로서, 정상-이상 중첩에 의해 유발되는 클래스 의존적 점수-방향 불안정성을 식별하고 공식화하였다.
2. 학습 불필요 진단 도구: 클래스 분할 벤치마크가 신뢰할 수 없거나 역전된 순위를 산출할 가능성이 있는지 예측하기 위한 간단한 사전 평가 체크 항목으로 이웃 누출 지표($L_k$)를 제안하였다.
3. 경험적 검증: 제어된 매트릭스(데이터셋, 표현 공간, 스코어러)를 통해 이 현상을 검증하였으며, 높은 누출이 특정 AD 방법론과 관계없이 불안정성을 예측한다는 것을 입증하였다.

5. 의의 및 주장

본 논문은 클래스 분할 벤치마크를 무조건적인 이상 탐지 능력의 증거로 취급해서는 안 된다고 주장한다. 대신, 이를 기하학 의존적 스트레스 테스트로 간주해야 한다.

• "재역전(Re-inversion)" 거부: 저자들은 더 "나은" AD 방법론이 단순히 낮은 AUROC를 해결하기 위해 순위를 "재역전"할 수 있다는 개념을 반박한다. 만약 이상함의 방향이 알려지지 않은 이상 유형에 따라 달라진다면, 특정 분할에서 높은 AUROC를 달리는 방법론은 클래스 불변적인 비정형성(atypicality)의 개념을 학습하는 것이 아니라, 클래스 레이블과 기하 구조 사이의 특이한 상관관계를 이용하고 있는 것일 수 있다.
• 벤치마크의 해석: 누출 지표는 사전 조건 체크 역할을 한다. 낮은 누출은 AUROC가 정상 혼합물으로부터의 분리를 측정한다는 해석을 뒷받침한다. 높은 누출과 결합된 높은 역전 또는 방향 불안정성률은 해당 벤치마크가 일관된 의미론적 이상치가 아닌 중첩된 기하 구조를 조사하고 있음을 나타낸다.
• 권고 사항: 저자들은 향ap의 클래스 분할 벤치마크가 무조건적인 OOD 탐지 능력을 주장하기 전에 누출 및 방향 불안정성 진단 결과를 함께 보고할 것을 권장한다.