기술 요약: 컨포멀라이즈드 클로즈드 테스트를 통한 집단 이상치 탐지 및 열거

1. 문제 정의

본 논문은 희소성, 약한 신호, 또는 회피성으로 인해 개별 이상치를 식별하기 어려운 상황에서 발생하는 집단 이상치 탐지 및 열거의 과제를 다룹니다. 기존의 컨포멀 추론은 특정 데이터 포인트에 대한 거짓 발견률 (False Discovery Rate) 을 통제하는 개별 수준 이상치 식별에 초점을 맞춰 왔으나, 이상치가 고립된 상태에서 유의미한 편차를 보이지 않을 경우 이러한 접근법은 검정력 (power) 이 부족합니다.

저자들은 참조 집합인 정상치 (inliers) $Z_1, \dots, Z_m$에 대해 테스트 집합 $Z_{m+1}, \dots, Z_{m+n}$을 대상으로 두 가지 주요 작업을 정의합니다:

1. 이상치 탐지: 테스트 데이터의 하위 집합에 이상치가 하나도 없다는 글로벌 귀무가설을 검정합니다.
2. 이상치 열거: 각 이상치의 정확한 신원을 반드시 특정하지는 않으면서, 하위 집합 내의 이상치 수에 대한 동시 하위 신뢰구간을 제공하여 이상치 수를 추정합니다.

핵심적인 어려움은 표준적인 개별 수준 검정 (예: 컨포멀 p-값에 적용된 Benjamini-Hochberg) 이 신호가 약하거나 희소할 때 글로벌 귀무가설을 기각하지 못하거나 정보성 있는 경계를 제공하지 못할 수 있다는 점에 있습니다. 또한, 머신러닝 분류기와 통계적 검정 절차를 사전에 최적화하여 선택하는 것은 어렵고, 데이터에 기반한 "체리 피킹 (cherry-picking)"은 선택 편향을 초래하여 추론의 유효성을 훼손합니다.

2. 방법론: ACODE

저자들은 컨포멀 추론, 클로즈드 테스트, 적응적 순위 검정을 통합한 유연하고 분포에 구애받지 않는 프레임워크인 ACODE(Automatic Conformal Outlier Detection and Enumeration) 를 제안합니다.

2.1 컨포멀 스코어링 및 분할

이 방법은 이상치를 정상치와 구별하도록 훈련된 머신러닝 분류기를 사용하여 컨포멀 스코어를 생성하는 것으로 시작합니다.

• 분류기: 이 프레임워크는 정상치만으로 훈련된 원-클래스 분류기와 양 - 미확인 (positive-unlabeled) 학습을 통해 훈련된 이진 분류기 모두를 지원합니다.
• 스코어 생성: 함수 $\hat{s}$가 데이터 포인트를 스칼라 스코어로 매핑합니다. 유효성을 보장하기 위해 이 방법은 샘플 분할을 사용합니다. 튜닝 집합은 최고의 분류기와 검정 절차를 선택하는 데 사용되고, 별도의 캘리브레이션 집합은 테스트 집합에 대한 컨포멀 p-값을 생성하는 데 사용됩니다. 이러한 분리는 선택된 절차에 조건부인 정상치 스코어의 교환성을 유지하여 선택 편향을 방지합니다.

2.2 로컬 검정 절차

ACODE 는 컨포멀 스코어를 집계하여 로컬 가설 $H_S$(하위 집합 $S$에 이상치가 없다는 가설) 를 검정합니다. 논문은 서로 다른 신호 구조에 적합한 로컬 검정의 "도구상자"를 평가합니다:

• Simes 검정: 드물고 강한 신호에 효과적입니다.
• Fisher 의 결합: 밀집되고 약한 신호에 효과적입니다.
• Wilcoxon-Mann-Whitney (WMW): 특정 Lehmann 대립가설 (이상치가 두 개의 정상치의 최대값 분포를 따르는 경우) 하에서 국소 최대 검정력 순위 (LMPR) 검정으로 입증된 순위 검정입니다.
• Shiraishi 의 LMPR 검정: 임의의 이상치 분포에 대한 WMW 의 일반화입니다.
• 적응적 순위 검정: 비모수적으로 알려지지 않은 이상치 밀도 $g$를 추정하는 Shiraishi 검정의 데이터 기반 확장입니다. 이론적 결과 (정리 2) 는 이 적응적 검정이 알려진 $g$를 가진 오라클 검정과 동일한 국소 점근 검정력을 달성함을 보여줍니다.

2.3 열거를 위한 클로즈드 테스트

로컬 검정에서 글로벌 열거로 넘어가기 위해 ACODE 는 클로즈드 테스트 원리(Marcus 등, 1976) 를 사용합니다.

• 메커니즘: 이 방법은 모든 가능한 교차 가설 $H_J$를 하위 집합 $J \subseteq [n]$에 대해 검정합니다. 임의의 하위 집합 $S$에 대한 이상치 수의 하위 신뢰구간 $d(S)$는 다중성 조정 후 귀무가설을 기각할 수 없는 가장 큰 하위 집합 $K \subseteq S$를 찾아 도출됩니다.
• 유효성: 명제 1 은 로컬 검정이 유효하다면, 결과적으로 도출된 하위 경계가 동시 커버리지를 만족함을 보장합니다: $P(d(S) \le |I_1 \cap S| \text{ for all } S) \ge 1-\alpha$.
• 계산 효율성: 클로즈드 테스트는 일반적으로 지수적이지만, 논문은 Simes, WMW, Fisher 검정에 대해 다항 시간 단축법 (Goeman 등, 2019; Tian 등, 2023) 을 활용하여 대규모 데이터셋으로 확장 가능한 방법을 만듭니다.

2.4 데이터 기반 적응성

주요 혁신 중 하나는 분류기와 로컬 검정의 선택을 자동화하는 알고리즘 3입니다.

• 프로세스: 이 알고리즘은 튜닝 집합에서 분류기와 검정의 여러 조합을 평가하여 하위 경계 (열거의 경우) 를 최대화하거나 p-값 (탐지의 경우) 을 최소화합니다.
• 편향 통제: 별도의 튜닝 집합을 사용한 후 선택된 조합을 전체 캘리브레이션/테스트 분할에서 재평가함으로써, 데이터에 기반한 단순한 "체리 피킹"과 관련된 과다한 제 1 종 오류율을 방지합니다.

3. 주요 기여

본 논문은 세 가지 주요 방법론적 기여를 합니다:

1. ACODE 프레임워크: 최적의 머신러닝 분류기와 두 표본 검정 절차를 자동으로 선택하는 이상치 열거를 위한 원칙적이고 데이터 기반의 방법을 도입합니다. 이는 컨포멀 추론과 클로즈드 테스트를 통합하여 이상치 수에 대한 엄격하고 동시적인 하위 경계를 제공합니다.
2. 이론적 확장: 교환 가능(strictly i.i.d. 가 아닌) 컨포멀 스코어 하에서 Shiraishi 의 국소 최대 검정력 순위 검정과 그 적응적 버전에 대한 귀무 분포의 점근적 근사를 제공합니다. 이 확장은 분할 - 컨포멀 설정에서의 유효성에 중요합니다.
3. 적응적 순위 검정: 비모수적으로 이상치 분포를 추정하는 적응적 순위 검정이 이상치 분포에 대한 완전한 지식을 가진 오라클 검정과 동일한 국소 점근 검정력을 달성함을 입증합니다 (정리 2).

4. 실증 결과

이 방법은 합성 데이터와 실제 고에너지 물리학 데이터 (LHCO 2020) 에서 평가되었습니다.

• 합성 데이터:

  • ACODE 는 글로벌 귀무가설을 탐지하고 정보성 있는 하위 경계를 제공하는 데 있어 검정력 측면에서 컨포멀 p-값에 적용된 Benjamini-Hochberg 와 같은 개별 수준 식별 방법보다 일관되게 우월한 성능을 보였습니다.
  • 적응적 선택 메커니즘은 특정 데이터 영역에 대해 최고의 분류기 (원-클래스 대 이진) 와 검정 (WMW 대 Fisher 대 Simes) 을 성공적으로 식별하여 최적의 조합을 아는 오라클의 성능을 근사했습니다.
  • "적대적" 이상치 (개별 스코어가 과소 분산되어 탐지하기 어려운 경우) 시나리오에서 Shiraishi 검정의 데이터 기반 근사는 표준 방법보다 훨씬 우수한 성능을 발휘했습니다.

• LHCO 고에너지 물리학 데이터:

  • 110 만 개의 입자 충돌 이벤트에 적용된 ACODE 는 시뮬레이션된 이벤트 배경에 대해 "신호" 이벤트 (이상치) 를 성공적으로 탐지하고 열거했습니다.
  • 이 방법은 이상치 수에 대한 90% 하위 신뢰구간을 제공하여 정보성 측면에서 BH 절차보다 현저히 우월한 성능을 보였습니다.
  • 특히, ACODE 의 적응적 버전은 선택 편향을 초래하지 않으면서 오라클에 가까운 성능을 달성한 반면, 단순한 "체리 피킹" 접근법은 과다한 제 1 종 오류로 이어졌습니다.

5. 중요성 및 주장

본 논문은 개별 탐지가 실패하는 집단 이상 탐지에 대해 ACODE 가 강력한 해결책을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 격차 해소: 컨포멀 추론과 고전적인 다중 검정 및 순위 검정 이론을 연결하여 약하고 희소한 신호를 처리합니다.
• 원칙적 적응성: 머신러닝 모델과 통계적 검정을 선택할 때 내재된 "선택 편향" 문제를 해결하여, 최선의 절차가 데이터에 기반하여 선택되더라도 유효한 추론을 제공합니다.
• 정보성: 특정 이상치만 식별하는 방법과 달리, ACODE 는 이상치의 수에 대해 통계적으로 보장된 하위 경계를 제공하여 데이터의 이상 구조에 대한 더 포괄적인 시각을 제공합니다.

저자들은 이 방법이 강력하지만, 깨끗한 참조 정상치 집합의 가용성에 의존하고 교환성을 가정한다고 지적합니다. 향후 연구는 교차 검증 프레임워크, 오염된 캘리브레이션 데이터 처리, 그리고 적응적 Shiraishi 검정을 위한 더 빠른 계산 단축법 개발 등을 탐구할 수 있습니다.