How to pick the best anomaly detector?

이 논문은 이론적 근거가 확실하고 경험적으로 견고하며, 모델 불가지론적인 방식으로 가장 민감한 이상 탐지 모델을 선택하기 위한 데이터 기반의 ARGOS 지표를 소개하며, 하이퍼파라미터 튜닝 및 특성 선택과 같은 과업에서 이진 교차 엔트로피 손실과 같은 기존 지표보다 우수함을 입증한다.

핵심

당신이 1,000,000명의 무고한 사람들로 가득 찬 거대한 군중 속에서 숨어 있는 단 한 명의, 아주 작고 보이지 않는 도둑을 찾으려는 형사라고 상상해 보십시오. 이것은 본질적으로 물리학자들이 거대한 일반 데이터의 바다 속에서 "새로운 물리학"(예를 들어 새로운 입자)을 찾기 위해 거대 강입자 충돌기(LHC)에서 수행하는 작업과 같습니다.

문제는 단순히 도둑을 찾는 것만이 아닙니다. 그들은 도둑이 어떻게 생겼는지 모른다는 점입니다. 그들은 "빨간 모자를 쓴 남자를 찾아라"라고 말할 수 없습니다. 대신, 그들은 컴퓨터 프로그램(이상 탐지기)을 사용하여 누군가가 군중과 비교했을 때 얼마나 이상하게 혹은 주변과 다르게 보이는지를 포착해야 합니다.

오랫동안 과학자들에게는 큰 문제가 하나 있었습니다: 어떤 컴퓨터 프로그램이 최고의 형사인지를 어떻게 결정할 것인가?

보통, 어떤 형사를 테스트하려면 알려진 범죄자들의 라인업을 주고 그들이 얼마나 잘 잡아내는지 확인합니다. 하지만 이 경우에는 "범죄자"(새로운 물리학)가 무엇인지 모릅니다. 만약 당신이 가짜 범죄자를 대상으로 형사를 테스트한다면, 특정 가짜 범죄자를 잡는 데는 뛰어나지만 실제 범죄자를 찾는 데는 형편없는 형사를 고르게 될 수도 있습니다.

이 논문은 범죄자를 직접 보지 않고도 최고의 형사를 뽑아내는 새롭고 영리한 방법을 소개합니다. 그들은 이 도구를 ARGOS라고 부릅니다.

핵심 아이디어: "배경 템플릿(Background Template)"

ARGOS를 이해하려면, 당신에게 거대한 무고한 사람들의 군중( "배경")이 있고, 도둑이 숨어 있을 가능성이 높은 특정 구역("신호 영역")이 있다고 상상해 보십시오.

• 기존 방식 (BCE 손실): 전통적으로 과학자들은 컴퓨터에게 "이 가짜 범죄자와 무고한 군중을 구별할 수 있겠는가?"라고 물으며 컴퓨터를 훈련시켰습니다. 그들은 "이진 교차 엔트로피(Binary Cross-Entropy, BCE)"라는 점수를 사용했습니다. 문제는 이 점수가 마치 이미 답을 알고 있는 학생에게 시험 문제를 채점하는 선생님과 같다는 것입니다. 컴퓨터는 군중과 가짜 범죄자 사이의 아주 미세하고 무작위적인 차이를 구별하는 데는 매우 능숙해지지만, 실제 도둑의 진정한 이상함을 포착하는 데는 실패합니다. 이는 마치 학생이 시험 답을 통째로 외워버려서, 실제 시험에서는 낙제하는 것과 같습니다.

• 새로운 방식 (ARGOS): ARGOS는 게임의 판도를 바꿉니다. 두 집단을 구별하라고 요구하는 대신, ARGOS는 다음과 같이 묻습니다: "만약 당신이 군중 중에서 가장 이상해 보이는 상위 10%를 뽑는다면, 그들 중 실제로 '도둑 구역'에 있는 사람의 수는 순전히 운에 의해 기대되는 수보다 얼마나 더 많은가?"

이렇게 생각해 보십시오:

1. 당신에게는 도둑이 있어야 할 곳의 지도(신호 영역)가 있습니다.
2. 당신에게는 동일한 구역 내에서 무고한 군중이 어떻게 생겼는지를 보여주는 완벽한 지도인 "배경 템플릿"이 있습니다.
3. ARGOS는 확인합니다: "내가 가장 수상해 보이는 사람들을 뽑았을 때, 그들이 발견된 '도둑 구역'의 인원수가 순전히 무고한 군중으로부터 기대되는 인원수보다 유의미하게 높게 나타나는가?"

만약 답이 "그렇다, 기대했던 것보다 훨씬 많다"라면, ARGOS는 그 형사에게 높은 점수를 줍니다. 만약 답이 "아니오, 그저 무작위적인 소음일 뿐이다"라면, 점수는 낮아집니다.

왜 ARGOS가 더 나은가?

저자들은 이 새로운 지표를 세 가지 다른 유형의 "형사"(머신러닝 모델) 및 세 가지 다른 방식의 "무고한 군중" 지도와 함께 기존 표준(BCE)과 비교 테스트했습니다.

그들이 발견한 결과는 다음과 같습니다 (쉬운 비유를 사용함):

1. 최적의 "훈련일" 선택하기 (Epoch Selection)
형사를 100일 동안 훈련시킨다고 상상해 보십시오. 10일째에는 보통일 수 있습니다. 50일째에는 훌륭합니다. 90일째에는 혼란에 빠져 유령을 보기 시작할 수도 있습니다(과적합).

• 기존 방식: BCE 점수는 "테스트 점수"가 좋아 보였기 때문에 20일째에 훈련을 멈추라고 지시했습니다. 하지만 형사는 실제 도둑을 찾는 법을 배운 것이 아니라 단순히 시험 답을 암기하고 있었던 것입니다.
• 새로운 방식 (ARGOS): ARGOS는 50일째까지 기다렸습니다. ARGOS는 작은 혼란스러운 세부 사항들을 무시하고 큰 그림에 집중했습니다: "우리가 실제로 도둑 구역에서 더 많은 사람을 찾아내고 있는가?" 이를 통해 ARGOS는 형사가 진정으로 예리해진 날을 성공적으로 골라냈습니다.

2. 형사의 설정값 조절하기 (Hyperparameters)
형사에게는 설정값(예: 눈의 민감도)이 있습니다.

• 기존 방식: "테스트 점수"를 최소화하도록 설정을 조정하면 형사가 노이즈에 너무 민감해지는 경우가 많았습니다. 그들은 단지 눈을 깜빡였다는 이유만으로 무고한 사람들을 용의자로 지목하곤 했습니다.
• 새로운 방식 (ARGOS): 설정을 ARGOS를 최대화하도록 조정하면, 형사는 노이즈를 무시하고 실제 이상 징후에 집중하는 데 훨씬 더 능숙해졌습니다. 특히 "도둑"을 찾기가 매우 어려운 상황(낮은 신호)에서도 훨씬 더 안정적이었습니다.

3. 적절한 형사 선택하기 (Architecture Selection)
때로는 인간 형사, 로봇 형사, 또는 강아지 형사 중에서 선택해야 합니다.

• 기 기존 방식: BCE 점수는 종종 "잘못된" 유형의 형사를 선택하여 일관성 없는 결과를 초래했습니다. 때로는 시험에는 강하지만 현장에서는 쓸모없는 로봇을 선택하기도 했습니다.
• 새로운 방식 (ARGOS): ARGOS는 "무고한 군중" 지도가 완벽하지 않은 상황에서도 실제 시나리오에서 가장 성능이 좋은 구조(architecture)를 일관되게 선택했습니다.

"실제 세계" 테스트

저자들은 단순히 만들어진 완벽한 데이터로만 실험하지 않았습니다. 그들은 실제 물리 실험의 복잡하고 노이즈가 많은 조건을 시뮬레이션한 "LHC Olympics"라는 현실적인 데이터셋을 사용했습니다.

그들은 "배경 템플릿"(무고한 군중의 지도)이 완벽하지 않더라도 ARGOS가 여전히 작동한다는 것을 발견했습니다. 즉, ARGOS는 견고(robust)했습니다. 노이즈에 의해 혼란을 겪지 않았습니다.

결론

이 논문은 ARGOS가 새로운 물리학을 찾기 위해 최고의 이상 탐지기를 선택할 수 있는 현재 우리가 가진 최고의 도구라고 주장합니다.

• "모델 불가지론적(Model-Agnostic)"입니다: 그것은 당신이 어떤 종류의 새로운 물리학을 찾고 있는지 상관하지 않습니다. 단지 어떠한 이상 징현이라도 찾아낼 뿐입니다.
• "데이터 기반(Data-Driven)"입니다: 신호가 어떻게 생겼는지 알 필요 없이 사용할 수 있습니다. 단지 배경에 대한 좋은 지도만 있으면 됩니다.
• 기존 표준을 압도합니다: 선택하는 훈련일, 설정값 조절, 모델 선택 등 모든 테스트에서 ARGOS는 전통적인 "이진 교차 엔트로피" 점수보다 더 나은 결과를 이끌어냈습니다.

요약하자면, 만약 당신이 바늘이 어떻게 생겼는지 모르는 상태에서 건초더미 속의 바늘을 찾으려 한다면, ARGOS는 그 바늘을 찾아낼 자석을 고르는 가장 똑똑한 방법입니다.

기술 요약

기술 요약: ARGOS 지표를 통한 최적의 이상 탐지기 선택

문제 정의
오토인코더(autoencoder) 및 약지도 학습 분류기(weakly supervised classifier)와 같이 모델 불가지론적(model-agnostic)인 머신러닝(ML) 방법론이 거대 강입자 충돌기(LHC)에서 급격히 확산됨에 따라, 특정 신호 모델에 의존하지 않고 주어진 데이터셋에 대해 가장 "좋은" 이상 탐지기를 객관적으로 선택하는 데 큰 과제가 생겼다. 현재 이 분야는 체계적인 모델 최적화 방법론이 부족하다. 연구자들은 일반적으로 이진 교차 엔트로피(Binary Cross-Entropy, BCE) 손실이나 AUC와 같은 지표에 의리하는데, 이는 진리 레이블(truth labels)과 벤치마크 신호를 필요로 한다. 그러나 진정한 이상 탐지 시나리오에서는 신호가 알려져 있지 않으므로, 특정 벤치마크 신호에 의존하여 모델을 튜닝하는 것은 실제 데이터에 존재하는 신호에 대한 탐색을 편향되게 만들 위험이 있다. 결과적으로, 기존의 실험적 분석은 체계적인 모델 최적화가 결여되어 있으며, 대개 원래 방법론의 논문에서 제시된 파라미터를 그대로 사용하거나 소규모의 벤치마크 신호 세트를 사용하여 재튜닝하는 방식에 머물러 있다.

방법론: ARGOS 지표
이를 해결하기 위해 저자들은 가장 민감한 이상 탐지기를 선택하기 위해 설계된 완전한 데이터 기반 지표인 ARGOS(Above Random Gain Of SIC)를 도입한다. 이 지표는 라벨이 없는 데이터와 배경 템플릿(Background Template, BT)—신호 영역(Signal Region, SR) 내의 표준 모형(Standard Model, SM) 배경 분포를 따르는 이벤트 샘플—만을 필요로 한다.

ARGOS는 다음과 같이 정의된다:
$$\text{ARGOS} = \frac{\epsilon_{SR}}{\sqrt{\epsilon_{BT}}} - \sqrt{\epsilon_{BT}}$$
여기서 $\epsilon_{SR}$과 $\epsilon_{BT}$는 주어진 이상 점수 임계값(anomaly score threshold)에 대해 각각 신호 영역과 배경 템플릿의 이벤트를 선택하는 효율을 나타낸다.

이론적 분석에 따르면, 이상적인 배경 템플릿에 대해 ARGOS는 **유의성 개선 특성(Significance Improvement Characteristic, SIC)**과 단조 관계를 가진다. 여기서 $\text{SIC} = \epsilon_S / \sqrt{\epsilon_B}$로 정의된다. 실제 라벨이 없는 데이터에서는 계산할 수 없는 SIC와 달리, ARGOS는 데이터와 배경 템플릿만을 사용하여 접근 가능하다. 저자들은 ARGOS를 최대화하는 것이 효과적으로 미지의 신호에 대한 민감도를 최대화하는 동시에, 이상 탐지기의 작동 지점(working point)을 동시에 최적화할 수 있다고 주장한다.

실험 설정
저자들은 $10^6$개의 QCD 다제트(dijet) 배경 이벤트와 주입된 $W'$ 공명 신호($m_{W'} = 3.5$ TeV)를 특징으로 하는 LHC Olympics 2020 (LHCO) R&D 데이터셋을 사용하여 ARGOS를 평가하였다. 배경 템플릿을 구축하기 위해 다음 세 가지 방법을 테스트하였다:

1. 이상적 이상 탐지기 (Idealized Anomaly Detector, IAD): 시뮬레이션된 배경 이벤트를 사용함 (완벽한 BT).
2. CWoLa Hunting: 신호 영역에 인접한 짧은 사이드밴드(sidebands)의 데이터를 사용함.
3. CATHODE: 조건부 밀도 추정(conditional density estimation)을 사용하여 사이드밴드 분포를 신호 영역으로 보간함.

세 가지 분류기 아키텍처(MLP, HistGradientBoosting, AdaBoost)가 채택되었다. 본 연구는 혼합 레이블 데이터셋 간을 구별하는 약지도 공명 이상 탐지에 초점을 맞추었다.

주요 결과
논문은 네 가지 최적화 작업에 대해 ARGOS를 표준 BCE 손실 및 지도 학습 기반의 "max SIC" 지표와 비교하였다:

1. 에포크 선택 (Epoch Selection): 앙상블을 위한 최적의 훈련 에포크를 선택할 때, ARGOS로 최적화된 모델은 BCE로 선택된 모델보다 일관되게 우수한 성능을 보였다. BCE는 특히 낮은 신호 주입 시, 다수의 배경 클래스에 의해 지배되고 통계적 변동에 과적합(overtraining)되기 쉽기 때문에 최적의 에포크를 식별하는 데 실패하는 경우가 많았다. 고위치 이상 점수 이벤트를 추적하는 ARGOS는 실제 신호 민감도(max SIC)를 훨씬 더 밀접하게 추적하였다.
2. 하이퍼파라미터 최적화 (Hyperparameter Optimization): 하이퍼파라미터 공간에 대한 무작위 탐색에서, ARGOS는 실제 max SIC와 강한 상관관계를 보이며 BCE를 크게 능가하였다. BCE 최적화는 신호 민감도를 높이기보다는 배경 차이의 손실을 최소화하는 방향으로 작동하여 하위 최적(suboptimal)의 구성을 유도했다.
3. 아키텍처 선택 (Architecture Selection): 서로 다른 분류기 아키텍처(NN vs. HGB vs. AdaBoost)를 선택할 때, ARGOS는 지도 학습 기반의 max SIC 벤치마크와 거의 동일한 성능을 내는 아키텍처를 선택하였다. 반면, BCE 기반 선택은 더 큰 성능 편차를 보였으며, CWoLa Hunting의 경우처럼 열등한 아키텍처를 선택하기도 했다.
4. 특징 선택 (Feature Selection): 개념 증명 연구를 통해, ARGOS가 신호에 대한 사전 지식 없이도 가장 민감한 특징 세트(예: 확장된 서브제트성 비율)를 성공적으로 식별할 수 있음을 보여주었다. 이는 높은 신호 주입 시 "Extended 3" 세트를 신뢰성 있게 선택하였다.

의의 및 주장
저자들은 ARGOS가 진리 레이블에 의존하는 지표에 대한 강력하고 데이터 기반인 대안을 제공하며, 이상 탐지를 위한 모델 선택에 대한 견고한 이론적 토대를 제공한다고 주장한다. 이 연구의 주요 의의는 ARGOS가 신호 편향을 도입하지 않으면서도 가장 민감한 이상 탐지 모델을 견고하게 선택하고, 하이퍼파라미터를 튜닝하며, 아키텍처를 선택할 수 있음을 입증했다는 점이다.

논문은 ARGOS가 테스트된 특정 약지도 학습 맥락에 국한되지 않으며, 배경 템플릿이 제공된다면 모든 이상 탐지 방법(오토인코더 및 밀도 추정기 포함)에 적용 가능함을 강조한다. 저자들은 ARGOS가 현재 정확한 배경 템플릿이 있을 때 가장 효과적이지만, 이는 고에너지 물리학 탐색에서 체계적이고 모델 불가지론적인 최적화를 향한 중요한 단계라고 결론지었다. 또한, 특징 선택 작업에서 불완전한 배경 템플릿에 의해 도입될 수 있는 잠재적 편향을 연구하기 위한 향후 과제가 남아 있음을 언급하였다.