Look everywhere effects in anomaly detection

당신이 거대한 도서관 속에 숨겨진 아주 작고 미세한 단서 하나를 찾으려는 탐정이라고 상상해 보십시오. 이 도서관은 수백만 권의 책들로 가득 차 있습니다. 입자 물리학의 세계에서 이 '도서관'은 거대 가속기(LHC)와 같은 거대한 기계들이 수집한 데이터이며, '단서'는 새롭고 알려지지 않은 물리학의 징후입니다.

오랫동안 탐정들은 자신이 찾고자 하는 단서의 목록을 구체적으로 가지고 있었습니다. 하지만 이제 그들은 AI를 사용하여 전체 도서관을 한꺼번에 스캔하며, 일반적인 규칙에 맞지 않는 어떤 기이한 패턴이라도 포착하기를 기대하고 있습니다. 이것을 **이상 탐지(Anomaly Detection)**라고 부릅니다.

Marie Hein, Benjamin Nachman, David Shih가 작성한 이 논문은 이 "모든 곳을 훑어보는" 접근 방식이 가진 까다로운 문제를 다룹니다. 그들은 이를 **"모든 곳을 보는 효과(Look Everywhere Effect)"**라고 부릅니다.

이 논문의 발견을 쉬운 비유를 사용하여 다음과 같이 정리했습니다.

1. 문제점: "모든 곳을 보는" 함정

당신이 건초더미 속에서 바늘을 찾고 있다고 상상해 보십시오.

• 과거의 방식: 당신은 건초더미의 상위 10% 영역만 보기로 결정합니다. 만약 거기서 바늘을 찾는다면, 그것은 매우 중요한 사건입니다.
• 새로운 AI 방식: 당신은 AI에게 이렇게 말합니다. "건초더미 전체, 모든 짚단 하나하나를 다 살펴보고 가장 수상해 보이는 지점을 알려줘."

문제는, 만약 당신이 한 번에 모든 곳을 본다면, 순전히 운 좋게(무작위로 뭉쳐진 짚단처럼) 수상해 보이는 지점을 반드시 발견하게 된다는 것입니다. 만약 당신이 그 "운 좋은" 지점을 골라내어, 수학적 조정을 거치지 않은 채 "아하! 내가 바늘을 찾았다!"라고 외친다면, 당신은 틀렸을 가능성이 높습니다. 당신은 통계적 착시 현상에 속은 것입니다.

논문에서 저자들은 AI 모델이 동일한 데이터로 학습하고 테스트할 때, "과잉 확신"을 갖게 된다는 것을 보여줍니다. 즉, 실제 구조를 배우는 대신 무작위적인 노이즈(운 좋게 걸린 짚단 뭉치)를 암기해 버립니다. 이는 **잘못 교정된 p-값(miscalibrated p-values)**으로 이어집습니다.

• 번역: AI는 자신이 99.9% 확실한 발견을 했다고 생각하지만, 사실 그것은 그저 무작위적인 우연일 뿐입니다.

2. 해결책과 그 절충안(Trade-offs)

저자들은 이 "모든 곳을 보는" 문제를 해결하기 위한 세 가지 방법을 테스트했습니다. 이것들을 서로 다른 방식으로 구성된 탐정 팀이라고 생각하십시오.

옵션 A: "같은 팀" 방식 (학습과 테스트를 동일한 데이터로 수행)

• 작동 방식: AI에게 모든 데이터를 공부하게 한 다음, 바로 그 데이터를 사용하여 사건을 해결하라고 요청합니다.
• 결과: AI는 매우 민감합니다(바늘을 빠르게 찾아냅니다). 하지만 이 AI는 당신에게 거짓말을 하고 있습니다. 실제 바늘을 찾은 것이 아니라 그냥 무작위로 뭉친 짚단을 찾았을 뿐인데도, 바늘을 찾았다고 믿고 있습니다. 수학적 근거가 깨진 상태입니다.
• 비유: 마치 학생이 방금 암기한 정답지를 가지고 시험을 치르는 것과 같습니다. 점수는 만점이 나오겠지만, 실제로 내용을 배운 것은 아닙니다.

옵션 B: "팀 나누기" 방식 (절반은 학습, 나머지 절반은 테스트)

• 작동 방식: 데이터를 두 개로 나눕니다. AI는 첫 번째 절반을 공부하고, 그다음 한 번도 본 적 없는 나머지 절반의 데이터로 테스트를 받습니다.
• 결과: 수학적으로는 완벽합니다. 만약 AI가 바늘을 찾는다면, 그것은 진짜입니다. 거짓이 없습니다.
• 함정: AI가 데이터의 절반만 공부했기 때문에, 민감도가 떨어집니다. 충분히 연습하지 못했기 때문에 진짜 바늘을 놓칠 수도 있습니다.
• 비유: 학생이 교과서의 절반만 공부하고 나머지 절반에 대한 시험을 치르는 것과 같습니다. 성적은 공정하게 나오지만, 책 전체를 공부했다면 맞출 수 있었던 질문을 놓칠 수도 있습니다.

옵션 C: "K-폴딩(K-Folding)" 방식 (중간 지점)

• 작동 방식: 데이터를 다섯 개(또는 그 이상)의 그룹으로 나눕니다. AI는 네 그룹을 공부하고 다섯 번째 그룹으로 테스트를 수행하며, 이 과정을 반복하여 모든 그룹이 한 번씩 테스트 그룹이 되도록 합니다. 마지막으로 이 결과들을 결합합니다.
• 결과: 이것은 **최적의 균형점(Sweet spot)**을 제공합니다. 거의 모든 데이터를 사용하기 때문에 민감도를 유지하면서도, 테스트를 교대로 수행함으로써 AI가 단순히 노이즈를 암기하는 것을 방지합니다.
• 함정: 옵션 B처럼 완벽하게 교정되지는 않지만, 옵션 A보다는 훨씬 낫습니다. 저자들은 이것이 대부분의 상황에서 가장 좋은 균형이라고 밝혔습니다.

3. "과적합(Overfitting)"과의 연결

이 논문은 이 개념을 **과적합(Overfitting 또는 Overtraining)**이라는 개념과 연결합니다.

• 비유: 연습용 책에 있는 특정 무작위 오타들을 암기하여 시험을 준비하는 학생을 상상해 보십시오. 실제 시험을 볼 때, 실제 책에는 그런 오타가 없기 때문에 학생은 혼란에 빠질 것입니다.
• 저자들은 "모든 곳을 보는 효과"가 본질적으로 과적합과 같다는 것을 발견했습니다. AI가 실제 물리학이 아닌 학습 데이터의 무작위 노이즈를 암기하고 있는 것입니다.
• 해결책: 그들은 **조기 종료(Early Stopping)**라는 기술을 사용했습니다(AI가 노이즈에 너무 집착하기 전에 학습을 멈추도록 명령하는 것). 이는 신경망(Neural Networks)의 경우 수학적 오류를 해결하는 데 도움이 되었지만, BDT(Boosted Decision Trees)라고 불리는 다른 유형의 AI에는 효과가 덜했습니다.

4. 최종 결론

저자들은 "공짜 점심은 없다"고 결론짓습니다.

• 만약 완벽한 수학적 정확도(교정)를 원한다면, 민감도(신호를 놓칠 가능성)를 희생해야 합니다.
• 만약 최대의 민감도를 원한다면, 수학적 오류를 받아들이고 나중에 이를 수정해야 합니다.
• 승자: K-폴딩(K-Folding) 방식(옵션 C)이 가장 좋은 타협안입니다. 이 방식은 AI가 새로운 물리학을 찾을 수 있을 만큼 충분히 민감하게 유지하면서도, 수학적 오류를 관리 가능한 수준으로 작게 유지해 줍니다.

요약하자면: "모든 곳을" 훑어보며 새로운 물리학을 찾는 데 AI를 사용할 때는, AI가 무작위 노이즈에 스스로 속지 않도록 주의해야 합니다. 이 논문은 데이터를 스마트하게 나누는 것(K-Folding)이 검색의 민감도와 정직함을 모두 유지하는 가장 좋은 방법임을 보여줍니다.