Distilling Normalizing Flows for Real-Time Anomaly Detection at the LHC

대형 강입자 충돌기(LHC)는 초당 4천만 번의 양성자 충돌을 일으키는 거대한 규모와 속도를 가진 기계입니다. 이 데이터의 흐로잉은 저장하기에는 너무 방대하기 때문에, 실험은 하드웨어 필터인 '트리거(trigger)'에 의존하여 수 마이크로초라는 짧은 시간 안에 어떤 충돌이 보관할 만큼 흥미로운지, 그리고 어떤 것이 버려야 할 평범한 배경 잡음인지를 결정합니다. 수십 년 동안 이 필터는 특이한 현상을 포착하기 위해 미리 프로그래밍된 규칙에 의존해 왔습니다. 그러나 우주는 종종 그 규칙에 부합하지 않는 방식으로 새로운 물리학을 숨겨둡니다. 예상치 못한 것을 찾기 위해 과학자들은 알려진 입자의 표준 패턴과 단순히 다르게 보이는 이벤트를 찾는 방법인 '이상 탐지(anomaly detection)'로 눈을 돌렸습니다. 문제는 이러한 탐지 모델이 트리거 시스템 내부의 특수 컴퓨터 칩에서 실행될 수 있을 만큼 매우 빠르고 작아야 한다는 점이며, 이는 역사적으로 과학자들에게 높은 정확도와 실시간 실행 능력 사이의 선택을 강요해 왔습니다.

본 연구에서 연구진은 강력한 통계적 도구인 '노멀라이징 플로우(normalizing flow)'를 하드웨어 트리거로 가져오는 문제를 다루었습니다. 노멀라이징 플로우는 데이터의 형태를 학습하여 특정 이벤트가 발생할 확률을 효과적으로 매핑하는 유형의 컴퓨터 모델입니다. 만약 어떤 이벤트가 그 지도의 희귀하고 가능성이 낮은 구석에 떨어진다면, 모델은 이를 이상 징립으로 표시합니다. 이러한 모델들은 특이한 현상을 포착하는 데 탁월하지만, 그 정확한 점수를 계산하는 것은 트리거에 사용되는 하드웨어 칩에게는 너무 느리고 복잡합니다. 하드웨어를 위해 이러한 모델을 단순화하려는 이전의 시도들은 종종 정확도의 손실을 초래하여 새로운 물리학을 찾는 능력을 떨어뜨렸습니다. 이 연구의 팀은 다른 길을 모색했습니다. 복잡한 모델 자체를 단순화하는 대신, 훨씬 작고 단순한 모델이 큰 모델의 행동을 모방하도록 가르치는 방식입니다. '지식 증류(knowledge distillation)'라고 알려진 이 과정은 작은 모델이 무거운 계산적 무게를 짊어지지 않고도 큰 모델의 지능을 물려받을 수 있게 해줍니다.

연구진은 먼저 대규모 시뮬레이션 양성자 충돌 데이터셋을 사용하여 정교하고 거대한 모델을 훈련시켰습니다. 이 데이터셋은 전자, 뮤온, 제트(jet)와 같은 특정 입자뿐만 아니라 보이지 않는 입자를 나타내는 누락된 에너지까지 포함하여 우주의 표준적인 행동을 나타냅니다. 이 데이터의 핵심적인 어려움은 각 충돌 내의 입자 수가 다양하다는 것입니다. 어떤 이벤트는 많은 제트를 가지고 있는 반면, 다른 이벤트는 적은 수를 가집니다. 팀은 이를 처리하기 위해 조건부 접근 방식을 사용하였으며, 모델이 존재하는 입자의 특정 개수에 기반하여 이벤트의 확률을 이해하도록 가르쳤습니다. 이를 통해 모델은 입력 데이터가 불완전하거나 희소하더라도 일반적인 충돌이 어떻게 보이는지에 대한 정밀한 지도를 학습할 수 있었습니다. 그 결과, 어떤 이벤트에도 가능성 점수를 부여할 수 있는 매우 정확한 '교사(teacher)' 모델이 탄생했지만, 이는 트리거 하드웨어에서 실행하기에는 너무 크고 느렸습니다.

이 지능을 실제로 사용할 수 있도록 만들기 위해, 팀은 교사의 점수를 복제하는 두 가지 유형의 경량화된 '학생(student)' 모델을 훈련시켰습니다. 한 학생 모델은 일련의 간단한 예/아니오 질문을 따라 결정을 내리는 모델인 '부스트 결정 트리(boosted decision tree)'였고, 다른 하나는 층(layer)을 통해 정보를 처리하는 상호 연결된 노드의 구조인 '밀집 신경망(dense neural network)'이었습니다. 두 학생 모델 모두 무거운 장치 없이 원시 검출기 데이터로부터 교사의 가능성 점수를 직접 예측하도록 훈련되었으며, 원래의 플로우가 가진 복잡한 패턴을 복제하는 법을 배웠습니다. 연구진은 이후 이 학생 모델들에 고급 압축 기술을 적용하여, 이들이 이상 이벤트를 구별하는 능력을 잃지 않으면서도 트리거 시스템에 사용되는 재구성 가능한 칩인 '필드 프로그래머블 게이트 어레이(FPGA)'에 들어갈 수 있도록 내부 숫자의 정밀도를 적절히 낮추었습니다.

결과는 학생 모델들이 새로운 물리학을 찾아내는 교사의 능력을 성공적으로 포착했음을 보여주었습니다. 네 가지 서로 다른 가상의 입자 시나리오를 대상으로 테스트했을 때, 학생 모델들은 원래의 교사와 거의 대등한 성능을 보였으며, 원래 모델의 1% 이내의 차이로 식별 능력을 달im했습니다. 결정적으로, 이들은 노멀라이징 플로우를 하드웨어에 적응시키려 했던 이전의 방법들보다 뛰어난 성능을 보였습니다. 압축된 모델들은 단 5~25나노초 만에 결정을 내릴 수 있었으며, 이는 트리거 시스템의 엄격한 시간 제한 내에서 실행될 수 있는 속도입니다. 또한, 이 모델들이 칩에서 요구하는 자원은 최소한이었으며, 사용 가능한 용량의 1% 미만을 사용했습니다. 이는 이 시스템이 하드웨어에 과부하를 주지 않으면서도 다른 필수 작업들과 함께 이러한 정교한 탐지기를 실행할 수 있음을 의미합니다.

복잡하고 고정밀인 모델이 작고 빠른 대리 모델로 증류될 수 있음을 입증함으로써, 연구진은 대형 강입자 충돌기의 핵심부에 고급 이상 탐지를 배치할 수 있는 실질적인 경로를 제시했습니다. 이 연구는 하드웨어 트리거가 이전에는 그러한 엄격한 제약 조건 아래에서는 불가능하다고 여겨졌던 수준의 민감도로 예기치 못한 현상을 탐색할 수 있음을 시사합니다. 이 접근 방식은 단순히 탐지 속도를 높이는 것뿐만 아니라, 수십억 번의 충돌 속 잡음 속에 숨겨진 새로운 물리학의 희미한 신호를 포착하는 데 필요한 정확도를 보존합니다. 본 연구는 적절한 훈련 전략이 있다면 하드웨어의 한계를 극가할 수 있으며, 가장 강력한 통계적 도구가 가장 필요한 실시간 현장에서 작동할 수 있게 함을 확인시켜 줍니다.