Event Tokenization and Masked-Token Prediction for Anomaly Detection at the Large Hadron Collider

이 논문은 신호의 특성에 대한 사전 지식 없이 배경 사건 재구성에서의 편차를 감지함으로써 4개 톱 쿼크 생성과 같은 새로운 물리학 신호를 식별하기 위해, 마스크된 토큰 예측을 통해 학습된 경량화된 인코더 기반 LLM 유사 네트워크를 활용하는 대형 강입자 충돌기용 새로운 비지도 이상 탐지 방법을 제안한다.

핵심

거대 강입자 충돌기(LHC)를 거대한 고속 자동차 충돌 시뮬레이터라고 상상해 보십시오. 매초마다 이 장치는 입자들을 서로 충돌시켜 혼돈스러운 파편의 폭발을 만들어냅니다. 물리학자들은 매우 특정한, 희귀한 유형의 충돌을 찾고 있습니다. 이는 마치 어떤 비밀스럽고 보이지 않는 힘이 작용할 때만 발생하는 아주 특이한 자동차 스크래치를 찾는 것과 같습니다. 이것이 바로 "신호(signal)"입니다.

문제는 대부분의 충돌이 서로 매우 비슷하게 보인다는 점입니다. 이것들이 "배경 소음(background noise)"입니다. 이 논문에서 저자들은 무엇이 바늘인지 정확히 모르는 상태에서 건더기 더미 속에서 바늘을 찾는 방법을 연구하고 있습니다.

그들은 컴퓨터가 글을 읽고 쓰는 법을 배우는 방식에서 빌려온 영리한 기술을 사용하여 이 문제를 해결했습니다.

1. 물리학을 언어로 바꾸기

저자들은 이러한 입자 충돌 데이터가 언어의 문장처럼 취급될 수 있다는 점을 깨달았습니다.

• "단어들": 글자 대신, "단어"(또는 토큰)는 충돌에서 튀어나오는 입자들입니다. 어떤 것은 에너지 제트(jet)이고, 어떤 것은 전자이며, 어떤 것은 뮤온입니다.
• "문장": 단일 충돌 이벤트는 약 18개의 이러한 "단어"와, 퍼즐의 빠진 조각을 설명하는 몇 개의 추가 숫자(총 결측 에너지)로 이루어진 하나의 문장입니다.

이 작업이 컴퓨터에서 작동하게 하려면, 물리적 입자들을 기계가 이해할 수 있는 코드로 번역해야 했습니다. 그들은 모든 입자의 유형과 속도/방향에 특정 숫자를 할당하여, 복잡한 물리 이벤트를 [3, 1, 5, 2, ...]와 같은 단순한 숫자 목록으로 변하는 시스템을 만들었습니다.

2. "빈칸 채우기" 게임

연구팀은 대규모 언어 모델(LLM)이라 불리는 인공지능 유형을 사용했습니다. 이는 챗봇을 구동하는 것과 같은 종류의 기술입니다. 하지만 그들은 AI에게 이야기를 쓰도록 가르치지 않았습니다. 대신, 오직 "배경(background)" 충돌 데이터만을 사용하여 "빈칸 채우기" 게임을 하도록 가르쳤습니다.

• 학습: 그들은 AI에게 수천 개의 일반적인 충돌 사례를 보여주었지만, 각 문장에서 하나의 "단어"(입자)를 숨겼습니다. AI는 나머지 문장을 바탕으로 숨겨진 입자가 무엇인지 추측해야 했습니다.
• 목표: AI는 일반적인 입자 충돌의 "문법"을 배웠습니다. 예를 들어, "여기에 무거운 제트가 있다면, 보통 저기에 특정 유형의 전자가 있을 것이다"라는 식의 규칙을 배운 것입니다.

3. 이상 징후 포착하기

AI가 "정상적인" 충돌을 예측하는 전문가가 되었을 때, 연구팀은 이를 새로운 데이터, 즉 그들이 찾고자 하는 희귀한 "신호" 충돌에 테스트했습니다.

• 테스트: 그들은 충돌 이벤트에서 입자 하나를 숨긴 뒤 AI에게 그것을 맞추라고 요청했습니다.
• 결과: AI가 정상적인 충돌을 볼 때는 대부분 정확하게 맞췄습니다. 하지만 희귀하고 기이한 "포 톱 쿼크(four-top-quark)" 충돌을 볼 때는 혼란을 느꼈습니다. 이 희귀한 이벤트는 일반적인 배경의 "문법"을 따르지 않았기 때문에, AI의 추측은 틀렸습니다.
• 알람: AI가 얼마나 많이 틀렸는지를 통해, 해당 이벤트가 이상 징후(그들이 찾던 신호)일 가능성이 높다는 것을 알 수 있었습니다.

4. 얼마나 잘 작동했는가?

저자들은 이 방법이 "포 톱 쿼크" 생성(네 개의 무거운 입자가 동시에 생성되는 매우 희귀한 사건)을 찾는 데 얼마나 효과적인지 테스트했습니다.

• 점수: 그들은 AI가 "정상" 충돌과 "희귀" 충돌을 얼마나 잘 분리하는지 측정했습니다. 그들은 0.67이라는 점수(ROC-AUC)를 얻었습니다.
• 비교: 그들은 이 방법을 기존의 확립된 다른 방식들과 비교했습니다.
  • 이 방법은 가장 뛰어난 기존 방식(DDD라고 불리는)을 능가하지는 못했습니다.
  • 그러나 두 가지 다른 흔한 방식(DeepSVDD 및 DROCC)보다는 더 나은 성과를 보였습니다.

핵심 요약

이 논문은 입자 물리학 데이터를 언어처럼 취급하고 "빈칸 채우기" AI를 사용하는 것이 희귀하고 알려지지 않은 물리 이벤트를 찾는 유망한 새로운 방법이라고 주장합니다. 아직 완벽한 해결책은 아니지만, 이 방식은 다른 방법들이 놓친 데이터의 미묘한 차이를 성공적으로 식Identified(식별)했으며, 이는 이 "언어 기반" 접근 방식이 향후 LHC에서의 발견을 위한 가치 있는 도구가 될 수 있음을 시사합니다.

기술 요약

기술 요약: 대형 강입자 충돌기(LHC)에서의 이상 탐지를 위한 이벤트 토큰화 및 마스크된 토큰 예측

문제 정의
본 논문은 신호의 특성에 대한 사전 지식 없이 고에너지 물리학 데이터에서 희귀한 표준 모형 너머(Beyond the Standard Model, BSM) 시그니처를 식별하는 과제를 다룹니다. 특히 저자들은 대형 강입자 충돌기(LHC)에서의 동시 4-톱 쿼크($t\bar{t}t\bar{t}$) 생성 탐색에 초점을 맞춥니다. 이 과정은 그 최종 상태(0–4개의 경입자, 4–12개의 제트, 4개의 $b$-제트 포함)가 $t\bar{t}WW, t\bar{t}W, t\bar{t}Z, t\bar{t}H$와 같은 복잡한 표준 모형(SM) 배경 사건과 매우 유사하기 때문에 분리하기가 어렵습니다. 저자들은 거대 언어 모델(LLM)을 비지도 이상 탐지기로 사용하여 배경 사건의 분포를 학습하고, 새로운 물리학을 나타낼 수 있는 편차를 식별할 것을 제안합니다.

방법론
제안된 접근 방식은 자연어 처리(특히 BERT)에서 채택된 기술인 마스크된 토큰 예측(masked-token prediction)을 통해 학습된 경량 인코더 기반 트랜스포머 네트워크를 활용합니다.

1. 데이터셋 및 전처리:

   • 본 연구는 MG5_aMC@NLO로 생성되고 Pythia 8로 강입자화되었으며 Delphes 3를 통해 처리된 Dark Machines 챌린지의 $\sqrt{s} = 13$ TeV $pp$ 충돌 시뮬레이션 데이터를 사용합니다.
   • 이벤트는 최대 18개의 입자 객체(제트, 경입자, 광자)와 결측 가로 에너지($E_T^{\text{miss}}$) 및 그 방위각($\phi_{E_T^{\text{miss}}}$)의 시퀀스로 표현됩니다.
   • 배경 과정($t\bar{t}H, t\bar{t}W, t\bar{t}WW, t\bar{t}Z$)은 학습 세트를 구성하며, $t\bar{t}t\bar{t}$는 평가를 위한 신호 역할을 합니다.

2. 토큰화 전략:

   • 이 방법의 핵심 구성 요소는 연속적인 운동학적 변수를 이산적인 토큰으로 변환하는 것입니다.
   • 입자 유형은 7개의 사전 정의된 범주로 매핑됩니다.
   • 운동학적 변수($p_T, \eta, \phi, E_T^{\text{miss}}, \phi_{E_T^{\text{miss}}}$)는 빈(bin)으로 나뉩니다. 최적의 구성은 $p_T, \eta, E_T^{\text{miss}}$를 4개의 빈(각각 배경 데이터의 25%를 포함)으로 나누고, $\phi$와 $\phi_{E_T^{\text{miss}}}$를 폭이 $\pi/4$인 4개의 빈으로 나누는 것입니다.
   • 이러한 빈들은 각 입자에 대한 고유한 정수 토큰($token_{part} \in [1, 448]$)과 결측 에너지 성분에 대한 토큰($token_{E_T^{\text{miss}}} \in [449, 452], token_{\phi_{E_T^{\text{miss}}} \in [453, 456]}$)으로 결합됩니다.
   • 이벤트는 고정된 시퀀스 길이인 18개의 입자와 에너지 토큰으로 패딩됩니다.

3. 모델 아키텍처 및 학습:

   • 모델은 각각 4개의 셀프 어텐션 헤드를 가진 2개의 트랜스포머 레이어로 구성되며, 이후 선형 투영(linear projection)과 소프트맥스(softmax) 레이어가 이어집니다.
   • 학습: 모델은 마스크된 토큰 예측 목적 함수를 사용하여 배경 사건만을 사용하여 학습됩니다. 한 이벤트당 하나의 토큰이 무작위로 마스킹되며, 모델은 희소 범주형 교차 엔트로피(Sparse Categorical Cross-Entropy) 손실을 사용하여 이를 재구성하는 법을 학습합니다.
   • 추론: 테스트 중에는 이벤트 내의 모든 토큰이 마스킹되고 하나씩 재구성됩니다. 각 이벤트에 대해 평균 재구성 점수(손실)가 계산됩니다.

주요 기여

• 새로운 응용: 본 논문은 입자 이벤트를 토큰의 시퀀스로 취급하여, 콜라이더 물리학의 비지도 이상 탐지에 LLM 유사 아키텍처를 사용하는 것을 소개합니다.
• 토큰화 체계: 트랜스포머 기반 모델에 적합한 형식으로 연속적인 입자 물리학 데이터를 변환하기 위한 특정 빈닝(binning) 및 인코딩 전략을 제안합니다.
• 모델 독립적 탐색: 이 방법은 신호에 대한 지식 없이 배경 사건의 재구성 성능에만 의존하여 이상치를 식별함으로써 모델 독립적으로 작동합니다.

결과

• 4-톱 탐색 성능: $t\bar{t}t\bar{t}$ 신호에 적용되었을 때, 모델은 0.67의 ROC-AUC(수신자 조작 특성 곡선 아래 면적)를 달성했습니다.
• 분포 중첩: 배경 사건과 신호 사건의 재구성 점수 분포는 70.85%의 공통 영역을 보여주었으며, 이는 어느 정도의 중첩이 존재함을 나타내는 동시에 모델이 두 클래스를 어느 정도 구분할 수 있음을 보여줍니다.
• 비교: 제안된 방법은 Dark Machines 챌린지의 기존 비지도 학습 방법들(DDD, DeepSVDD, DROCC)과 비교되었습니다. 결과에 따르면, LLM 기반 접근 방식이 DDD 기반 기술을 능가하지는 못했지만, DeepSVDD 및 DROCC보다는 향상된 성능을 보여주며 경쟁력 있는 비지도 이상 탐지 기술로서의 위치를 입증했습니다.

의의 및 주장
저자들은 결과를 예비적이지만 유망한 것으로 규정합니다. 그들은 이 접근 방식이 콜라이더 데이터의 미세한 차이를 성공적으로 포착하며, 모델 독립적 탐색을 위한 유연한 토큰 기반 표현을 제공한다고 주장합니다. 본 논문은 토큰화 체계와 모델 아키텍처를 추가로 최적화한다면, 이 방법이 미래의 고에너지 물리학 분석에서 희귀한 표준 모형 과정에 대한 민감도를 개선하고 새로운 물리학 시그니처를 밝혀내는 데 있어 실행 가능한 후보가 될 수 있음을 시사합니다. 이 연구는 기존의 모든 방법을 능가했다고 주장하는 것이 아니라, 입자 물리학 데이터의 특정 구조적 과제에 트랜스포머 아키텍처를 적응시키는 것의 잠재력을 강조하는 데 목적이 있습니다.