Track finding and particle identification performance with particle physics foundation models

기술 요약: 입자 물리학 파운데이션 모델을 이용한 트랙 탐지 및 입자 식별 성능

문제 정의
RHIC(Relativistic Heavy Ion Collider)의 sPHENIX 실험과 향후 HL-LHC(High-Luminosity Large Hadron Collider)와 같은 현대 고에너지 핵 및 입자 물리학 실험은 물리 분석이 수행되기 전 상당한 양의 데이터 축소가 필요한 방대한 양의 희소(sparse) 데이터를 생성합니다. 전통적인 재구성 알고리즘은 검출기 점유율(occupancy)과 휘도가 증가함에 따라 점점 더 큰 도전에 직면하고 있습니다. 구체적으로, 세포 자동자(Cellular Automata, CA)에 기반한 기존의 트랙 탐지 알고리즘은 낮은 횡운동량($p_T$) 트랙에서 어려움을 겪습니다. 이러한 영역에서는 다중 산란(multiple scattering)과 높은 궤도 곡률로 인해 "루퍼(looper)" 트랙(자기장 내에서 검출기를 여러 번 통과하는 트랙)을 포함한 복잡한 패턴이 발생하며, 이는 효율성과 순도(purity)의 저하를 초래합니다. 또한, 기존의 대부분의 머신러닝(ML) 접근 방식은 레이블이 지정된 데이터를 사용하여 특정 작업에 최적화되어 있으므로, 처음부터 다시 학습하지 않고는 새로운 목적에 적응하는 데 한계가 있습니다.

방법론
저자들은 저수준 검출기 데이터로부터 전이 가능한 표현(transferable representations)을 학습하도록 설계된 사전 학습된 모델인 **FM4NPP(Foundation Model for Nuclear and Particle Physics)**를 평가합니다.

• 데이터 소스: 본 연구는 $\sqrt{s} = 200$ GeV에서 1,000만 개의 양성자-양성자 충돌 데이터를 포함하는 sPHENIX TPC(Time Projection Chamber)의 시뮬레이션 데이터를 활용합니다. 입력값은 고수준 재구성 객체가 아닌 TPC "스페이스포인트(spacepoints, 히트 클러스터)"로 구성됩니다.
• 모델 아키텍처: FM4NPP는 Mamba 시퀀스 모델을 기반으로 합니다. 사전 학습 단계에서 TPC 스페이스포인트는 $(\eta, \phi, r)$ 공간에서 복셀화(voxelized)되고 계층적으로 직렬화됩니다. 모델은 약 2억 개의 파라미터를 사용하여 레이블이 없는 데이터에 대한 자기 지도 학습 기반의 $k$-Next-Nearest-Neighbor 예측 작업을 통해 학습되었습니다.
• 다운스트림 적응(Downstream Adaptation): 성능 평가를 위해, 동결된(frozen) 사전 학습된 백본(backbone)을 경량화된 작업별 지도 학습 어댑터(adapter)와 결합합니다:
  • 트랙 탐지(Track Finding): 스페이스포인트 임베딩을 집계하기 위한 트랜스포머 디코더 층을 사용하며, 그 뒤에 두 개의 다층 퍼셉트론(MLP) 헤드를 배치합니다.
  • 입자 식별(PID): 피온(pion), 케이온(kaon), 양성자(proton)를 구분하기 위해 트랜스포머 디코더와 단일 MLP 분류기를 사용합니다.
• 베이스라인(Baselines):
  • 트랙 탐지: CA 기반 시더(seeder)와 칼만 필터(Kalman Filter) 전파 방식을 비교 대상으로 합니다.
  • PID: 운동량에 따른 평균 이온화 에너지 손실($dE/dx$)을 피팅하는 전통적인 가우시안 프로세스 회귀(Gaussian Process Regression, GPR) 방법과 비교합니다.
• 평가 지표: 트랙 매칭에는 진리값(truth)과 재구성된 스페이스포인트 간의 50% 이상 중첩을 요구하는 "이중 다수결(double-majority)" 방식을 사용합니다. PID 성능은 입자 종 구분이 가장 어려운 운동량 범위 $p \in [0.8, 1.2)$ GeV/c에서 수신자 작동 특성(ROC) 곡을 통해 측정됩니다.

주요 기여 및 결과

1. 우수한 저-$p_T$ 트랙 탐지: FM 기반 재구성은 저 횡운동량($p_T \lesssim 1.0$ GeV/c)에서 전통적인 CA 기반 시더보다 성능이 현저히 뛰어납니다. CA 알고리즘은 다중 산란과 트랙 루핑으로 인해 효율성 손실을 겪는 반면, FM은 전체 $p_T$ 스펙트럼에 걸쳐 매우 높은 효율성을 유지합니다.
2. 루핑 트랙에 대한 높은 순도: FM은 저 $p_T$ ($p_T \lesssim 0.5$ GeV/c)에서도 거의 1에 가까운 순도를 달 achieves 합니다. 입자가 자기장 내에서 루핑할 때 연속적인 루프를 연결하는 데 실패하는 CA 시더와 달리, FM은 이러한 트랙을 중복 생성 없이 정확하게 식별합니다.
3. 명시적 학습 없는 효과적인 입자 식별: 사전 학습 목적이 에너지 손실이 아닌 오직 공간적 패턴 인식에 집중되었음에도 불구하고, FM 기반 PID 어댑터는 전통적인 GPR $dE/dx$ 방법과 대등하거나 약간 더 나은 성능을 보입니다.
   • 양성자: 두 방법 모두 우수한 분리 성능을 달성합니다 (AUC $\ge 0.998$).
   • 피온: FM이 GPR보다 약간 더 우수한 성능을 보입니다 (AUC 0.792 vs. 0.774).
   • 케이온: 두 방법은 대등하며, FM은 피온과 양성자 밴드 사이의 까다로운 영역에서 미세하게 더 높은 AUC(0.684 vs. 0.676)를 보여줍니다.
4. 전이 가능성(Transferability): 본 결과는 하나의 동결된 백본이 명시적인 에너지 손실 학습 없이도(공간적 패턴 인식만으로) 경량 어댑터를 통해 트래킹 및 PID와 같은 다양한 다운스트림 작업을 지원할 수 있음을 입증합니다.

의의
본 논문은 파운데이션 모델이 저수준 검출기 데이터로부터 일반화 가능한 표현을 학습함으로써 전통적인 재구성 체인에 강력한 대안을 제공한다고 주장합니다. 주요 의의는 단일 아키텍처가 높은 효율성과 순도로 전체 $p_T$ 스펙트럼을 처리할 수 있어, 전통적인 알고리즘의 고질적인 문제인 저운동량에서의 "루퍼" 문제를 해결한다는 점에 있습니다. 또한, 에너지 손실에 대한 명시적 학습 없이도 전문적인 $dE/dx$방법과 대등한 성능으로 입자 식별을 수행할 수 있다는 점은 FM4NPP가 데이터 분석 파이프라인을 단순화할 수 있음을 시사합니다. 공유된 사전 학습 백본과 작업별 어댑터를 사용함으로써, 실험 장치들은 여러 전문화된 재구성 알고리즘을 유지 관리하는 계산적, 공학적 오버헤드를 줄이는 동시에, 특히 까다로운 저-$p_T$ 영역에서의 측정 범위를 확장할 수 있습니다.