Self-Supervised Learning for Robust Resonance Mass Regression in Cascade Decays

기술 요약: 캐스케이드 붕괴에서의 강건한 공명 질량 회귀를 위한 자기지도 학습

문제 정의
고에너지 물리학(HEP) 실험에서, 누락된 에너지를 포함하는 붕괴 생성물로부터 무거운 공명(heavy resonance)의 불변 질량(invariant mass)을 재구성하는 것은 새로운 물리학 탐색을 위한 핵심적인 과제이다. 이러한 탐색의 민감도는 재구성된 질량 피크(mass peak)의 폭에 크게 의존한다. 낮은 다중도(low-multiplicity) 최종 상태의 경우 이는 관리 가능한 수준이지만, 무거운 공명(예: 테라전자볼트(TeV) 규모의 초대칭 입자)의 캐스케이드 붕패로 인해 발생하는 높은 다중도 최종 상태의 경우 이 작업은 매우 어려워진다. 검출기 효과와 재구성 비효율성으로 인한 계통 불확실성은 이러한 시나리오에서 복합적으로 작용하여, 재구성된 공명 폭을 왜곡할 수 있다. 표준 지도 학습 회귀 알고리즘은 모든 가능한 계통적 변이를 모델링하기 위해 방대한 양의 라벨링된 데이터가 필요하기 때문에, 훈련 데이터셋을 넘어 일반화하는 데 어려움을 겪는다. 광범위한 가설적 질량 범위와 조밀한 질량 그리드 전반에 걸쳐 이러한 데이터를 생성하는 것은 계산적으로 매우 비용이 많이 든다.

방법론
저자들은 일반화 및 강건성 문제를 해결하기 위해 파운데이션 모델 패러다임에 기반한 자기지도 학습(SSL) 프레임워크를 제안한다. 이 접근 방식은 두 단계로 구성된다:

1. 자기지도 사전 훈련 (VICReg):

   • 아키텍처: 트랜스포머 인코더(transformer encoder)가 VICReg(Variance-Invariance-Covariance Regularization) 목적 함수를 사용하여 사전 훈련된다.
   • 입력 표현: 이벤트는 표준 운동학적 입력($p_T, \eta, \phi, \text{PID}$)을 가진 최종 상태 객체들의 집합으로 표현된다.
   • 증강 전략: 계통적 변이에 불변하는 임베딩을 학습하기 위해, 이벤트당 두 개의 증강된 뷰(view)가 생성된다. 실제 LHC 조건을 모사하기 위해 7가지 유형의 증강이 고정된 확률로 독립적으로 적용된다:
     • 재구성 비효율성 (1-2개의 가시적 객체를 무작위로 탈락시킴).
     • 제트 에너지 스케일 이동 (상관관계가 있는 $\sigma=3\%$).
     • 에너지 분해능 스미어링 (가시적 객체에 대해 $\sigma=10\%$, MET에 대해 $\sigma=15\%$).
     • 각도 분해능 스미어링 ($\eta$에 대해 $\sigma=0.05$).
     • 검출기 대칭성 (전역 $\phi$ 회전).
     • 오식별 (하드론 쌍의 PID를 교체).
   • 목적: 모델은 질량 라벨 없이도 동일한 기저 이벤트의 두 뷰에 대해 불변하는 임베딩을 생성하는 동시에, 정보 붕괴를 방지하기 위해 임베딩 차원 간의 단위 분산 및 탈상관성을 유지하도록 학습한다. 결정적으로, 이 단계에서는 질량 라벨을 사용하지 않는다.

2. 질량 회귀를 위한 미세 조정 (Fine-tuning):

   • 사전 훈련된 인코더에 다층 퍼셉트론(MLP) 헤드가 부착된다.
   • 모델은 상대 평균 제곱 오차(relative MSE) $\frac{1}{n}\sum (\frac{\hat{m}_i - m_i}{m_i})^2$를 최소화하도록 라벨링된 데이터로 미세 조정된다.
   • 베이스라인: 동일한 아키텍처를 가진 지도 학습 모델이 직접 비교를 위해 증강된 데이터를 사용하여 처음부터 훈련된다.

실험 설정

• 데이터셋: 운동학적 생성기가 SUSY 유사 캐스케이드 붕괴($bA \to bgX \to bgqqqqY \to bgqqqqqqqql\nu$)를 시뮬레이션하며, 이는 11개의 최종 상태 객체를 갖는다.
• 질량 범위: 무거운 공명 $A$에 대해 2.5 TeV에서 6.5 TeV까지 200 GeV 단계로 구성된 21개의 질량 지점(총 105만 개의 이벤트)을 대상으로 한다.
• 시뮬레이션: 데이터는 전체 검출기 시뮬레이션 없이 운동학적 수준에서 생성된다. 계통 효과는 훈련 및 평가 과정 중 증강 전략을 통해 완전히 모사된다.

주요 결과

• 임베딩 강건성: t-SNE 시각화는 사전 훈련된 인코더가 질량 라벨을 사용하지 않고도 임베딩 공간에서 서로 다른 질량 지점들을 성공적으로 클러스터링함을 보여준다. 이러한 클러스터링 구조는 현실적인 오염(corruption)이 결합되어 적용된 경우에도 유지된다.
• 회귀 성능: 모든 테스트된 오염 시나리오(입자 탈락, $p_T$ 스미어링, $\eta$ 스미어링, PID 교체, 결합된 오염)에 대해, VICReg로 사전 훈련된 모델은 직접 비교를 위한 지도 학습 베이스라인보다 더 낮은 상대 MSE를 달성한다.
• 공명 폭 개선: 지도 학습 모델은 가끔 결합된 오염 시나리오에서 참값에 더 가까운 평균 질량을 예측하기도 하지만(이는 보정 가능한 편향임), VICReg 모델은 일관되게 더 좁은 질량 폭(개선된 분해능)을 예측한다.
  • 잔차 $(\hat{m} - m)/m$의 표준 편차는 모든 질량 지점과 오염 유형에 대해 VICReg 모델에서 일관되게 더 낮다.
  • 응답 보정(response calibration)을 적용하여 평균 편향을 수정한 후, VICReg 모델은 오염 시나리오에 따라 재구성된 질량 폭을 11%에서 36%까지 좁힌다.
  • 모든 오염 유형을 적용했을 때, SSL 접근 방식은 지도 학습 베이스라인에 비해 재구성된 질량 폭을 약 14% 개선한다.
• 안정성: VICReg 모델은 오염 수준이 증가함에 따라 더 큰 안정성을 보이며, 지도 학습 모델이 더 심하게 저하되는 구간에서도 좁은 폭을 유지한다.

의의 및 주장
본 논문은 자기지도 사전 훈련이 계통 불확실성이 존재하는 상황에서 재구성된 공명 질량의 분해능을 향상시키는 실행 가능한 경로를 제공함을 주장하며, 이는 새로운 물리학 탐색의 민감도에 결정적인 요소이다. 검출기 미모델링 및 재구성 비효율성에 불변하는 표현을 질량 라벨 없이 학습함으로써, 이 방법은 체계적으로 더 좁은 재구성 질량 폭을 산출한다. 저자들은 이를 모든 계통적 변이에 대해 포괄적인 라벨링된 데이터를 생성하는 것이 계산적으로 불가능할 수 있는 시나리오에서, SSL의 잠재력을 보여주는 시연으로 제시한다. 저자들은 향후 연구 과제로 전체 시뮬레이션 체인으로의 확장 및 더 넓은 회귀 대상의 탐색을 언급하였다.