Combinatorial Residual Network: a decay-chain-aware classifier without explicit jet assignment

기술 요약: 조합 잔차 네트워크 (Combinatorial Residual Network, CoReNet)

문제 정의
거대 강입자 충돌기(LHC) 물리학에서, 무거운 입자의 붕괴(예: $t\bar{t}$, $HH$, 또는 새로운 공명 상태)로부터 발생하는 다중 제트(multiple jets)를 포함하는 최종 상태를 분석하는 것은 상당한 조합적 난제를 제시한다. 이벤트를 해석하기 위해서는 제트를 부모 입자에 할당해야 한다. $b$-태깅을 제외하면 서로 다른 파톤으로부터 오는 제트들을 구별하기 어렵기 때문에, 가능한 할당의 수는 제트의 수에 따라 계승(factorial) 단위로 증가한다. 기존의 머신러닝 접근 방식은 일반적으로 제트 할당을 생성기 수준의 진리값(generator-level truth)을 사용하여 모델을 학습시켜 제트를 할당하는 감독 학습 단계의 중간 단계로 취급한 뒤, 별도의 분류 단계를 수행했다. 그러나 이는 진리값과 일치하는 쌍(pairing)을 학습하는 것이 본질적으로 신호-배경 분별력을 향상시킨다는 가정을 전제로 하며, 이는 직접적으로 검증되지 않은 가정이다. 더욱이 검출기 수준에서는 배경 이벤트에 대해 "올바른" 쌍이 정의되지 않거나 존재하지 않는 경우가 많으므로, 분류라는 궁극적인 목표를 위해 생성기 수준의 할당 타겟에 의존하는 것은 최선이 아니다.

방법론: 조합 잔차 네트워크 (CoReNet)
저자들은 생성기 수준의 제트 할당 타겟 없이도 훈련 중에 붕괴 사슬을 직접 인코딩하여, 명시적인 제트 할당 타겟을 제거한 분류기인 CoReNet을 제안한다.

• 아키텍처 및 계층 구조: CoReNet은 붕괴 계층을 따라 단계별로 이벤트 표현을 구축한다. $HH \to b\bar{b}b\bar{b}$와 같은 과정의 경우, 네 개의 후보 제트를 가능한 모든 디제트 쌍(6가지 조합)으로 결합한 뒤, 이를 다시 세 가지 페어링 가설(네 개의 제트를 두 개의 힉스 보손에 할당하는 방법)로 그룹화한다.
• 가설 평가: 단일 할당을 선택하는 대신, 네트워크는 모든 할당 가설을 동시에 평가한다. 네트워크는 각 레벨의 객체들에 대해 공유 가중치를 사용하므로, 네트워크의 크기는 객체나 가설의 수가 아니라 내부 표현 폭($d$)에 따라 결정된다.
• 대칭성 처리: 디제트 내의 두 제트나 두 힉스 후보 간의 교환 대칭성은 학습되는 것이 아니라 평균(mean) 및 절대 차이(absolute difference) 연산을 사용하여 구조적으로 구축된다.
• 풀링 및 출력: 각 가설은 공유 선형 레이어에 의해 점수가 매겨진다. 이 점수들은 소프트맥스(softmax)를 통해 가중치($q_{score}$)로 정규화되며, 이 가중치는 가설 표현들을 하나의 이벤트 벡터($e$)로 풀링하는 데 사용된다. 이 벡터는 이진 분류 출력으로 매핑된다.
• 훈련: 네트워크는 할당 관련 진리값 타겟 없이 오직 분류 손실(이진 교차 엔트로피)만으로 훈련된다. 이를 위해 할당을 위한 진리 수준의 정보가 필요하지 않다.
• 확장성: 이 아키텍처는 다른 토폴로지에도 적응 가능하다. $HH \to b\bar{b}W^+W^-$ 대 준렙토닉(semileptonic) $t\bar{t}$의 경우, 네트워크는 신호와 배경의 붕괴 사슬을 동시에 인코딩하고, 후보 객체를 재사용하며, 학습된 가중치를 사용하여 가설을 결합할 수 있다.

주요 기여

1. 아키텍처 설계: 붕데 사슬과 조합적 가능성을 모델에 직접 통합하여 "할당 후 분류" 파이프라인을 피하는 새로운 네트워크 구조를 제시한다.
2. 매개변수 효율성: 객체와 가설 전반에 걸쳐 가중치를 공유함으로써, CoReNet은 최첨단 트랜스포머 기반 모델(약 $10^5$–$10^6$ 개)에 비해 현저히 적은 매개변수 수(약 $10^3$ 개)로 높은 성능을 달មាន한다.
3. 훈련 효율성: Co-Net은 대규모 참조 모델이 몇 시간 걸리는 것과 달리 단일 GPU에서 몇 분 만에 훈련된다.
4. 할당 감독 불필요: 이 방법은 진리값과 일치하는 제트 할당을 학습하지 않고도 고품질의 분류가 가능하다는 것을 입증하며, 배경 이벤트에서 할당이 정의되지 않는 문제를 해결한다.

결과
저자들은 빠른 시뮬레이션 샘플을 사용하여 두 가지 벤치마크 시나리오에서 CoReNet을 평가하였다.

• $HH \to b\bar{b}b\bar{b}$ 대 QCD 멀티제트:

  • CoReNet ($d=8$, 1508개 매개변수)은 0.8664의 ROC AUC를 달성했다.
  • 이는 운동학적 베이스라인(GBDT 및 MLP, AUC $\approx$ 0.829)을 크게 상회하며, SPANet(559,846개 매개변수를 가진 트랜스포머 기반 참조 모델)과 비슷하거나 더 나은 성능을 보였다.
  • 최상의 SPANet 구성은 0.8593의 AUC를 달성했으나, 강력한 할당 손실로 훈련된 구성은 운동학적 베이스라인보다 낮은 성능을 보였다.
  • Co로Net의 가설 가중치는 훈련 시 이를 학습하지 않았음에도 불구하고, 할당이 정의된 신호 이벤트의 **80.8%**에서 진리값과 일치하는 페어링을 선택했다.

• $HH \to b\bar{b}W^+W^-$ 대 준렙토닉 $t\bar{t}$:

  • 신호 붕괴 사슬만을 인코딩한 CoReNet($CoReNet_{HH}$)은 0.8859의 AUC를 달성했다.
  • 배경 붕괴 사슬까지 함께 인코딩한 경우($CoReNet_{HH+t\bar{t}}$), 약 1282개의 추가 매개변수만으로 AUC가 0.9004로 향상되었다.
  • 이 성능은 155배 더 많은 매개변수를 사용하는 최상의 SPANet 구성(AUC 0.9126)과 유사했다. 주목할 점은, SPANet의 성능은 할당 손실로 훈련했을 때 저하되었다는 것이다.

의의 및 주장
본 논문은 도메인 지식(붕괴 사슬)을 네트워크 아키텍처에 인코딩하는 것이 방대한 데이터셋을 사용하는 거대 범용 모델의 대안으로서 매우 효율적인 방법임을 보여준다고 주장한다. 결과는 다음을 시사한다:

• 최적의 분류를 위해 명시적으로 제트 할당을 학습하는 것은 필수적이지 않으며, 네트워크는 할당 타겟 없이도 효과적인 가중치 부여를 통해 변별력을 높이는 법을 배울 수 있다.
• 작고 특화된 네트워크가 거대 트랜스포머의 성능을 따라잡으면서도 훈련 및 배포 속도는 수십 배 더 빠를 수 있다.
• 이 구조는 알려진 붕계 사슬을 가진 모든 최종 상태에 일반화될 수 있으며, 여기에는 배경 토폴로지를 신호 토폴로지와 함께 인코딩하여 변별력을 더욱 높이는 경우도 포함된다.
• 적은 매개변수 수는 이 모델을 트리거 레벨 선택이나 FPGA에서의 추론과 같이 자원이 제한된 환경에 적합하게 만든다.

저자들은 대칭성을 보존하는 어텐션 네트워크인 SPANet이 특정 제트 할당을 재구성하는 것이 주 목적인 작업에는 여전히 적합하지만, 신호와 배경의 분리가 유일한 목표인 분류 작업에서는 CoReNet이 우월한 접근 방식임을 결론짓는다.