Neural Fake Factor Estimation Using Data-Based Inference

기술 요약: 데이터 기반 추론을 이용한 신경망 기반 가짜 인자 추정 (Neural Fake Factor Estimation Using Data-Based Inference)

문제 정의
고에너지 물리학(HEP) 분석에서 "가짜(fake)" 배경사건은 공식적인 신호 선택 기준을 통과하지 못했으나, 비프롬프트(non-prompt) 경입자나 경입자로 오인된 강입성 제트와 같이 잘못 재구성되거나 식별된 입자로 인해 수용된 사건들로부터 발생합니다. 전통적으로 이러한 배경사건은 데이터 기반 기법, 특히 가짜 인자(Fake Factor) 방법을 사용하여 추정합니다. 이 방법은 운동학적으로 인접한 더 느슨한 선택 영역(제어 영역, Control Region, CR)으로부터 신호 영역(Signal Region, SR)으로 가짜 경입자의 기여를 스케일 인자(가짜 인자)를 사용하여 외삽합니다.

이 방법의 전통적인 구현은 저차원 공간(일반적으로 횡운동량 $p_T$ 및 가속도 $\eta$)에서 두 히스토그램(타이트 및 루즈 선택)의 비율로 가짜 인자를 계산하는 **빈 기반 추정(binned estimation)**에 의존합니다. 이러한 접근 방식은 다음과 같은 몇 가지 한계점을 가집니다:

1. 빈 생성 아티팩트(Binning Artifacts): 빈(bin)의 선택이 결과에 상당한 영향을 미칩니다. 거친 빈은 운동학적 특징을 손실시키고, 미세한 빈은 통계적 변동, 빈의 부재 또는 음수 값을 초래합니다.
2. 차원의 한림: 통계적 제한으로 인해 이 방법은 일반적으로 몇 개의 변수로 제한되며, 이는 다른 이벤트 위상 변수(예: 결측 횡운동량 $E^{miss}_T$ 또는 제트 다중도)와의 복잡한 상관관관계를 포착하는 것을 방지합니다.
3. 외삽 불확실성: 빈 생성으로 인한 불연속성과 고차원 의존성을 모델링할 수 없는 능력은 신호 영역으로의 배경사건 추정 정확도를 저하시킵니다.

방법론
저자들은 히스토그램 생성 대신 **신경 밀도 비율 추정(neural density ratio estimation)**을 사용하는 새로운 기계 학습(ML) 기반 가짜 인자 방법을 제안합니다. **데이터 기반 추론(DBI)**이라 불리는 이 접근 방식은 이벤트당 연속적이고 빈이 없는(unbinned) 가짜 인자 함수를 추정합니다.

이 방법은 두 가지 주요 단계로 구성됩니다:

1. 감산 단계 (실제 경입자 제거):
   가짜 인자는 가짜 경 입자로부터만 유도되어야 하므로, 실제(프롬프트) 경입자의 기여를 타이트(tight) 영역과 루즈(loose) 영역의 데이터 샘플 모두에서 차감해야 합니다. 저자들은 타이트 및 루즈 영역에서 각각 데이터와 몬테카를로(MC) 시뮬레이션의 비율($r_{T,L} = N^{data}/N^{MC}$)을 추정하기 위해 두 개의 독립적인 이진 분류기를 훈련시킵니다.

   • 이 분류기들은 데이터 이벤트(레이블 1)와 MC 이벤트(레이블 0)를 구별하도록 훈련됩니다.
   • 출력값은 데이터 이벤트를 재가중(reweight)하여 "실제가 차감된" 밀도를 얻는 데 사용됩니다.
   • 물리적 타당성(양수 가중치)을 보장하기 위해, 분류기의 로짓(logit) 출력에 **소프트 절대 활성화 함수(soft absolute activation function)**를 적용하여 비율 $r > 1$이 되도록 하고 결과 가중치가 양수를 유지하도록 합니다.

2. 비율 단계 (가짜 인자 추정):
   세 번째 이진 분류기는 타이트(분자)와 루즈(분모)의 실제가 차감된 샘플 간을 구별하도록 훈련됩니다.

   • 훈련 데이터셋은 두 영역에서 재가중된 이벤트들로 구성됩니다.
   • 분류기는 두 가설 사이의 우도 비율(likelihood ratio)을 학습합니다.
   • 최종 가짜 인자 $F(x)$는 특성 $x$를 가진 이벤트에 대해 분류기 출력의 지수로 추정됩니다: $F(x) = \exp(q(x))$.
   • 이를 통해 고차원 특징 공간(예: $p_T, \eta, E^{miss}_T, N_{jets}, m_T$)에 의존하는 연속 함수를 얻습니다.

모델 아키텍처 및 훈련

• 아키텍처: 저자들은 두 개의 층으로 구성된 128개 뉴런을 가진 4개의 잔차 블록을 포함하는 **프리-액티베이션 ResNet(pre-activation ResNet)**을 활용합니다. 이 아키텍처는 기울기 소실 문제를 완화하고 표준 피드포워드 네트워크에 비해 더 깊은 네트워크의 안정적인 훈련을 가능하게 합니다.
• 입력 처리: 수치형 특징은 표준화되며, 범주형 특징은 레이블 인코딩 및 임베딩됩니다. 임베딩 레이어는 특징을 고차원 공간으로 매핑한 후 평균 풀링(mean pooling)을 수행합니다.
• 손실 함수: 훈련에는 밀도의 폭발을 방지하기 위한 제곱 정규화 항이 포함된 이진 교차 엔트로피를 사용합니다. 차감 분류기의 경우 소프트 절대 활성화를 사용하여, 비율 분류기의 경우 선형 활성화를 사용하여 양수 출력을 보장합니다.
• 훈련: 모델은 검증 손실(validation loss)에 기반한 조기 종료(early stopping)를 사용하여 AdamW 옵티마이저로 훈련됩니다.

주요 기여

1. 연속적, 빈 없는 추정: 이 방법은 이벤트당 가짜 인자를 제공하여, 기존의 히스토그램 기반 방법에서 나타나는 빈 생성 아티팩트와 불연속성을 제거합니다.
2. 고차원 유연성: 신경망을 활용함으로써, 이 방법은 여러 상관관계가 있는 운동학적 변수를 동시에 포함할 수 있으며, 이는 통계적 제약으로 인해 전통적인 빈 기반 방법이 수행할 수 없는 복잡한 의존성을 포착합니다.
3. 개선된 외삽: 추정기의 연속적인 특성은 제어 영역에서 신호 영역으로의 더 매끄럽고 안정적인 외삽을 가능하게 합니다.
4. 검증 프레임워크: 저자들은 ATLAS Open Data를 사용하여 두 단계의 검증 절차(차감 및 비율)를 통해 실제 경입자 오염을 올바르게 처리함을 입증함으로써 견고한 검증 프레임워크를 보여줍니다.

결과
이 방법은 ATLAS Run 2 데이터의 $W \to e\nu$ 이벤트 분석을 통해 검증되었습니다.

• 제어 영역 (CR): ML 기반 방법은 CR에서 전통적인 빈 기반 방법과 좋은 일치를 보였습니다. 빈 기반 방법은 통계량이 높은 저-$p_T$ 영역에서 약간 더 나은 성능을 보였으나, ML 방법은 빈 기반 분석에서 통계적 제약으로 인해 포함하기 어려운 변수인 $E^{miss}_T$ 및 $m_T$와 같은 변수에서 우수한 모델링 능력을 입증했습니다.
• 신호 영역 (SR): SR($m_T > 60$ GeV)으로 외삽할 때, ML 기반 방법은 빈 기반 방법과 비교하여 형태(shape)와 정규화(normalization) 모두에서 유의미하게 더 나은 예측을 제공했습니다. 빈 기반 방법은 거친 빈 생성과 제한된 변수 포함으로 인해 특히 $E^{miss}_T$ 및 $m_T$ 분포에서 더 큰 불일치와 체계적인 모델링 오류를 보였습니다.
• 안정성: ML 접근 방식은 특히 이벤트 수가 적거나 상관관계가 복잡한 영역에서 통계적 변동이 줄어든 더 매끄러운 분포를 생성했습니다.

의의 및 주장
본 논문은 ML 기반 가짜 인자 방법이 고에너지 물리학의 데이터 기반 배경사건 추정에 있어 중요한 진전임을 주장합니다. 이 방법은 이산적인 저차원 빈 생성에서 연속적인 고차원 밀도 비율 추정으로 전환함으로써 다음을 달성합니다:

• 빈 생성 선택 편향 및 외삽 불확실성과 같은 일반적인 한계를 완화합니다.
• 변수 간의 복잡한 상관관계를 모델링하는 능력을 강화합니다.
• 더 정확한 배경사건 추정을 제공함으로써 희귀 신호 탐색의 민감도를 개선하며, 이를 통해 잘못된 모델링으로 인한 허위 신호(spurious signals)의 위험을 줄입니다.

저자들은 이 방법이 단순한 $W$ 보존자 분석에서 입증되었지만, 그 프레임워크가 다중 경입자 최종 상태 및 다른 오식별된 객체에도 본질적으로 적용 가능하다는 점을 강조합니다. 또한 향후 연구는 계통 오차 추정의 통합과 새로운 물리학을 찾는 더 복적인 LHC 분석에 이 방법을 적용하는 데 집중할 것이라고 밝혔습니다. 구현을 위한 코드는 공개적으로 제공됩니다.