Domain Adaptation against Background Sculpting in Anomaly Detection at the LHC

기술 요약: LHC의 이상 탐지에서 배경 생성(Background Sculpting)에 대한 도메인 적응

문제 정의
LHC(대형 강입자 충돌기)의 BSM(표준 모형 너머) 물리학 공명 탐색에서, 약하게 지도된 이상 탐지(weakly supervised anomaly detection, AD)는 강력하고 모델 불가지론적인 도구로 부상했습니다. 이러한 방법들은 일반적으로 잠재적 신호 이벤트를 배경 이벤트와 구별하기 위해 "이상 점수(anomaly score)"를 구축합니다. 그러나 이상 점수가 공명 질량($m_{JJ}$)과 상관관계를 가질 때 결정적인 문제가 발생합니다. 이 상관관계는 "배경 생성(background sculpting)"을 유도합니다. 즉, 이상 점수를 기준으로 이벤트를 선택할 때, 공명 질량 스펙트럼에서의 배경 분포가 인위적인 구조(범프 또는 딥)를 갖게 되어 실제 공명 신호를 모사하거나 가릴 수 있습니다. 이는 매끄러운 사이드밴드 분포를 피팅하여 신호 영역의 배경을 예측하는 표준 배경 추정 기법을 복잡하게 만듭니다. 분위수 회귀(quantile regression)나 특징 상관관계 제한과 같은 기존 해결책들이 제안되었으나, 탐지 민감도를 희생하지 않으면서 이상 점수를 공명 질량으로부터 탈상관화(decorrelate)할 수 있는 견고한 방법이 우선 과제로 남아 있습니다.

방법론
저자들은 배경 생성을 완화하기 위한 새로운 해결책으로 도메인 적응 역전파(Domain Adaptation by Backpropagation, DAB) [14]를 제안합니다. 핵심 아이디어는 이상 탐지 모델을 훈련시켜, 학습된 특징 표현(feature representation)이 주요 작업(이상 식별)에는 변별력이 있으면서도 "도메인"(여기서는 공명 질량)에는 불변하도록 만드는 것입니다.

• 아키텍처: 표준 다층 퍼셉트론(MLP) 분류기는 "특징 추출기"($G_f$)와 "이상 탐지기"($G_y$)로 나뉩니다. 별도의 "도메인 네트워크"($G_d$)가 **그래디언트 역전 레이어(gradient reversal layer)**를 통해 특징 추출기에 부착됩니다.
• 손실 함수: 총 손실은 $L = L_y + \lambda \cdot L_d$입니다. 여기서 $L_y$는 이상 탐지 손실이고, $L_d$는 도메인 손실입니다. 그래디언트 역전 레이어는 $G_d$가 $L_d$를 최소화하도록(도메인을 구별하는 법을 학습) 하는 동안, 특징 추출기 $G_f$가 $L_d$를 최대화하도록(특징이 도메인 정보를 보유하는 것을 방지) 업데이트되도록 보장합니다.
• 도메인 작업: 사이드밴드 데이터(신호 영역 외부 영역)를 사용하여 두 가지 특정 도메인 작업을 테스트합니다:
  1. 분류(Classification): 왼쪽 사이드밴드와 오른쪽 사이드밴드 사이의 이벤트를 구별합니다. 두 영역 모두 순수 배경이므로, 유일한 구별 요소는 질량입니다. 이 분류를 방지함으로써 질량으로부터의 탈상관화를 강제합니다.
  2. 회귀(Regression): 특징으로부터 공명 질량을 직접 예측합니다. 이 예측 능력을 저하시킴으로써 표현 내의 질량 정보를 감소시킵니다.
• 이상 탐지 방법: DAB 접근 방식은 네 가지 약하게 지도된 AD 방법론에 적용됩니다:
  1. IAD (Idealized Anomaly Detector): 순수 신호 영역 배경 이벤트들로 구성된 이상적인 배경 템플릿을 사용합니다.
  2. CATHODE: 사이드밴드에서 훈련된 조건부 밀도 추정기를 사용하여 배경 템플릿을 생성합니다.
  3. CWoLa Hunting: 명시적인 배경 모델 없이 신호 영역 이벤트를 사이드밴드 이벤트와 분류합니다.
  4. LaCATHODE: 탈상관화된 잠재 공간에서 분류를 수행하여 배경 생성을 완화하도록 설계된 이전 방법입니다.

실험 설정
본 연구는 QCD 다젯(dijet) 배경 이벤트와 공명 $W'$ 신호 이벤트($m_{W'} = 3.5$ TeV)로 구성된 LHC Olympics 2020 R&D 데이터셋을 활용합니다. 두 가지 특징 세트가 평가됩니다:

• Baseline: $m_{JJ}$와 약한 상관관계를 가진 특징들(제트 질량, 질량 차이, subjettiness).
• Baseline+$\Delta R$: 제트 사이의 각거리($\Delta R$)를 포함하며, 이는 $m_{JJ}$와 강한 상관관계를 도입하여 방법론들을 엄격하게 테스트합니다.

성능은 다음을 통해 평가됩니다:

• 생성 심각도(Sculpting Severity): 선택 전후의 정규화된 질량 분포를 비교하는 빈(binned) $\chi^2$/dof 메트릭으로 측정됩니다. 값이 1에 가까울수록 생성 현상이 없음을 의미합니다.
• 이상 탐지 성능: 유의성 개선 특성(Significance Improvement Characteristic, SIC)인 $\epsilon_S / \sqrt{\epsilon_B}$로 측정됩니다.

주요 결과

1. 생성 완화: 도메인 적응은 테스트된 모든 방법에서 배경 생성을 실질적으로 감소시킵니다. IAD와 CATHODE 방법의 경우, 분류 도메인 작업은 두 특징 세트 모두에 대해 $\chi^2$/dof를 1에 가까운 값으로 낮추어, 이상 탐지 성능(SIC)을 유지하면서도 인위적인 구조를 효과적으로 제거합니다.
2. CWoLa에서의 민감도 회복: 강하게 상관된 Baseline+$\Delta R$ 특징을 사용하는 CWoLa Hunting의 경우, 표준 방법은 분류기가 질량을 바탕으로 신호 영역과 사이드밴드를 구별하게 되어 완전히 실패합니다(심각한 생성 및 거의 제로에 가까운 민감도). 도메인 적응, 특히 회귀 작업은 이상 탐지 민감도를 성공적으로 회복시키고 생성을 크게 줄임으로써, 근본적인 가정이 위반된 상황에서도 성능을 복구할 수 있음을 입증합니다.
3. LaCATHODE와의 비교: LaCATHODE는 배경 생성을 효과적으로 줄이지만, 종종 원래의 CATHODE 설정에 비해 이상 탐지 민감도가 약간 감소하는 결과를 초래합니다. 제안된 DAB 접근 방식은 원래의 방법들과 유사한 민감도를 더 가깝게 유지하면서도 대등한 수준의 탈상관화를 달이트합니다.
4. 작업 비교: 분류 도메인 작업은 일반적으로 IAD 및 CATHODE에 대해 생성 감소와 신호 민감도 사이의 최적의 절충안을 제공합니다. 회귀 작업은 도전적인 CWoLa Baseline+$\Delta R$ 시나리오에서 민감도를 회복하는 데 더 효과적이지만, 다른 방법론에서는 때때로 약간의 민감도 손실을 초래합니다.

의의 및 주장
본 논문은 도메인 적응이 LaCATHODE와 같은 기존 방법들과 비교하여 유연하고 상보적인 전략을 제공한다고 주장합니다. 특정 잠재 공간 구축을 요구하는 LaCATHODE와 달리, DAB는 학습된 특징 표현에 직접 작용하며 특정 배경 템플릿 생성 방식에 얽매이지 않습니다. 이러한 유연성은 DAB가 다양한 배경 템플릿 접근 방식(예: TRANSIT, RADOT) 및 기타 신경망 아키텍처와 결합될 수 있음을 시사합니다.

저자들은 실질적인 한계점도 언급합니다: 이 방법은 하이퍼파라미터 $\lambda$(손실 가중치) 튜닝을 필요로 하며, 이는 현재 모델 불가지론적 분석에 있어 도전 과제인 신호 모델에 의존하고 있습니다. 또한 미분 가능한 모델(신경망)로 제한되어 부스트 결정 트리(BDT)는 제외됩니다. 본 연구는 단일 신호 벤치마크를 사용하며 생성 측정을 위해 전체 사이드밴드 피팅 대신 $\chi^2$ 메트릭을 사용하지만, 결과는 DAB가 이상 탐지 성능을 크게 보존하면서도 배경 생성을 실질적으로 줄일 수 있음을 보여주며, 이는 공명 탐색에서 사용할 수 있는 특징의 범위를 넓힐 수 있음을 시사합니다.