Physically Consistent Parameter Inference: Transparent Machine Learning Emulation in High Energy Physics and Cosmology

기술 요약: 투명한 머신러닝을 통한 물리적 일관성을 갖춘 파라미터 추론

문제 정의
고에너지 물리학(HEP) 및 우주론의 전역 적합(Global fits)은 수백 개의 상관관계가 있는 측정값들에 의해 제약되는 고차원 파라미터 공간을 탐색하는 데 빈번히 어려움을 겪는다. 이러한 영역의 가능도 함수(Likelihood functions)는 강한 파라미터 상관관계, 비가우시안(non-Gaussian) 거동, 다수의 국소 최솟값, 그리고 길게 늘어진 "곡선형" 퇴화(degeneracies)를 포함한 복잡한 토폴로지를 나타내는 경우가 많다. 더욱이, 이러한 가능도를 계산하기 위해 필요한 이론적 예측을 평가하는 것은 재규격화 군 진화(renormalization-group evolutions), 수치적 거리 적분, 또는 수백 개의 관측량 계산 등을 포함하여 계산 비용이 매우 높다. MCMC(Markov Chain Monte Carlo)나 중첩 샘플링(nested sampling)과 같은 전통적인 통계적 접근 방식은 반복적인 가능도 평가에 의존하므로, 철저한 파라미터 스캔은 비실용적이거나 지나치게 느려질 수 있다. 따라서 통계적 엄밀성이나 물리적 해석 가능성을 희생하지 않으면서도 이러한 복잡한 가능도 지형을 모사할 수 있는 빠르고 해석 가능한 대리 모델(surrogate models)에 대한 절실한 필요성이 존재한다.

방법론
저자들은 XGBoost(eXtreme Gradient Boosting, 그래디언트 부스팅 트리 앙상블)를 사용하여 로그 가능도(또는 $\chi^2$)를 모사하도록 설계된 통합 머신러닝(ML) 프레임워크를 제안한다. 이 프레임링은 세 가지 핵심 구성 요소로 통합된다:

1. 대리 모델 구축 (Surrogate Construction):

   • 훈련 데이터 생성: 훈련 데이터셋은 하이브리드 전략을 사용하여 구축된다. 전체 사전 분포 부피에 대한 공간 채우기 설계(Latin Hypercube Sampling 또는 Sobol 시퀀스 사용)와 적합의 헤시안(Hessian)으로부터 유도된 최적 적합 영역 주변의 조밀한 가우시안 클라우드를 결합한다. 이는 광범위한 파라미터 공간과 좁고 이방성인 퇴화 영역 모두를 포괄하기 위함이다.
   • 능동 학습 (Active Learning): 가능도가 희소하거나 급격한 구조를 보이는 영역을 위해 능동 학습 루프가 데이터셋을 정교화한다. 가우시안 프로세스(GP) 대리 모델이 불확실성을 예측하고, 획득 함수(Expected Improvement)가 새로운 지점을 선택하여 정확한 평가를 수행함으로써, 모사된 가능도를 가장 효과적으로 개선하는 곳에 샘플링을 점진적으로 집중시킨다.
   • 타겟 변환 (Target Transformation): $\chi^2$ 값의 방대한 동적 범위(약 $10^3$에서 $10^6$까지)를 처리하고 최솟값 근처의 좁은 신뢰 영역을 확실히 해결하기 위해, 저자들은 특정 타겟 변환을 사용한다. 여기에는 플레이버 적합(flavor fits)을 위한 직접적인 로그 가능도, 액시온 유사 입자(ALPs)를 위한 시그모이드 변환을 이용한 2단계 분류기-및-회귀 전략, 그리고 우주론을 위한 shifted-log10 변환 ($y = \log_{10}(\chi^2 - \chi^2_{\min} + 1)$)이 포함된다. 이 이동(shift)은 절대적인 $\chi^2$ 값에 관계없이 최솟값을 일관된 급경사 영역으로 매핑한다.

2. SHAP을 통한 해석 가능성:

   • ML 예측이 물리적으로 일관되도록 보장하기 위해, 프레임워크는 SHAP(Shapley Additive exPlanations) 값을 활용한다. 협력 게임 이론에 기반한 SHAP은 각 특징(모델 파라미터)이 예측에 기여하는 한계 기여도를 정량화한다.
   • 트리 앙상블에 대해 다항 시간 내에 정확한 SHAP 값을 계산하기 위해 TreeSHAP 알고리즘이 사용된다. 이는 모델 독립적인 파라미터 중요도 순위를 제공하고 비선형 의존성을 드러내어, 대리 모델이 수치적 노이즈가 아닌 기저의 물리를 포착하고 있음을 보장한다.

3. 사후 분포 탐색 (Posterior Exploration):

   • 모사된 $\chi^2$는 병렬 Random-Walk Metropolis–Hastler 알고리즘을 사용하여 샘플링된다. 제안 공분산(proposal covariance)은 상관관계가 있는 공간에서의 혼합(mixing)을 개선하기 위해 적합 공분산의 촐레스키 인자(Cholesky factor)로 설정된다.
   • 폐쇄 테스트 (Closure Tests): 프레임워크는 수락된 지점들에 대한 $\Delta\chi^2$ 분포를 기대되는 $\chi^2$ 분포(Wilks의 정리)와 비교하여 대리 모델을 검증하며, 우주론 사례의 경우, 여러 독립적인 백엔드(Astropy, CPU, GPU)를 통해 얻은 정확한 가능도와 모사된 사후 분포를 직접 비교한다.

주요 응용 및 결과
프레임워크는 차원과 복잡성이 증가하는 세 가지 서로 다른 전역 적합 응용 분야를 통해 검증되었다:

1. 준경성 B 메존 붕괴의 플레이버 이상 (SMEFT19):

   • 맥락: SMEFT19 프레임워크(Scenario III)를 사용하여 $b \to c\tau\nu$, $b \to s\nu\bar{\nu}$, 그리고 $b \to s\ell^+\ell^-$ 전이를 분석한다.
   • 성능: XGBoost 대리 모델은 정확한 가능도와 $r=0.99$의 피어슨 상관 계수를 달성했다.
   • 속도 향상: 평가 속도가 약 $10^5$배 증가했다 (지점당 약 3초에서 약 34마이크로초로).
   • 물리적 통찰: 대리 모델은 $C_1 = C_3$ 퇴화를 깨뜨리는 현상과 $(C_1, \beta_q)$ 평면에서의 곡선형 능선(ridge)을 성공적으로 재현했다. SHAP 분석은 파라미터 순위($C_3 > C_1 > \beta_q$)를 물리적 연산자 구조와 일치하게 올바르게 매겼다. 결정적으로, 이전 시나리오에서 발견된 $R_D$와 $BR(B^+ \to K^+\nu\bar{\nu})$ 사이의 강한 상관관계는 $C_1$과 $C_3$가 독립적으로 변할 때 사라짐을 밝혀냈다.

2. 액시온 유사 입자 (ALPs) 및 Belle II 이상:

   • 맥락: 가벼운 ALP($m_a \approx 2$ GeV)를 통해 $B^+ \to K^+\nu\bar{\nu}$의 $2.8\sigma$ 과잉을 설명한다. 이 가능도는 운동학적 임계값과 수명 의존적 붕괴 확률로 인해 비가우시안이며 불연속적이다.
   • 전략: 관련 저-$\chi^2$ 영역을 격리하기 위한 분류기(시그모이드 변환)와 회귀 모델을 사용하는 2단계 접근법을 사용했다.
   • 성능: 분류기는 0.974의 AUC를 달축성했으며, 회귀 모델은 $r=0.929$에 도달했다.
   • 속도 향상: 평가 속도가 약 $5.3 \times 10^5$배 증가했다 (약 1.9초에서 약 3.5마이크로초로).
   • 물리적 통찰: SHAP은 ALP 질량($m_a$)을 가장 중요한 파라미터로, 그 다음으로 3세대 좌방향 쿼크의 PQ 전하($X^3_{qL}$)와 붕괴 상수($f_a$)를 식별했다. 사후 분포는 $m_a \approx 1.8$ GeV 및 $f_a \in [10^6, 10^7]$ GeV를 올바르게 선호했다.

3. 우주론 ($\Lambda$CDM 및 $w_0w_a$CDM):

   • 맥렉: 암흑 에너지 파라미터($w_0, w_a$)를 제약하기 위해 Type Ia 초신성(Pantheon+, DES), 중입자 음향 진동(DESI), 그리고 압축된 CMB 사전 분포를 피팅한다.
   • 검증: 이 사례는 정확한 우주론적 가능도가 충분히 가볍기 때문에 직접 샘플링이 가능하다. 저자들은 네 가지 서로 다른 백엔드(Astropy, CPU, GPU, ML 대리 모델)를 사용하여 정확한 가능도에 대해 MCMC를 실행하였으며, 사후 분포가 통계적으로 구별 불가능함을 확인했다.
   • 속도 향상: 대리 모델은 벡터화된 CPU 구현보다 3.622.4배 빠르며, GPU 커널보다 7.212.1배 빨랐다.
   • 물리적 통찰: 대리 모델은 초신성+BAO 데이터에서 동적 암흑 에너지($w_0 > -1, w_a < 0$)에 대한 선호를 포착하였고, CMB 사전 분포가 추가될 때 $\Lambda$CDM으로 회귀하는 것을 포착했다. SHAP 분석은 CMB 없이 배경 파라미터($H_0, \Omega_m$)가 지배적이었던 반면, CMB와 함께라면 암흑 에너지 파라미터($w_0, w_a$)가 가장 강력하게 제약됨을 정확히 식별하였으며, 이는 물리적으로 컨투어가 조여지는 현상을 반영한다.

의의 및 주장
본 논문은 일반적이고, 해석 가능하며, 물리적으로 일치하는 가능도 기반 추론 프레임워크를 제시한다고 주장한다. 이 연구의 주요 의의는 다음과 같다:

• 효율성: ML 대리 모델은 높은 정확도를 유지하면서도 파라미터 공간 탐색 속도를 수 차례(최대 $10^5$배) 가속화할 수 있음을 보여준다.
• 강건성: 적응형 훈련 설계와 타겟 변환을 통해, 매끄러운 가우시안 형태의 표면부터 비가우시안, 불연속적, 고도로 구조화된 지형에 이르기까지 다양한 가능도 토폴로지를 처리할 수 있다.
• 투명성: SHAP 값을 통합함으로써, 프레임워크는 전형적인 ML의 "블랙박스" 특성을 피하고, 추론된 파라미터 계층 구조와 상관관계가 물리적으로 해석 가능하고 기초 이론과 일치하도록 보장한다.
• 검증: 우주론적 응용은 통제된 벤치마크 역할을 하며, 속도 향상이 통계적 정확도를 희생하지 않음을 증명한다. 즉, 모사된 사후 분포는 정확한 계산으로부터 도출된 것과 구별할 수 없다.

저자들은 이 프레임워크가 다른 전역 적합 문제로 쉽게 전이될 수 있으며, 자동화된 능동 학습 및 미분 가능한 에뮬레이터(differentiable emulators)의 향후 발전을 위한 토대를 제공한다고 결론짓는다.