Propagating data noise through the fit: the Monte Carlo replica distribution

기술 요약: 적합 과정에서의 데이터 노이즈 전파: 몬테카를로 복제 분포 (The Monte Carlo Replica Distribution)

문제 정의
몬테카를로(MC) 복제법은 입자 물리 분야에서 파톤 분포 함수(PDF) 및 표준 모형 유효장 이론(SMEFT)의 윌슨 계수(Wilson coefficients)에 대한 파라미터 불확실성을 정량화하기 위해 사용하는 표준 절차이다. 이 방법은 실험 데이터의 노이즈가 가해진 수많은 복사본(의사 데이터, pseudodata)을 생성하고, 각 데이터에 대해 독립적인 적합(fit)을 수행하는 과정을 포함한다. 이렇게 생성된 최적 적합 파라미터들의 경험적 분포는 불확실성 추정치로 사용된다.

이 방법이 이론 모델이 파라미터에 대해 선형일 때는 베이지안 사후 분포(Bayesian posterior)를 정확하게 재현한다는 것은 잘 알려져 있으나, 비선형(nonlinear)인 경우에는 편차가 발생한다는 점 또한 잘 알려져 있다. 그러나 이러한 편차의 성격과 크기가 닫힌 형식(closed form)으로 규명된 적은 없다. 이러한 규명이 없으면, 실무자들은 가공되지 않은(bare) MC 복제 분포가 베이지안 사후 분포에 대한 충실한 근사인지, 아니면 정확한 사후 분포를 회복하기 위해 계산 비용이 많이 드는 교정 샘플링(예: 메트로폴리스-헤이스팅스)이 필요한지를 쉽게 판단할 수 없다.

방법론
본 논문은 최대 우도 추정량(MLE)을 단순한 최적화 결과가 아니라, 데이터 공간에서 파라미터 공간으로 가는 결정론적 사상(deterministic map) $\hat{\theta}(d)$로 취급한다. MC 복제 분포는 관측 데이터 $D_0$에 노이즈 $\eta$를 더한 값으로부터의 푸시포워드(pushforward)인 $\eta \mapsto \hat{\theta}(D_0 + \eta)$로 식별된다.

분포를 해석적으로 도출하기 위해, 저자들은 관측 데이터 $D_0$ 주변에서 MLE 사상 $\hat{\theta}(\cdot)$에 대한 1차 테일러 전개를 수행한다. 이는 푸시포워드를 선형-가우시안 사상으로 축소시키며, 이 사상의 공분산은 $D_0$에서 평가된 MLE 사상의 야코비안(Jacobian) $\partial \hat{\theta} / \partial d$에 의해 결정된다.

이 논문의 핵심적인 기술적 혁신은 음함수 미분(implicit differentiation)을 사용하여 이 야코비안을 닫힌 형식으로 도출하는 것이다. 손실 함수(loss function)의 기울기가 0이 된다는 1차 최적 조건(first-order optimality condition)을 이용한다. 손실을 $L(\theta; d) = \frac{1}{2}\|d - T(\theta)\|^2$이고 그 기울기를 $F(\theta, d) = J(\theta)^\top(T(\theta) - d) = 0$이라 정의할 때, $F(\hat{\theta}(d), d) \equiv 0$이라는 항을 $d$에 대해 미분한다. 이를 통해 다음의 야코비안을 얻는다:
$$\frac{\partial \hat{\theta}}{\partial d}(D_0) = A_\star^{-1} J_\star^\top$$
여기서 $J_\star$는 최적 적합에서의 이론 야코비안이며, $A_\star$는 최적 적합에서의 손실 함수의 헤시안(Hessian)이다. 결정적으로, $A_\star$는 가우스-뉴턴 행렬($J_\star^\top J_\star$)과 잔차(residual)에 의해 가중치가 부여된 이론 맵의 2차 미분을 포함하는 "잔차 가중 헤시안(residual-weighted Hessian)" 항으로 분해된다.

주요 기여 및 결과

1. 폐쇄형 고차(Leading-order) 분포: 본 논문은 다음과 같은 닫힌 형식의 1차 MC 복제 공분산 행렬을 도출한다:
   $$\Sigma_{\text{MC}} = \sigma^2 A_\star^{-1} J_\star^\top J_\star A_\star^{-1}$$
   (등방성 노이즈 $C = \sigma^2 I$를 가정할 때).

2. 베이지안 사후 분포와의 비교: 저자들은 이 MC 공분산을 라플라스 근사(Laplace approximation)를 통한 베이지안 사후 분포의 공분산 $\Sigma_{\text{Bayes}} = \sigma^2 A_\star^{-1}$와 비교한다.

3. 편차 행렬(Discrepancy Matrix): 두 분포 사이의 차이는 하나의 계산 가능한 행렬로 나타남을 보여준다:
   $$\Sigma_{\text{MC}} - \Sigma_{\text{Bayes}} = -\sigma^2 A_\star^{-1} \left( \sum_a r_a H_{a,\cdot\cdot}(\hat{\theta}_\star) \right) A_\star^{-1}$$
   여기서 $r_a$는 잔차이고 $H_{a,\cdot\cdot}$는 이론 헤시안의 성분들이다. 이 항, 즉 잔차 가중 헤시안이 1차 항에서 MC 방법과 베이지안 추론 사이의 편차를 일으키는 유일한 원인이다.

4. 일치 및 불일치 영역:

   • 선형 이론: 헤시안 항이 사라지며, MC 분포는 베이지안 사후 분포와 정확히 일치한다.
   • 비선형 이론, 양호한 적합(Good Fit): 잔차가 작으면 편차는 무시할 수 있는 수준이며, MC 방법은 충실한 근사가 된다.
   • 비선형 이론, 불량한 적합(Poor Fit): 잔차가 유의미하고 이론에 곡률이 존재하는 경우, MC 방법은 잔차 가중 헤시안의 부호에 따라 불확실성을 과대 혹은 과소 추정할 수 있다.

5. 토이 예제(Toy Examples): 논문은 두 가지 단일 파라미터 예제를 통해 유도 과정을 검증한다:

   • 이차 이론(Quadratic Theory): "도달 불가능한(unreachable)" 영역(데이터가 이론의 범위를 벗어난 경우)에서 야코비안이 0이 되어 MC 분포가 델타 함수(제로 분산)로 붕괴되는 반면, 베이지안 사후 분포는 비퇴화된 가우시안을 유지함을 보여준다.
   • 원형 이론(Circular Theory): 데이터가 원 내부에 있을 때는 과잉 커버(over-cover)하고, 외부에 있을 때는 과소 커버(under-cover)하는 양상을 보여주며, 이는 기존의 수치적 결과와 일치한다.

의의 및 주장
본 논문은 MC 복제법의 비선형적 이탈을 명시적이고 계산 가능하게 만드는 "보완적 유도"를 제공한다고 주장한다. 주요 의의는 잔차 가중 헤시안을 진단 도구로 도출했다는 점에 있다.

저자들은 이 행렬을 평가하는 것이 교정 샘플링 기법을 실행하는 것보다 계산 비용이 매우 적다고 주장한다. 따라서 이 식을 통해 실무자는 가공되지 않은 MC 복제 분포가 요구되는 정확도에 충분한지, 아니면 편차가 커서 더 엄격한 베이지안 샘플링이 필요한지를 사전에(a priori) 판단할 수 있다. 본 논문은 이를 복잡한 적합(PDF 및 SMEFT 등)에서 MC 방법의 신뢰성을 이해하기 위한 단계로 제시하며, 이를 대체하는 것이 아니라 그 타당성을 측정하는 지표를 제공하는 것으로 규정한다. 저자들은 이 행렬을 전체 PDF 및 SMEFT 적합에 적용하여 평가하는 것이 "자연스러운 다음 단계"라고 명시했으나, 본 연구에서 이를 전면적으로 적용하여 보여주지는 않았다.