Propagating data noise through the fit: the Monte Carlo replica distribution

技術要約：フィッティングを通じたデータのノイズ伝播：モンテカルロ・レプリカ分布

問題提起
モンテカルロ（MC）レプリカ法は、パートン分布関数（PDF）や標準模型有効場理論（SMEFT）のウィルソン係数のグローバルフィットにおけるパラメータの不確実性を定量化するための、高エネルギー物理学における標準的な手法である。この手法は、実験データに多数のノイズ摂動を加えたコピー（擬似データ）を生成し、それぞれに対して独立したフィッティングを行うものである。得られた最良適合パラメータの経験的分布が、不確実性の推定値として用いられる。

この手法が、理論モデルがパラメータに対して線形である場合には、ベイズ事後分布を正確に再現することは確立されているが、非線形の場合には偏差が生じることが知られている。しかし、この偏差の性質や大きさは、閉形式（closed form）ではまだ特性化されていない。このような特性化がなければ、実務者は、生のMCレプリカ分布がベイズ事後分布の忠実な近似であるのか、あるいは厳密な事後分布を回復するために計算コストの高い補正サンプリング（例：メトロポリス・ヘイスティングス法）が必要であるのかを容易に判断することができない。

手法
本論文では、最大尤度推定量（MLE）を単なる最適化の結果としてではなく、データ空間からパラメータ空間への決定論的な写像 $\hat{\theta}(d)$ として扱う。MCレプリカ分布は、観測データ $D_0$ に対するガウス型ノイズ $\eta$ の押し出し（pushforward）、すなわち写像 $\eta \mapsto \hat{\theta}(D_0 + \eta)$ として特定される。

この分布を解析的に導出するために、著者らは観測データ $D_0$ の周りでの MLE 写像 $\hat{\theta}(\cdot)$ の一次テイラー展開を行う。これにより、押し出しは線形ガウス写像へと還元され、その共分散は $D_0$ における MLE 写像のヤコビアン $\partial \hat{\theta} / \partial d$ によって決定される。

このヤコビアンの閉形式による導出における核心的な技術革新は、損失関数の勾配が消失するという一次の最適条件を用いた、陰的微分（implicit differentiation）である。損失を $L(\theta; d) = \frac{1}{2}\|d - T(\theta)\|^2$、その勾近を $F(\theta, d) = J(\theta)^\top(T(\theta) - d) = 0$ と定義することで、著者らは恒等式 $F(\hat{\theta}(d), d) \equiv 0$ を $d$ に関して微分する。これにより、以下のヤコビアンが得られる：
$$\frac{\partial \hat{\theta}}{\partial d}(D_0) = A_\star^{-1} J_\star^\top$$
ここで、$J_\star$ は最良適合点における理論のヤコビアンであり、$A_\star$ は最良適合点における損失のヘッセ行列である。極めて重要なことに、$A_\star$ はガウス・ニュートン行列 ($J_\star^\top J_\star$) と、残差によって重み付けされた理論写像の二次微分を含む「残差重み付きヘッセ行列」の項へと分解される。

主な貢献と結果

1. 閉形式の一次近似分布： 本論文は、一次近似のMCレプリカ共分散行列の閉形式の表現を導出している：
   $$\Sigma_{\text{MC}} = \sigma^2 A_\star^{-1} J_\star^\top J_\star A_\star^{-1}$$
   （等方的なノイズ $C = \sigma^2 I$ を仮定）。

2. ベイズ事後分布との比較： 著者らは、このMC共分散を、共分散 $\Sigma_{\text{Bayes}} = \sigma^2 A_\star^{-1}$ を持つガウス分布であるベイズ事後分布のラプラス近似と比較している。

3. 偏差行列： 両分布の差は、単一の計算可能な行列によって示される：
   $$\Sigma_{\text{MC}} - \Sigma_{\text{Bayes}} = -\sigma^2 A_\star^{-1} \left( \sum_a r_a H_{a,\cdot\cdot}(\hat{\theta}_\star) \right) A_\star^{-1}$$
   ここで、$r_a$ は残差であり、$H_{a,\cdot\cdot}$ は理論ヘッセ行列の成分である。この項、すなわち残差重み付きヘッセ行列こそが、一次近似におけるMC法とベイズ推論との間の偏差の唯一の源である。

4. 一致および不一致の領域：

   • 線形理論： ヘッセ行列の項が消失し、MC分布はベイズ事後分布と完全に一致する。
   • 非線形理論、良好な適合： 残差が小さい場合、偏差は無視でき、MC法は忠実な近似となる。
   • 非線形理論、不良な適合： 残差が顕著であり、かつ理論に曲率がある場合、MC法は残差重み付きヘッセ行列の符号に応じて、不確実性を過大または過小に評価する可能性がある。

5. トイ・エグザンプル： 論文は、2つの単一パラメータの例を用いて導出を検証している：

   • 二次理論： 「到達不能」な領域（データが理論の範囲外にある場合）において、ヤコビアンが消失するため、MC分布がデルタ関数（ゼロ分散）に収束する一方で、ベイズ事後分布は非退化なガウス分布として残ることを示している。
   • 円形理論： データが円の内側にあるときは過剰にカバー（over-cover）し、外側にあるときは過小にカバー（under-cover）する様子を示しており、これは過去の数値的な知見とも一致している。

意義と主張
本論文は、MCレプリカ法の非線形なベイズ推論からの逸脱を、明示的かつ計算可能にすることを主張している。主要な意義は、残差重み付きヘッセ行列を診断ツールとして導出したことにある。

著者らは、この行列を評価することは、補正サンプリングスキームを実行することと比較して計算コストが低いと主張している。したがって、この表現を用いることで、実務者は、生のMCレプリカ分布が要求される精度に対して十分であるのか、あるいはその偏差が大きすぎて、より厳密なベイズサンプリングが必要であるのかを、事前（a priori）に判断することができる。本論文は、これを、複雑なフィッティング（PDFやSMEFTなど）におけるMC法の信頼性を、必ずしもそれらを置き換えるのではなく、その妥当性のための指標を提供することによって理解するためのステップとして位置づけている。著者らは、PDFやSMEFTのフルスケールの適用においてこの行列を評価することは「自然な次のステップ」であると明記しているが、本研究においてそのような大規模な適用は提示していない。