Propagating data noise through the fit: the Monte Carlo replica distribution

Technische Samenvatting: Propagatie van Dataruis door de Fit: De Monte Carlo Replica-distributie

Probleemstelling
De Monte Carlo (MC) replica-methode is een standaardprocedure in de hogerectorische natuurkunde voor het kwantificeren van parametervariaties in globale fits van Parton Distribution Functions (PDF's) en Standard Model Effective Field Theory (SMEFT) Wilson-coëfficiënten. De methode behelst het genereren van vele met ruis verstoorde kopieën van experimentele data (pseudodata) en het uitvoeren van onafhankelijke fits op elke kopie. De resulterende empirische distributie van de best-fit parameters wordt gebruikt als de onzekerheidsschatting.

Hoewel het algemeen bekend is dat deze methode de Bayesiaanse posterieure distributie exact reproduceert wanneer het theoretische model lineair is in zijn parameters, staat bekend dat de methode afwijkt in het niet-lineaire geval. Echter, de aard en de omvang van deze afwijking zijn niet in een gesloten vorm gekarakteriseerd. Zonder een dergelijke karakterisering kunnen beoefenaars niet eenvoudig bepalen of de kale MC replica-distributie een getrouwe benadering is van de Bayesiaanse posterieure distributie, of dat computationeel kostbare correctieve sampling (bijv. Metropolis–Hastings) vereist is om de exacte posterieure distributie te herstellen.

Methodologie
Het artikel behandelt de Maximum Likelihood Estimator (MLE) niet louter als een optimalisatieresultaat, maar als een deterministische afbeelding $\hat{\theta}(d)$ van de dataruimte naar de parameterruimte. De MC replica-distributie wordt geïdentificeerd als de pushforward van de Gaussische ruis $\eta$ onder de afbeelding $\eta \mapsto \hat{\theta}(D_0 + \eta)$, waarbij $D_0$ de geobserveerde data is.

Om de distributie analytisch af te leiden, voert de auteur een eerste-orde Taylor-expansie uit van de MLE-afbeelding $\hat{\theta}(\cdot)$ rond de geobserveerde data $D_0$. Dit reduceert de pushforward tot een lineair-Gaussische afbeelding, waarvan de covariantie wordt bepaald door de Jacobiaan van de MLE-afbeelding, $\partial \hat{\theta} / \partial d$, geëvalueerd bij $D_0$.

De kern van de technische innovatie is de afleiding van deze Jacobiaan in gesloten vorm via impliciete differentiatie van de eerste-orde optimaliteitsvoorwaarde (het verdwijnen van de gradiënt van de loss-functie). Door de loss te definiëren als $L(\theta; d) = \frac{1}{2}\|d - T(\theta)\|^2$ en de gradiënt als $F(\theta, d) = J(\theta)^\top(T(\theta) - d) = 0$, differentieert de auteur de identiteit $F(\hat{\theta}(d), d) \equiv 0$ met betrekking tot $d$. Dit levert de Jacobiaan op:
$$\frac{\partial \hat{\theta}}{\partial d}(D_0) = A_\star^{-1} J_\star^\top$$
waarbij $J_\star$ de theorie-Jacobiaan is bij de best-fit, en $A_\star$ de Hessiaan van de loss-functie is bij de best-fit. Cruciaal is dat $A_\star$ wordt ontleed in de Gauss–Newton-matrix ($J_\star^\top J_\star$) en een "residuele-gewogen Hessiaan"-term die de tweede afgeleiden van de theorie-afbeelding bevat, gewogen door de residuen.

Belangrijkste Bijdragen en Resultaten

1. Gesloten Vorm Leading-Order Distributie: Het artikel leidt een gesloten vorm af voor de leading-order MC replica-covariantie-matrix:
   $$\Sigma_{\text{MC}} = \sigma^2 A_\star^{-1} J_\star^\top J_\star A_\star^{-1}$$
   (ervan uitgaande dat de ruis isotroop is, $C = \sigma^2 I$).

2. Vergelijking met Bayesiaanse Posterieure Distributie: De auteurs vergelijken deze MC-covariantie met de Laplace-benadering van de Bayesiaanse posterieure distributie, die Gaussisch is met covariantie $\Sigma_{\text{Bayes}} = \sigma^2 A_\star^{-1}$.

3. De Discrepantie-matrix: De afwijking tussen de twee distributies wordt aangetoond te een enkele berekenbare matrix te zijn:
   $$\Sigma_{\text{MC}} - \Sigma_{\text{Bayes}} = -\sigma^2 A_\star^{-1} \left( \sum_a r_a H_{a,\cdot\cdot}(\hat{\theta}_\star) \right) A_\star^{-1}$$
   waarbij $r_a$ de residuen zijn en $H_{a,\cdot\cdot}$ de componenten van de theorie-Hessiaan zijn. Deze term, de residuele-gewogen Hessiaan, is de enige bron van afwijking tussen de MC-methode en Bayesiaanse inferentie op leading-order.

4. Regimes van Overeenkomst en Afwijking:

   • Lineaire Theorie: De Hessiaan-term verdwijnt, en de MC-distributie komt exact overeen met de Bayesiaanse posterieure distributie.
   • Niet-lineaire Theorie, Goede Fit: Als de residuen klein zijn, is de discrepantie verwaarloosbaar en is de MC-methode een getrouwe benadering.
   • Niet-lineaire Theorie, Slechte Fit: Als de residuen significant zijn en de theorie kromming vertoont, kan de MC-methode de onzekerheden over- of onderschatten, afhankelijk van het teken van de residuele-gewogen Hessiaan.

5. Toy Voorbeelden: Het artikel valideert de afleiding met behulp van twee single-parameter voorbeelden:

   • Kwadratische Theorie: Demonstreert dat in het "onbereikbare" regime (waar de data buiten het bereik van de theorie ligt) de MC-distributie inklapt tot een delta-functie (nul variantie), terwijl de Bayesiaanse posterieure distributie een niet-gedegenereerde Gaussische distributie blijft omdat de Jacobiaan verdwijnt.
   • Circulaire Theorie: Illustreert hoe de MC-methode kan over-dekken (wanneer de data binnen de cirkel valt) of onder-dekken (wanneer de data buiten de cirkel valt) ten opzichte van de Bayesiaanse posterieure distributie, wat consistent is met eerdere numerieke bevindingen.

Betekenis en Claims
Het paper claimt een "complementaire afleiding" te bieden die de niet-lineaire afwijking van de MC replica-methode van Bayesiaanse inferentie expliciet en berekenbaar maakt. De primaire betekenis ligt in de afleiding van de residuele-gewogen Hessiaan als een diagnostisch instrument.

De auteurs stellen dat het evalueren van deze matrix computationeel goedkoop is vergeleken met het draaien van meer rigoureuze correctieve sampling-schema's. Bijgevolg stelt deze expressie de beoefenaar in staat om a priori te bepalen of de kale MC replica-distributie voldoende is voor de vereiste nauwkeurigheid, of dat de discrepantie groot genoeg is om een striktere Bayesiaanse sampling noodzakelijk te maken. Het artikel positioneert dit als een stap naar het begrijpen van de getrouwheid van MC-methoden in complexe fits (zoals PDF's en SMEFT) zonder deze noodzakelijkerwijs te vervangen, maar door er eerder een metriek voor de validiteit van te bieden. De auteurs verklaren expliciet dat het evalueren van deze matrix in volledige PDF- en SMEFT-fits een "natuurlijke volgende stap" is, maar presenteren in dit werk geen dergelijke grootschalige toepassing.