Propagating data noise through the fit: the Monte Carlo replica distribution

Resumen Técnico: Propagación del Ruido de Datos a través del Ajuste: La Distribución de Réplicas de Monte Carlo

Planteamiento del Problema
El método de réplicas de Monte Carlo (MC) es un procedimiento estándar en la física de altas energías para cuantificar las incertidumbres de los parámetros en los ajustes globales de Funciones de Distribución de Partones (PDF) y coeficientes de Wilson de la Teoría de Campo Efectivo del Modelo Estándar (SMEFT). El método consiste en generar muchas copias del dato experimental perturbadas por ruido (pseudodatos) y realizar ajustes independientes para cada una. La distribución empírica resultante de los mejores parámetros de ajuste se utiliza como la estimación de la incertidumbre.

Si bien está bien establecido que este método reproduce exactamente la distribución posterior bayesiana cuando el modelo teórico es lineal en sus parámetros, se sabe que presenta desviaciones en el caso no lineal. Sin embargo, la naturaleza y la magnitud de esta desviación no han sido caracterizadas de forma cerrada. Sin esta caracterización, los profesionales no pueden determinar fácilmente si la distribución de réplicas de MC pura es una aproximación fiel de la posterior bayesiana o si se requiere un muestreo correctivo computacionalmente costoso (por ejemplo, Metropolis–Hastings) para recuperar la posterior exacta.

Metodología
El artículo trata al Estimador de Máxima Verosimilitud (MLE) no meramente como un resultado de optimización, sino como un mapa determinista $\hat{\theta}(d)$ del espacio de datos al espacio de parámetros. La distribución de réplicas de MC se identifica como la imagen directa (pushforward) del ruido gaussiano $\eta$ bajo el mapa $\eta \mapsto \hat{\theta}(D_0 + \eta)$, donde $D_0$ son los datos observados.

Para derivar la distribución analíticamente, los autores realizan una expansión de Taylor de primer orden del mapa $\hat{\theta}(\cdot)$ alrededor de los datos observados $D_0$. Esto reduce la imagen directa a un mapa lineal-gaussiano, cuya covarianza está determinada por el Jacobiano del mapa $\hat{\theta}(\cdot)$, $\partial \hat{\theta} / \partial d$, evaluado en $D_0$.

La innovación técnica central es la derivación de este Jacobiano en forma cerrada mediante la diferenciación implícita de la condición de optimalidad de primer orden (el gradiente nulo de la función de pérdida). Al definir la pérdida $L(\theta; d) = \frac{1}{2}\|d - T(\theta)\|^2$ y su gradiente $F(\theta, d) = J(\theta)^\top(T(\theta) - d) = 0$, los autores diferencian la identidad $F(\hat{\theta}(d), d) \equiv 0$ con respecto a $d$. Esto produce el Jacobiano:
$$\frac{\partial \hat{\theta}}{\partial d}(D_0) = A_\star^{-1} J_\star^\top$$
donde $J_\star$ es el Jacobiano de la teoría en el mejor ajuste, y $A_\star$ es la Hessiana de la pérdida en el mejor ajuste. Crucialmente, $A_\star$ se descompone en la matriz de Gauss–Newton ($J_\star^\top J_\star$) y un término de "Hessiana ponderada por residuos" que involucra las segundas derivadas del mapa teórico ponderadas por los residuos.

Contribuciones Clave y Resultados

1. Distribución de Orden Superior en Forma Cerrada: El artículo deriva una expresión en forma cerrada para la matriz de covarianza de la réplica de MC de primer orden:
   $$\Sigma_{\text{MC}} = \sigma^2 A_\star^{-1} J_\star^\top J_\star A_\star^{-1}$$
   (asumiendo ruido isotrópico $C = \sigma^2 I$).

2. Comparación con la Posterior Bayesiana: Los autores comparan esta covarianza de MC con la aproximación de Laplace de la posterior bayesiana, que es una gaussiana con covarianza $\Sigma_{\text{Bayes}} = \sigma^2 A_\star^{-1}$.

3. La Matriz de Discrepancia: Se demuestra que la diferencia entre las dos distribuciones es una única matriz computable:
   $$\Sigma_{\text{MC}} - \Sigma_{\text{Bayes}} = -\sigma^2 A_\star^{-1} \left( \sum_a r_a H_{a,\cdot\cdot}(\hat{\theta}_\star) \right) A_\star^{-1}$$
   donde $r_a$ son los residuos y $H_{a,\cdot\cdot}$ son los componentes de la Hessiana de la teoría. Este término, la Hessiana ponderada por residuos, es la única fuente de desviación entre el método MC y la inferencia bayesiana en el orden principal.

4. Regímenes de Acuerdo y Desacuerdo:

   • Teoría Lineal: El término de la Hessiana desaparece, y la distribución de MC coincide exactamente con la posterior bayesiana.
   • Teoría No Lineal, Buen Ajuste: Si los residuos son pequeños, la discrepancia es insignificante y el método MC es una aproximación fiel.
   • Teoría No Lineal, Mal Ajuste: Si los residuos son significativos y la teoría tiene curvatura, el método MC puede sobreestimar o subestimar las incertididades dependiendo del signo de la Hessiana ponderada por residuos.

5. Ejemplos de Prueba: El artículo valida la derivación utilizando dos ejemplos de un solo parámetro:

   • Teoría Cuadrática: Demuestra que en el régimen "inalcanzable" (donde los datos están fuera del rango de la teoría), la distribución de MC colapsa a una función delta (varianza cero) porque el Jacobiano desaparece, mientras que la posterior bayesiana permanece como una gaussiana no degenerada.
   • Teoría Circular: Ilustra cómo el método MC puede sobre-cubrir (cuando los datos están dentro del círculo) o sub-cubrir (cuando los datos están fuera) en relación con la posterior bayesiana, lo cual es consistente con hallazgos numéricos previos.

Significado y Reivindicaciones
El artículo afirma proporcionar una "derivación complementaria" que hace explícita y computable la desviación no lineal del método de réplicas de MC de la inferencia bayesiana. El significado primordial reside en la derivación de la Hessiana ponderada por residuos como una herramienta de diagnóstico.

Los autores argumentan que evaluar esta matriz es computacionalmente económico en comparación con la ejecución de esquemas de muestreo correctivos. Por consiguiente, esta expresión permite a los profesionales determinar a priori si la distribución de réplicas de MC pura es suficiente para su precisión requerida o si la discrepancia es lo suficientemente grande como para necesitar un muestreo bayesiano más riguroso. El artículo posiciona esto como un paso hacia la comprensión de la fidelidad de los métodos de MC en ajustes complejos (como PDFs y SMEFT) sin necesariamente reemplazarlos, sino más bien proporcionando una métrica para su validez. Los autores declaran explícitamente que evaluar esta matriz en ajustes completos de PDF y SMEFT es un "siguiente paso natural", pero no presentan una aplicación a gran escala de este tipo en este trabajo.