Propagating data noise through the fit: the Monte Carlo replica distribution

Resumo Técnico: Propagação de Ruído de Dados através do Ajuste: A Distribuição de Réplicas de Monte Carlo

Enunciado do Problema
O método de réplicas de Monte Carlo (MC) é um procedimento padrão em física de altas energias para quantificar incertezas de parâmetros em ajustes globais de Funções de Distribuição de Partons (PDFs) e coeficientes de Wilson de Teoria de Campo Eficaz do Modelo Padrão (SMEFT). O método envolve a geração de muitas cópias perturbadas por ruído dos dados experimentais (pseudodados) e a realização de ajustes independentes para cada uma delas. A distribuição empírica resultante dos melhores parâmetros de ajuste é utilizada como a estimativa de incerteza.

Embora seja bem estabelecido que este método reproduz exatamente a distribuição posterior bayesiana quando o modelo teórico é linear em seus parâmetros, sabe-se que ele diverge no caso não linear. No entanto, a natureza e a magnitude dessa divergência não foram caracterizadas de forma fechada. Sem tal caracterização, os praticantes não podem determinar facilmente se a distribuição de réplicas de MC bruta é uma aproximação fiel da distribuição posterior bayesiana ou se é necessário um amostragem corretiva computacionalmente dispendiosa (ex: Metropolis–Hastings) para recuperar o posterior exato.

Metodologia
O artigo trata o Estimador de Máxima Verossimilhança (MLE) não meramente como um resultado de otimização, mas como um mapa determinístico $\hat{\theta}(d)$ do espaço de dados para o espaço de parâmetros. A distribuição de réplicas de MC é identificada como o pushforward do ruído Gaussiano $\eta$ sob o mapa $\eta \mapsto \hat{\theta}(D_0 + \eta)$, onde $D_0$ são os dados observados.

Para derivar a distribuição analiticamente, os autores realizam uma expansão de Taylor de primeira ordem do mapa MLE $\hat{\theta}(\cdot)$ em torno dos dados observados $D_0$. Isso reduz o pushforward a um mapa linear-gaussiano, cuja covariância é determinada pelo Jacobiano do mapa MLE, $\partial \hat{\theta} / \partial d$, avaliado em $D_0$.

A principal inovação técnica é a derivação deste Jacobiano em forma fechada usando diferenciação implícita da condição de otimalidade de primeira ordem (o gradiente nulo da função de perda). Ao definir a perda $L(\theta; d) = \frac{1}{2}\|d - T(\theta)\|^2$ e seu gradiente $F(\theta, d) = J(\theta)^\top(T(\theta) - d) = 0$, os autores diferenciam a identidade $F(\hat{\theta}(d), d) \equiv 0$ em relação a $d$. Isso resulta no Jacobiano:
$$\frac{\partial \hat{\theta}}{\partial d}(D_0) = A_\star^{-1} J_\star^\top$$
onde $J_\star$ é o Jacobiano da teoria no melhor ajuste, e $A_\star$ é o Hessiano da função de perda no melhor ajuste. Crucialmente, $A_\star$ é decomposto em uma matriz de Gauss–Newton ($J_\star^\top J_\star$) e um termo "Hessiano ponderado pelos resíduos" envolvendo as segundas derivadas do mapa teórico ponderadas pelos resíduos.

Contribuições Principais e Resultados

1. Distribuição de Ordem Líder em Forma Fechada: O artigo deriva uma expressão em forma fechada para a matriz de covariância de réplica de MC de primeira ordem:
   $$\Sigma_{\text{MC}} = \sigma^2 A_\star^{-1} J_\star^\top J_\star A_\star^{-1}$$
   (assumindo ruído isotrópico $C = \sigma^2 I$).

2. Comparação com o Posterior Bayesiano: Os autores comparam esta covariância de MC com a aproximação de Laplace do posterior bayesiano, que é uma Gaussiana com covariância $\Sigma_{\text{Bayes}} = \sigma^2 A_\star^{-1}$.

3. A Matriz de Discrepância: Mostra-se que a diferença entre as duas distribuições é uma única matriz computável:
   $$\Sigma_{\text{MC}} - \Sigma_{\text{Bayes}} = -\sigma^2 A_\star^{-1} \left( \sum_a r_a H_{a,\cdot\cdot}(\hat{\theta}_\star) \right) A_\star^{-1}$$
   onde $r_a$ são os resíduos e $H_{a,\cdot\cdot}$ são os componentes do Hessiano da teoria. Este termo, o Hessiano ponderado pelos resíduos, é a única fonte de desvio entre o método de MC e a inferência bayesiana em primeira ordem.

4. Regimes de Concordância e Discordância:

   • Teoria Linear: O termo Hessiano desaparece, e a distribuição de MC coincide exatamente com o posterior bayesiano.
   • Teoria Não Linear, Bom Ajuste: Se os resíduos forem pequenos, a discrepância é negligível, e o método de MC é uma aproximação fiel.
   • Teoria Não Linear, Ajuste Ruim: Se os resíduos forem significativos e a teoria possuir curvatura, o método de MC pode superestimar ou subestimar as incertezas, dependendo do sinal do Hessiano ponderado pelos resíduos.

5. Exemplos de Teste (Toy Examples): O artigo valida a derivação usando dois exemplos de parâmetro único:

   • Teoria Quadrática: Demonstra que, no regime "inalcançável" (onde os dados estão fora do alcance da teoria), a distribuição de MC colapsa para uma função delta (variância zero), enquanto o posterior bayesiano permanece uma Gaussiana não degenerada.
   • Teoria Circular: Ilustra como o método de MC pode apresentar sobrecobertura (quando os dados estão dentro do círculo) ou subcobertura (quando os dados estão fora) em relação ao posterior bayesiano, consistente com achados numéricos anteriores.

Significância e Alegações
O artigo alega fornecer uma "derivação complementar" que torna explícita e computável a partida não linear do método de réplicas de MC da inferência bayesiana. A principal significância reside na derivação do Hessiano ponderado pelos resíduos como uma ferramenta de diagnóstico.

Os autores argumentam que avaliar esta matriz é computacionalmente barato comparado a executar esquemas de amostragem corretiva. Consequentemente, esta expressão permite que os praticantes determinem a priori se a distribuição de réplicas de MC bruta é suficiente para sua precisão requerida ou se a discrepância é grande o suficiente para necessitar de uma amostragem bayesiana mais rigorosa. O artigo posiciona isso como um passo para entender a fidelidade dos métodos de MC em ajustes complexos (como PDFs e SMEFT) sem necessariamente substituí-los, mas sim fornecendo uma métrica para sua validade. Os autores declaram explicitamente que avaliar esta matriz em ajustes completos de PDF e SMEFT é um "próximo passo natural", mas não apresentam uma aplicação de larga escala neste trabalho.