Robust Simulation Based Inference Through Robust Optimal Transport

Resumo Técnico: Inferência Baseada em Simulação Robusta Através de Transporte Ótimo Robusto

Declaração do Problema
A Inferência Baseada em Simulação (SBI) é um quadro para inferência estatística quando a função de verossimilhança de um modelo paramétrico $\{P_\theta : \theta \in \Theta\}$ é analiticamente intratável, mas simulações a partir do modelo são possíveis. Métodos padrão de SBI frequentemente assumem que a distribuição geradora de dados $P$ é exatamente um membro do modelo ($P = P_{\theta^*}$). No entanto, na prática, os modelos raramente são exatos, e os dados podem estar sujeitos a contaminação. Métodos robustos existentes geralmente abordam ou a "contaminação de Huber" (contaminação de massa onde uma fração $\epsilon$ dos dados é substituída por ruído arbitrário) ou perturbações geométricas (onde pontos de dados são deslocados por uma pequena distância). Existe uma lacuna significativa em métodos que possam lidar simultaneamente com ambos os tipos de contaminação, particularmente no contexto de SBI onde as verossimilhanças estão indisponíveis. Além disso, muitas abordagens robustas de SBI dependem da Discrepância Máxima de Média (MMD) ou da distância de Wasserstein, que sofrem de sensibilidade à seleção de hiperparâmetros (por exemplo, largura de banda do kernel) ou falta de robustez à contaminação de massa, respectivamente.

Metodologia
Os autores propõem o Mínimo Robusto Semi-constrangido de Wasserstein-2 com Bootstrap (B-MRSW), um quadro que integra uma nova medida de divergência com o bootstrap regular para quantificação de incerteza.

1. A Divergência ($\ell_\lambda$): O núcleo do método é a divergência de Wasserstein-2 Robusto Semi-constrangido $\lambda$ ($\lambda$-RSW). Para medidas de probabilidade $P_1, P_2$, é definida como:
   $$\ell_\lambda(P_1, P_2) := \inf_{Q \ll P_1} \left[ \frac{1}{\lambda} KL(Q, P_1) + W_2^2(P_2, Q) \right]$$
   onde $KL$ é a divergência de Kullback-Leibler e $W_2$ é a distância de Wasserstein-2. Esta formulação relaxa a restrição marginal rígida do transporte ótimo padrão permitindo que a primeira marginal seja reponderada (via $Q$) a um custo penalizado por $KL$. Isso é motivado pela Verossimilhança Empírica com Restrições Distribucionais.

   • Robustez: Os autores provam que, para valores intermediários de $\lambda$ (por exemplo, $\lambda=1$), a minimização de $\ell_\lambda(P, P_\theta)$ produz uma estimativa de parâmetro robusta ao modelo de contaminação Geométrica+Huber (G+H), onde $P = (1-\epsilon)Q + \epsilon F$ e $W_2(Q, P_{\theta^*}) \le \rho$.
   • Limites: À medida que $\lambda \to 0$, $\ell_\lambda$ converge para $W_2^2$ (sensível à contaminação de Huber). À medida que $\lambda \to \infty$, converge para a distância média do vizinho mais próximo (não informativa para estimação de variância).

2. Algoritmo para Aproximação Semi-Discreta:
   Como $P_n$ (os dados empíricos) é discreto e $P_\theta$ é frequentemente contínuo, o problema é semi-discreto. Os autores derivam uma formulação dual (Teorema 3.1) convertendo o problema min-min em um problema de maximização côncava sobre um vetor $g \in \mathbb{R}^n$:
   $$\ell_\lambda(P_n, P_\theta) = \sup_{g \in \mathbb{R}^n} \mathbb{E}_{X \sim P_\theta} \left[ \min_{j \in [n]} (\|X - Y_j\|^2 - g_j) - \frac{1}{\lambda} \log \left( \frac{1}{n} \sum_{t=1}^n e^{-\lambda g_t} \right) \right]$$
   Eles propõem o Algoritmo 1, um algoritmo de subida de subgradiente estocástico (SGA) para aproximar este valor, fornecendo uma garantia de convergência de erro absoluto esperado de $O(\epsilon)$ em tempo $O(n^2/\epsilon^2)$.

3. Pipeline de Inferência:

   • Seleção de $\lambda$: Uma heurística orientada por dados seleciona $\lambda$ observando um "cotovelo" no gráfico da distância de Wasserstein-2 entre o modelo ajustado e a medida empírica reponderada através de uma faixa de valores de $\lambda$.
   • Estimação de Parâmetros: O estimador de divergência mínima $\hat{\theta}_\lambda$ é encontrado usando a Estratégia de Evolução Adaptativa da Matriz de Covariância (CMA-ES) para otimizar o objetivo não convexo $\ell_\lambda(P_n, P_\theta)$, avaliado via Algoritmo 1.
   • Quantificação de Incerteza: O bootstrap regular é aplicado sobre o estimador mínimo $\lambda$-RSW. $M$ conjuntos de dados bootstrap são gerados, e o pipeline CMA-ES/SGA é executado para cada um para produzir uma distribuição de estimativas, formando intervalos de confiança.

Principais Contribuições

1. Robustez Teórica: O artigo estabelece que a divergência $\lambda$-RSW fornece robustez teórica sob o modelo de contaminação conjunta Geométrica+Huber, um cenário não abordado anteriormente por um único método unificado em SBI.
2. Desenvolvimento Algorítmico: Os autores fornecem o primeiro algoritmo com garantia de convergência para calcular o Transporte Ótimo Robusto Semi-constrangido semi-discreto, utilizando uma abordagem de subida de subgradiente estocástico.
3. Ajuste Orientado por Dados: Uma heurística principial e orientada por dados para selecionar o parâmetro de robustez $\lambda$ é introduzida, removendo a necessidade de especificação arbitrária pelo usuário.
4. Quantificação de Incerteza: O quadro integra o bootstrap regular para fornecer conjuntos de confiança com cobertura assintótica adequada, abordando uma falha comum na inferência Bayesiana e frequentista robusta.

Resultados
O método é avaliado em dois benchmarks:

1. Distribuição Normal Univariada: Sob contaminação G+H (misturando uma distribuição $t$ de Student ou Normal discretizada com uma massa de Dirac), o B-MRSW recupera com sucesso a média e a variância. Em contraste, a estimação padrão de Mínimo Wasserstein-2 falha sob contaminação de Huber.
2. Distribuição G-and-K: Uma distribuição complexa de quatro parâmetros usada como benchmark padrão de SBI. Os autores comparam o B-MRSW com o método NPL-MMD (Dellaporta et al., 2022).
   • Sensibilidade: O desempenho do NPL-MMD é altamente sensível à largura de banda do kernel Gaussiano; pequenas mudanças levam a erros massivos na estimação de assimetria e cobertura pobre.
   • Robustez: O B-MRSW mantém baixo Erro Quadrático Médio (MSE) e altas taxas de cobertura em uma ampla faixa de valores de $\lambda$ selecionados pela heurística.
   • Eficiência: Embora o B-MRSW exija mais chamadas ao simulador do que o NPL-MMD devido ao uso de CMA-ES para otimização global (vs. descida de gradiente local do NPL-MMD), os autores argumentam que isso é necessário para evitar mínimos locais e garantir robustez.

Significado e Alegações
O artigo alega que o B-MRSW oferece uma alternativa robusta para SBI em cenários onde os modelos estão mal especificados e os dados contêm tanto contaminação geométrica quanto de massa. Os autores enfatizam que, ao contrário dos métodos existentes que dependem de hiperparâmetros cuidadosos e frequentemente difíceis de ajustar (como largura de banda de kernel em MMD), sua abordagem usa uma estratégia orientada por dados para o parâmetro de robustez. Eles notam que, embora o método seja computacionalmente intensivo devido aos requisitos de bootstrap e otimização global, ele é paralelizável. O trabalho não alega resolver todos os problemas de SBI, mas visa especificamente a lacuna entre robustez geométrica e robustez de Huber em configurações livres de verossimilhança, fornecendo uma ferramenta que visa o parâmetro verdadeiro (até identificabilidade) enquanto fornece conjuntos de confiança válidos. Trabalhos futuros são sugeridos para envolver o treinamento de substitutos não paramétricos para o simulador a fim de reduzir o custo computacional.