A Convex Approximation Framework for Neural Likelihood-Based Bayesian Inverse Problems

Resumo Técnico: Um Framework de Aproximação Convexo para Problemas Inversos Bayesianos Baseados em Verossimilhança Neural

Enunciado do Problema
Muitos problemas inversos científicos e de engenharia são dificultados pela dificuldade de modelar mecanismos físicos com precisão, quantificar a incerteza das medições ou pelo custo computacional proibitivo de simulações de alta fidelidade (por exemplo, resolver equações diferenciais parciais). Esses desafios tornam métodos clássicos de inferência probabilística, como o Markov Chain Monte Carlo (MCMC), inviáveis, particularmente em cenários de alta dimensão ou de dimensão infinita (por exemplo, problemas inversos Bayesianos em espaços de funções). Embora o aprendizado de máquina ofereça uma alternativa à modelagem paramétrica explícita, as abordagens existentes para a aproximação de verossimilhança neural — que aprende a função de verossimilhança diretamente dos dados sem conhecimento do processo gerador de dados subjacente — frequentemente dependem de classes de modelos restritivas. Especificamente, os métodos padrão que minimizam a divergência de Kullback–Leibler (KL) entre a posterior verdadeira e a aproximada frequentemente exigem que o substituto da verossimilhança seja explicitamente normalizado (por exemplo, via fluxos de normalização ou redes invertíveis). Essas restrições podem limitar a expressividade do modelo, potencialmente excluindo funções de verossimilhança próximas do ótimo.

Metodologia
Os autores propõem um framework que reformula a aproximação de verossimilhança neural para trabalhar com potenciais não normalizados (negativos de log-verossimilhança, ou NLLs), incorporando o requisito de normalização diretamente no objetivo de treinamento.

1. Reformulação da Função Objetivo:
   Em vez de minimizar a divergência KL entre as posteriores diretamente, os autores derivam uma função objetivo equivalente $\Phi(f)$ baseada na divergência KL esperada entre a posterior verdadeira $\mu_y$ e uma posterior aproximada $\mu_y^f$ induzida por um potencial não normalizado $f$:
   $$\Phi(f) = \mathbb{E}_{\pi}[\text{KL}(\mu_y \| \mu_y^f)] = C + \mathbb{E}_{\lambda}[f(x; y)] + \mathbb{E}_{\pi}[\log Z_f(y)]$$
   onde $Z_f(y) = \int_H \exp(-f(x; y)) \mu(dx)$ é a constante de normalização, $\lambda$ é a distribuição conjunta de dados $(x, y)$ e $C$ é uma constante independente de $f$. Esta formulação permite que o objetivo seja avaliado usando amostras da distribuição conjunta sem exigir acesso ao potencial verdadeiro $L$ ou a normalização explícita da saída da rede.

2. Análise de Convexidade:
   Uma contribuição teórica central é a prova de que a função objetivo $\Phi(f)$ é estritamente convexa em relação ao potencial não normalizado $f$ (Teorema 2.8). Isso se mantém desde que a classe de funções $\mathcal{F}$ seja convexa. Isso contrasta com as parametrizações padrão de fluxo de normalização, onde o conjunto de funções que integram para um é geralmente não convexo. A estrita convexidade garante a existência de um minimizador único na classe de equivalência de potenciais (onde funções que diferem apenas por uma constante aditiva dependente de $y$ são equivalentes).

3. Estimativa Baseada em Dados e Consistência:
   Os autores propõem um estimador baseado em dados $\Phi_N$ usando uma abordagem de Monte Carlo de loop duplo para aproximar a expectativa aninhada envolvendo a constante de normalização $Z_f(y)$. Eles estabelecem a consistência deste estimador (Teorema 3.7), provando que, conforme o tamanho da amostra $N \to \infty$, o minimizador empírico converge em probabilidade para o potencial verdadeiro $L$, sob suposições relativas à distribuição a priori e à regularidade da classe de funções (por exemplo, subconjuntos limitados de espaços de Hölder).

Principais Contribuições

• Framework de Otimização Convexa: O artigo demonstra que, ao otimizar sobre potenciais não normalizados e absorver a normalização no custo, o problema de aprendizado torna-se estritamente convexo. Isso remove a necessidade de restrições arquiteturais restritivas (como fluxos de normalização) para impor propriedades de medida de probabilidade.
• Garantias Teóricas: Os autores fornecem provas rigorosas para a convexidade do objetivo e a consistência do minimizador empírico, estabelecendo que o potencial aprendido converge para o potencial verdadeiro conforme os dados aumentam.
• Eficiência de Dados: O framework requer apenas dados conjuntos $(x, y)$ do simulador (ou sistema físico) e não exige conhecimento do mapa direto, do nível de ruído ou de avaliações da função de verossimilhança verdadeira.

Resultados Numéricos
O framework foi validado em dois problemas inversos Bayesianos:

1. Problema de Desfoque (Deblurring): Um problema de brinquedo envolvendo um processo Gaussiano 1D. As aproximações de verossimilhança neural (free-form, residual e residual calibrado) produziram médias posteriores e intervalos de confiança muito próximos da verdade fundamental. Notavelmente, a aproximação free-form (que não assume níveis de ruído conhecidos) superou a regressão por Processo Gaussiano (GP), mesmo quando o GP tinha acesso a avaliações da verossimilhança verdadeira.
2. Perfil de Dopagem de Semicondutores: Um problema de imagem não linear baseado em PDE, estimando o perfil de dopagem a partir de medições de voltagem-corrente.
   • Velocidade Computacional: As aproximações NLL foram aproximadamente 200 vezes mais rápidas que o solver de PDE de elementos finitos para avaliações únicas em uma CPU, e até 20.000 vezes mais rápidas sob paralelização em uma GPU.
   • Precisão: As aproximações free-form e residual produziram estatísticas posteriores (viés e variância) quase idênticas à posterior exata baseada em PDE. A aproximação residual calibrada (que assume níveis de ruído conhecidos) teve um bom desempenho, enquanto a aproximação residual padrão teve dificuldades quando os níveis de ruído eram desconhecidos.
   • Eficiência: Embora o treinamento e a geração de dados tenham levado cerca de 6 horas, isso permitiu a geração de amostras da posterior que teriam levado 265 horas usando o modelo PDE direto.

Significância e Alegações
O artigo afirma fornecer uma base teórica robusta para a aproximação de verossimilhança neural que supera as limitações de classes paramétricas restritivas. Ao estabelecer a convexidade e a consistência, o trabalho permite o aprendizado offline puramente baseado em dados empíricos, que pode subsequentemente acelerar a amostragem da posterior em cenários onde o modelo direto é desconhecido ou computacionalmente caro.

Os autores observam limitações específicas:

• Os resultados de consistência são atualmente estabelecidos em um cenário de dimensão finita devido à dependência de teoria de processos empíricos existentes (entropia de bracketing) desenvolvidas para espaços euclidianos. Estender essas garantias para classes de funções totalmente de dimensão infinita permanece uma direção aberta.
• Taxas de convergência quantitativas para os estimadores não são fornecidas, pois a estrutura de Monte Carlo aninhada complica a aplicação de resultados clássicos de taxa de convergência de estimadores-M.
• Embora a otimização no espaço de funções seja convexa, a otimização nos parâmetros da rede neural permanece não convexa; no entanto, a estrita convexidade do objetivo populacional garante um alvo único para o processo de aprendizado.