A Convex Approximation Framework for Neural Likelihood-Based Bayesian Inverse Problems

Resumen Técnico: Un Marco de Aproximación Convexa para Problemas Inversos Bayesianos Basados en Verosimilitud Neuronal

Planteamiento del Problema
Muchos problemas inversos científicos e de ingeniería se ven obstaculizados por la dificultad de modelar con precisión los mecanismos físicos, cuantificar la incertidumbre de la medición o por el costo computacional prohibitivo de las simulaciones de alta fidelidad (por ejemplo, resolver ecuaciones en derivadas parciales). Estos desafíos hacen que los métodos clásicos de inferencia probabilística, como el Cadenas de Markov por Monte Carlo (MCMC), sean inviables, particularmente en entornos de alta dimensión o de dimensión infinita (por ejemplo, problemas inversos bayesianos en espacios de funciones). Si bien el aprendizaje automático ofrece una alternativa al modelado paramétrico explícito, los enfoques existentes para la aproximación de la verosimilitud neuronal —que consiste en aprender la función de verosimilitud directamente de los datos sin conocimiento del proceso generador de datos subyacente— suelen depender de clases de modelos restrictivas. Específicamente, los métodos estándar que minimizan la divergencia de Kullback–Leibler (KL) entre la posterior verdadera y la aproximada a menudo requieren que el sustituto de la verosimilitud esté explícitamente normalizado (por ejemplo, mediante flujos de normalización o redes invertibles). Estas restricciones pueden limitar la expresividad del modelo, excluyendo potencialmente funciones de verosimilitud cercanas a la óptima.

Metodología
Los autores proponen un marco para reformular la aproximación de la verosimilitud neuronal para que trabaje con potenciales no normalizados (log-verosimilitud negativa, o NLL), integrando el requisito de normalización directamente en el objetivo de entrenamiento.

1. Reformulación de la Función Objetivo:
   En lugar de minimizar la divergencia KL entre las posteriores directamente, los autores derivan una función objetivo equivalente $\Phi(f)$ basada en la divergencia KL esperada entre la posterior verdadera $\mu_y$ y una posterior aproximada $\mu_y^f$ inducida por un potencial no normalizado $f$:
   $$\Phi(f) = \mathbb{E}_{\pi}[\text{KL}(\mu_y \| \mu_y^f)] = C + \mathbb{E}_{\lambda}[f(x; y)] + \mathbb{E}_{\pi}[\log Z_f(y)]$$
   donde $Z_f(y) = \int_H \exp(-f(x; y)) \mu(dx)$ es la constante de normalización, $\lambda$ es la distribución conjunta de los datos $(x, y)$ y $C$ es una constante independiente de $f$. Esta formulación permite que el objetivo se evalúe utilizando muestras de la distribución conjunta sin requerir el acceso al potencial verdadero $L$ o la normalización explícita de la salida de la red.

2. Análisis de Convexidad:
   Una contribución teórica central es la demostración de que la función objetivo $\Phi(f)$ es estrictamente convexa con respecto al potencial no normalizado $f$ (Teorema 2.8). Esto se cumple siempre que la clase de funciones $\mathcal{F}$ sea convexa. Esto contrasta con las parametrizaciones estándar de flujos de normalización, donde el conjunto de funciones que integran uno es generalmente no convexo. La estricta convexidad asegura la existencia de un minimizador único en la clase de equivalencia de potenciales (donde las funciones que difieren solo por una constante aditiva dependiente de $y$ son equivalentes).

3. Estimación Basada en Datos y Consistencia:
   Los autores proponen un estimador basado en datos $\Phi_N$ utilizando un enfoque de Monte Carlo de doble bucle para aproximar la esperanza anidada que involucra la constante de normalización $Z_f(y)$. Establecen la consistencia de este estimador (Teorema 3.7), demostrando que, a medida que el tamaño de la muestra $N \to \infty$, el minimizador empírico converge en probabilidad al potencial verdadero $L$, bajo supuestos relacionados con la distribución a priori y la regularidad de la clase de funciones (por ejemplo, subconjuntos acotados de espacios de Hölder).

Contribuciones Clave

• Marco de Optimización Convexa: El artículo demuestra que, al optimizar sobre potenciales no normalizados y absorber la normalización en la pérdida, el problema de aprendizaje se vuelve estrictamente convexo. Esto elimina la necesidad de restricciones arquitectónicas restrictivas (como los flujos de normalización) para imponer propiedades de medida de probabilidad.
• Garantías Teóricas: Los autores proporcionan demostraciones rigurosas de la convexidad del objetivo y la consistencia del minimizador empírico, estableciendo que la potencial aprendida converge al potencial verdadero a medida que aumentan los datos.
• Eficiencia de Datos: El marco requiere únicamente datos conjuntos $(x, y)$ del simulador (o sistema físico) y no requiere conocimiento del mapa de la función de transferencia, el nivel de ruido o evaluaciones de la función de verosimilitud verdadera.

Resultados Numéricos
El marco fue validado en dos problemas inversos bayesianos:

1. Problema de Desenfoque (Deblurring): Un problema de juguete que involucra un proceso Gaussiano 1D. Las aproximaciones de verosimilitud neuronal (de forma libre, residual y residual calibrada) produjeron medias posteriores e intervalos de confianza muy cercanos a la verdad de campo. Notablemente, la aproximación de forma libre (que no asume niveles de ruido conocidos) superó la regresión de Procesos Gaussianos (GP), incluso cuando el GP tenía acceso a evaluaciones de la verosimilitud verdadera.
2. Perfil de Dopaje de Semiconductores: Un problema de imagen no lineal basado en EDP (ecuaciones en derivadas parciales) para estimar el perfil de dopaje a partir de mediciones de voltaje-corriente.
   • Velocidad Computacional: Las aproximaciones NLL fueron aproximadamente 200 veces más rápidas que el resolvedor de la EDP de elementos finitos para evaluaciones individuales en una CPU, y hasta 20,000 veces más rápidas bajo paralelización en una GPU.
   • Precisión: Las aproximaciones de forma libre y residual produjeron estadísticas posteriores (sesgo y varianza) casi idénticas a la posterior exacta basada en la EDP. La aproximación residual calibrada (que asume niveles de ruido conocidos) funcionó bien, mientras que la aproximación residual estándar tuvo dificultades cuando los niveles de ruido eran desconocidos.
   • Eficiencia: Aunque el entrenamiento y la generación de datos tomaron aproximadamente 6 horas, esto permitió la generación de muestras posteriores que habrían tomado 265 horas utilizando el modelo directo de la EDP.

Significancia y Reclamaciones
El artículo afirma proporcionar una base teórica robusta para la aproximación de la verosimilitud neuronal que supera las limitaciones de las clases paramétricas restrictivas. Al establecer la convexidad y la consistencia, el trabajo permite el aprendizaje fuera de línea basado puramente en datos empíricos, lo que puede acelerar posteriormente el muestreo de la posterior en escenarios donde el modelo de la función de transferencia es desconocido o computacionalmente costoso.

Los autores señalan limitaciones específicas:

• Los resultados de consistencia se han establecido actualmente en un entorno de dimensión finita debido a la dependencia de la teoría de procesos empíricos existente (entropía de empaquetamiento/bracketing) desarrollada para espacios euclidianos. Extender estas garantías a clases de funciones de dimensión completamente infinita sigue siendo una dirección abierta.
• No se proporcionan tasas de convergencia cuantitativas para los estimadores, ya que la estructura de Monte Carlo anidada complica la aplicación de los resultados clásicos de la tasa de convergencia de los estimadores M.
• Si bien la optimización en el espacio de funciones es convexa, la optimación en los parámetros de la red neuronal sigue siendo no convexa; sin embargo, la estricta convexidad del objetivo poblacional asegura un objetivo único para el proceso de aprendizaje.