Amortized low-rank approximation for hyperparameter marginalization in PDE-governed Bayesian inverse problems

Resumen Técnico: Aproximación de Bajo Rango Amortizada para la Marginalización de Hiperparámetros en Problemas Inversos Bayesianos Gobernados por EDP

Planteamiento del Problema
Este artículo aborda los desafíos computacionales inherentes a los problemas inversos bayesianos jerárquicos donde el mapeo de parámetro a observable está gobernado por una ecuación diferencial parcial (EDP) lineal. En tales configuraciones, el campo de parámetros $m$ (por ejemplo, una condición inicial o un coeficiente espacial) es de alta o infinita dimensión, mientras que los hiperparámetros $\theta$ (por ejemplo, longitudes de correlación de la priori o la varianza del ruido) son de dimensión moderada.

Si bien la distribución posterior condicional $P(m|\theta, y)$ es gaussiana para un $\theta$ fijo, el objetivo principal suele ser inferir los propios hiperparámetros o marginalizarlos para obtener la posterior del parámetro $m$. Esto requiere la evaluación repetida de la densidad marginal de los hiperparámetros $\pi(\theta|y)$. La evaluación directa de $\pi(\theta|y)$ es computacionalmente prohibitiva para problemas gobernados por EDP porque requiere:

1. Resolver para la estimación de Máxima Posterior (MAP) de $m$ para cada $\theta$.
2. Calcular la razón de los determinantes de las matrices de precisión de la priori y la posterior.

Ambos pasos involucran operaciones costosas, específicamente aplicaciones repetidas del operador de avance $A$ (resolver la EDP) y su adjunto $A^\sharp$. Los métodos existentes de aproximación de bajo rango, como la actualización de precisión precondicionada por la priori (PP), son eficientes para prioris fijas pero se vuelven ineficientes en entornos jerárquicos donde la precisión de la priori $Q_{pr}$ depende no linealmente de $\theta$ (por ejemplo, a través de una escala de longitud de correlación). En tales casos, el método PP requiere recomputar la aproximación de bajo rango para cada evaluación de $\theta$, lo que anula los beneficios de la amortización.

Metodología
Los autores proponen un marco para "amortizar" el costo computacional de las aproximaciones de bajo rango a través de múltiples evaluaciones de $\pi(\theta|y)$. La idea central es sustituir el precondicionador de la priori dependiente de $\theta$ por un precondicionador de referencia fijo e independiente de $\theta$. Esto permite que la costosa descomposición de bajo rango se compute una sola vez (fuera de línea/offline) en lugar de repetidamente (en línea/online).

El artículo introduce y analiza dos variantes específicas de este marco amortizado:

1. Aproximación de la Priori Precondicionada más Débil (WP - Weakest Prior-Preconditioned):

   • Este método selecciona una precisión de la priori de referencia $\hat{Q}_{pr}$ que es "más débil" (es decir, tiene valores propios más pequeños) que la verdadera precisión de la priori $Q_{pr}(\theta)$ para todo $\theta$ en el soporte de la hiperprior.
   • Matemáticamente, esto requiere $\hat{R}^\top \hat{R} \preceq R^\top R$ (donde $Q_{pr} = \delta^2 R^\sharp R$).
   • Se computa una aproximación de bajo rango de la actualización precondicionada por $\hat{Q}_{pr}$ una sola vez. Para cualquier $\theta$ específico, la precisión posterior se aproxima reponderando esta base fija con la $Q_{pr}(\theta)$ real.
   • Los autores proporcionan un límite de error teórico (Teorema 4.1) que muestra que el error de truncamiento está controlado por los valores propios de la actualización precondicionada por la referencia y los valores mínimos de las escalas de los hiperparámetros.

2. Aproximación No Precondicionada (UP - Unpreconditioned):

   • Este es un caso límite de WP donde la priori de referencia se elige como la identidad (o un equivalente discreto), eliminando efectivamente el precondicionamiento de la priori.
   • Aunque esto puede requerir un rango más alto para la convergencia en comparación con los métodos precondicionados, elimina la necesidad de definir una priori de referencia específica y evita operaciones con la precisión de la priori durante la etapa fuera de línea.

Ambos métodos dependen de problemas de valores propios generalizados para computar la base de bajo rango. El marco asume que el operador de avance $A$ y la precisión del ruido no dependen de $\theta$ (o dependen de $\theta$ solo multiplicativamente), mientras que la precisión de la priori puede depender de $\theta$ de manera compleja y no lineal.

Contribuciones Clave

• Marco de Amortización: El artículo extiende las técnicas de estado del arte de aproximación de bajo rango a problemas jerárquicos con hiperparámetros de la priori no lineales. Al desacoplar el cálculo de la base de los valores específicos de los hiperparámetros, el método evita el costo de $O(N \cdot r)$ de recomputar las aproximaciones para $N$ evaluaciones.
• Garantías Teóricas: Los autores establecen límites superiores rigurosos sobre el error de truncamiento para el método WP. Estos límites guían la selección del rango de truncación $r$ basándose en el decaimiento de los valores propios de la actualización precondicionada por la referencia y los rangos de los hiperparámetros.
• Análisis de Complejidad: Una comparación detallada de la complejidad computacional (Tabla 4.1) demuestra que, si bien WP y UP pueden requerir rangos más altos que el método PP directo para una precisión dada, la eliminación de las aplicaciones repetidas de los resolve de las EDP durante la fase en línea resulta en aceleraciones significativas para problemas que requieren muchas evaluaciones de la densidad marginal.
• Cuadratura Determinista: A diferencia de los enfoques basados en MCMC, este marco totalmente determinista permite una integración eficiente basada en cuadratura sobre el espacio de los hiperparámetros, ofreciendo una mejora sobre la estimación de Bayes empírico que depende de un único estimador puntual.

Resultados Numéricos
Los métodos fueron evaluados en un problema inverso de condición inicial de advección-difusión tanto en dominios espaciales 2D como 3D.

• Problema 2D: Usando una malla de aproximadamente 4,500 elementos y 32 sensores espaciales, los métodos WP y UP lograron una aceleración de aproximadamente 11x a 19x sobre el método PP directo para 100 evaluaciones de la densidad marginal.
• Problema 3D: El uso de una malla de aproximadamente 35,000 elementos y 51 sensores hizo que la ventaja computacional fuera aún más pronunciada. El método PP directo requirió tiempos extrapolados de ~65 horas para 100 evaluaciones, mientras que WP y UP requirieron ~2 y ~3 horas, respectivamente. Esto representa una aceleración de 30 a 45x.
• Análisis de Error: Los experimentos numéricos confirmaron que el error en el término del logaritmo del determinante ($e_1$) generalmente domina el error en la aproximación de la media posterior ($e_2$) para los rangos probados. Por consiguiente, la aproximación de bajo rango por sí sola fue a menudo suficiente sin necesidad de solvers iterativos (como el Gradiente Conjugado) para refinar la media, aumentando aún más la velocidad.
• Marginalización: El marco calculó con éxito la distribución marginal de una cantidad de interés (QoI) combinando las evaluaciones amortizadas de $\pi(\theta|y)$ con cuadratura gaussiana, demostrando la capacidad de capturar la incertidumbre en los hiperparámetros y propagarla a la estimación del parámetro.

Significancia y Reivindicaciones
El artículo sostiene que sacrificar la optimalidad de la base (al usar un precondicionador independiente de $\theta$) es un intercambio altamente favorable cuando el problema de avance es costoso y se requieren muchas evaluaciones de la densidad marginal. Los métodos propuestos permiten resolver eficientemente problemas inversos bayesianos jerárquicos con hiperparámetros de la priori no lineales (como longitudes de correlación) sin recurrir al muestreo MCMC o a supuestos restrictivos sobre la dependencia lineal de los hiperparámetros.

Los autores señalan que su enfoque está actualmente limitado a operadores de avance lineales e hiperparámetros que no entran en el propio mapa de avance $A$. Sugieren que trabajos futuros podrían extender estas ideas a problemas donde $A$ depende de $\theta$ integrando técnicas de modelado de sustitutos (surrogates), o a entornos no gaussianos mediante la linealización y aproximaciones de Laplace similares a la Aproximación de Laplace Integrada (INLA). Sin embargo, la contribución actual se centra estrictamente en el entorno condicional gaussiano lineal con hiperparámetros de la priori no lineales.