Data-informed posterior approximation for Bayesian linear inverse problems

Resumen Técnico: Aproximación posterior informada por datos para problemas inversos lineales bayesianos

Planteamiento del Problema
El artículo aborda los desafíos computacionales inherentes a los problemas inversos lineales bayesianos a gran escala, formulados como $y = Gx + \eta$, donde $x \in \mathbb{R}^n$ es el parámetro desconocido, $y \in \mathbb{R}^m$ es la observación y $\eta$ es ruido gaussiano. La dificultad principal surge cuando la dimensión del parámetro $n$ es extremadamente grande ($n \gg m$), haciendo intratable el cálculo directo de la media y la covarianza de la distribución posterior. Específicamente, la inversión de la matriz $G^\top \Gamma^{-1} G + \lambda \Sigma^{-1}$ (donde $\Sigma$ es la covarianza a priori y $\lambda$ es un hiperparámetro) es computacionalmente prohibitiva. Las técnicas existentes de reducción de dimensionalidad, como las basadas en la expansión de Karhunen–Loève o en subespacios informados por la verosimilitud (LIS), a menudo dependen de factorizaciones explícitas de la covarianza a priori o operan enteramente dentro del espacio de parámetros de alta dimensión, sin aprovechar plenamente la interacción entre el operador directo y los datos de observación. Además, la selección del hiperparámetro $\lambda$ típicamente requiere cálculos a gran escala repetidos en el espacio de parámetros.

Metodología
Los autores proponen un marco que desplaza el enfoque computacional del espacio de parámetros al espacio de datos. El núcleo de la metodología involucra los siguientes componentes:

1. Marco Geométrico en el Espacio de Datos:
   El artículo define un espacio de Hilbert cociente $(\mathbb{R}^m/\mathcal{N}(M), \langle \cdot, \cdot \rangle_M)$, donde $M = G\Sigma G^\top$ y $\mathcal{N}(M)$ es su espacio nulo. Este espacio está dotado de un producto interno $\langle [u], [v] \rangle_M = u^\top M v$. Los autores establecen una inmersión isométrica $\iota$ desde este espacio de datos hacia el espacio de parámetros $(\mathbb{R}^n, \langle \cdot, \cdot \rangle_{\Sigma^{-1}})$. Demuestran que la actualización de a priori a posteriori se confina enteramente a la imagen de esta inmersión, $\text{Im}(\iota) = \mathcal{R}(\Sigma G^\top)$, que tiene una dimensión igual a $\text{rank}(G)$. Esto revela que las direcciones informativas de la posterior son intrínsecamente de baja dimensión e independientes de la dimensión ambiental del parámetro $n$.

2. Bidiagonalización de Golub–Kahan en Espacio Cociente (Q-GKB):
   Para construir subespacios de Krylov informados por datos sin formar explícitamente $M$ ni calcular proyecciones ortogonales sobre su rango, los autores desarrollan un algoritmo iterativo novedoso llamado Q-GKB. Este método aplica el proceso de bidiagonalización de Golub–Kahan directamente a los operadores definidos en el espacio cociente. El algoritmo genera dos secuencias de vectores, $\{u_i\}$ y $\{v_i\}$, que forman bases ortonormales para subespacios de Krylov apareados en el espacio de datos. Crucialmente, Q-GKB es un método libre de matrices que depende únicamente de productos matriz-vector con $M$ y $\Gamma^{-1}$, evitando el almacenamiento y la factorización de matrices densas grandes.

3. Inferencia Bayesiana Empírica Integrada:
   El marco integra la inferencia bayesiana empírica para estimar simultáneamente el hiperparámetro $\lambda$ y aproximar la posterior. Al proyectar el problema de optimización de la verosimilitud marginal sobre los subespacios de Krylov de baja dimensión generados por Q-GKB, el método calcula una verosimilitud marginal negativa aproximada $L^{(k)}(\lambda)$ utilizando únicamente matrices de pequeña escala derivadas de la iteración. Esto permite la determinación eficiente de $\lambda_k$ en cada paso sin regresar al espacio de parámetros de alta dimensión.

4. Aproximación Posterior:
   La media y la covarianza posteriores aproximadas se construyen dentro del subespacio de Krylov informado por datos. La media aproximada coincide con la solución regularizada iterativamente, y la covarianza aproximada se calcula mediante la inversión de matrices de pequeña escala. El artículo proporciona límites teóricos de error para estas aproximaciones utilizando la distancia de Förstner y la divergencia de Kullback–Leibler (KL), mostrando que el error está gobernado por el decaimiento de los autovalores generalizados del par de matrices $(M, \Gamma)$.

Contribuciones Clave

• Caracterización Geométrica: El artículo proporciona una caracterización matemática rigurosa de la naturaleza de baja dimensión de las actualizaciones posteriores a través de la geometría del espacio cociente del espacio de datos, estableciendo una correspondencia isométrica entre los espacios de datos y de parámetros.
• Algoritmo Q-GKB: Se desarrolla una nueva formulación en espacio cociente del proceso de bidiagonalización de Golub–Kahan, permitiendo la construcción de subespacios de Krylov informados por datos de manera completamente libre de matrices.
• Estimación Simultánea: La integración de la inferencia bayesiana empírica en la iteración Q-GKB permite la estimación simultánea de hiperparámetros y la aproximación posterior, eliminando la necesidad de cálculos repetidos de alta dimensión.
• Garantías Teóricas: Los autores derivan límites de error explícitos para la media y la covarianza posteriores aproximadas, vinculando la tasa de convergencia con las propiedades espectrales del espacio de datos.

Resultados Numéricos
El método se valida en tres problemas representativos:

1. Ecuación integral de Fredholm unidimensional: Demuestra una convergencia rápida del hiperparámetro y la reconstrucción de la solución, con la dimensión efectiva del espacio de datos siendo significativamente menor que la dimensión del parámetro.
2. Deblurring de imágenes bidimensionales: Muestra la capacidad del método para manejar problemas moderadamente mal planteados. El enfoque Q-GKB converge más rápido que el método LIS directo para la media posterior y logra una precisión comparable para la covarianza, siendo computacionalmente viable en hardware estándar donde LIS no lo es.
3. Tomografía computarizada (CT) de rayos X: Una aplicación a gran escala ($n=65,536$) donde la covarianza a priori se maneja mediante un enfoque libre de matrices basado en FFT. Los resultados muestran que el método captura eficazmente la media posterior y la incertidumbre (varianza), con la media posterior convergiendo rápidamente y la covarianza estabilizándose a medida que aumenta la dimensión del subespacio.

Significado y Afirmaciones
El artículo afirma que la formulación en el espacio de datos ofrece un paradigma computacional fundamentalmente diferente para los problemas inversos bayesianos. Al desplazar el enfoque al espacio de datos, el método elude los cuellos de botella computacionales asociados con los espacios de parámetros de alta dimensión y las factorizaciones explícitas de la covarianza a priori. Los autores afirman que su marco proporciona una comprensión geométrica rigurosa de los subespacios informados por datos y ofrece un algoritmo escalable y libre de matrices para la estimación simultánea de hiperparámetros y la aproximación posterior. Los experimentos numéricos respaldan los hallazgos teóricos, demostrando que el método es efectivo, estable y capaz de manejar problemas a gran escala donde el acceso directo a la distribución posterior es computacionalmente prohibitivo. El artículo concluye que esta perspectiva abre nuevos caminos para la inferencia posterior y sugiere direcciones futuras como la extensión del marco a problemas inversos de dimensión infinita y no lineales.