Data-informed posterior approximation for Bayesian linear inverse problems

Resumo Técnico: Aproximação posterior informada por dados para problemas inversos lineares bayesianos

Enunciado do Problema
O artigo aborda os desafios computacionais inerentes a problemas inversos lineares bayesianos em grande escala, formulados como $y = Gx + \eta$, onde $x \in \mathbb{R}^n$ é o parâmetro desconhecido, $y \in \mathbb{R}^m$ é a observação e $\eta$ é ruído gaussiano. A principal dificuldade surge quando a dimensão do parâmetro $n$ é extremamente grande ($n \gg m$), tornando o cálculo direto da média e da covariância da distribuição posterior intratável. Especificamente, a inversão da matriz $G^\top \Gamma^{-1} G + \lambda \Sigma^{-1}$ (onde $\Sigma$ é a covariância a priori e $\lambda$ é um hiperparâmetro) é computacionalmente proibitiva. Técnicas existentes de redução de dimensionalidade, como as baseadas na expansão de Karhunen–Loève ou em subespaços informados pela verossimilhança (LIS), frequentemente dependem de fatorações explícitas da covariância a priori ou operam inteiramente no espaço de parâmetros de alta dimensão, falhando em explorar plenamente a interação entre o operador direto e os dados de observação. Além disso, a seleção do hiperparâmetro $\lambda$ tipicamente requer cálculos repetidos em grande escala no espaço de parâmetros.

Metodologia
Os autores propõem um framework que desloca o foco computacional do espaço de parâmetros para o espaço de dados. O núcleo da metodologia envolve os seguintes componentes:

1. Framework Geométrico no Espaço de Dados:
   O artigo define um espaço de Hilbert quociente $(\mathbb{R}^m/\mathcal{N}(M), \langle \cdot, \cdot \rangle_M)$, onde $M = G\Sigma G^\top$ e $\mathcal{N}(M)$ é seu espaço nulo. Este espaço é dotado de um produto interno $\langle [u], [v] \rangle_M = u^\top M v$. Os autores estabelecem um mergulho isométrico $\iota$ deste espaço de dados no espaço de parâmetros $(\mathbb{R}^n, \langle \cdot, \cdot \rangle_{\Sigma^{-1}})$. Eles provam que a atualização de priori para posterior está confinada inteiramente à imagem deste mergulho, $\text{Im}(\iota) = \mathcal{R}(\Sigma G^\top)$, que possui uma dimensão igual a $\text{rank}(G)$. Isso revela que as direções informativas da posterior são intrinsecamente de baixa dimensão e independentes da dimensão do parâmetro ambiente $n$.

2. Bidiagonalização Golub–Kahan em Espaço Quociente (Q-GKB):
   Para construir subespaços de Krylov informados por dados sem formar explicitamente $M$ ou calcular projeções ortogonais sobre seu intervalo, os autores desenvolvem um algoritmo iterativo inovador chamado Q-GKB. Este método aplica o processo de bidiagonalização Golub–Kahan diretamente aos operadores definidos no espaço quociente. O algoritmo gera duas sequências de vetores, $\{u_i\}$ e $\{v_i\}$, que formam bases ortonormais para subespaços de Krylov pareados no espaço de dados. Crucialmente, o Q-GKB é um método livre de matrizes que depende apenas de produtos matriz-vetor com $M$ e $\Gamma^{-1}$, evitando o armazenamento e a fatoração de matrizes densas de grande porte.

3. Inferência Bayesiana Empírica Integrada:
   O framework integra inferência bayesiana empírica para estimar simultaneamente o hiperparâmetro $\lambda$ e aproximar a posterior. Ao projetar o problema de otimização da verossimilhança marginal nos subespaços de Krylov de baixa dimensão gerados pelo Q-GKB, o método computa uma verossimilhança marginal negativa aproximada $L^{(k)}(\lambda)$ utilizando apenas matrizes de pequena escala derivadas da iteração. Isso permite a determinação eficiente de $\lambda_k$ em cada etapa sem retornar ao espaço de parâmetros de alta dimensão.

4. Aproximação Posterior:
   A média e a covariância posteriores aproximadas são construídas dentro do subespaço de Krylov informado por dados. A média aproximada coincide com a solução regularizada iterativamente, e a covariância aproximada é computada via inversão de matrizes de pequena escala. O artigo fornece limites de erro teóricos para essas aproximações utilizando a distância de Förstner e a divergência de Kullback–Leibler (KL), mostrando que o erro é governado pelo decaimento dos autovalores generalizados do par de matrizes $(M, \Gamma)$.

Contribuições Principais

• Caracterização Geométrica: O artigo fornece uma caracterização matemática rigorosa da natureza de baixa dimensão das atualizações posteriores através da geometria de espaço quociente do espaço de dados, estabelecendo uma correspondência isométrica entre os espaços de dados e de parâmetros.
• Algoritmo Q-GKB: É desenvolvida uma nova formulação em espaço quociente do processo de bidiagonalização Golub–Kahan, permitindo a construção de subespaços de Krylov informados por dados de maneira totalmente livre de matrizes.
• Estimação Simultânea: A integração da inferência bayesiana empírica na iteração Q-GKB permite a estimação simultânea de hiperparâmetros e a aproximação posterior, eliminando a necessidade de cálculos repetidos em alta dimensão.
• Garantias Teóricas: Os autores derivam limites de erro explícitos para a média e a covariância posteriores aproximadas, vinculando a taxa de convergência às propriedades espectrais do espaço de dados.

Resultados Numéricos
O método é validado em três problemas representativos:

1. Equação integral de Fredholm unidimensional: Demonstra convergência rápida do hiperparâmetro e da reconstrução da solução, com a dimensão efetiva do espaço de dados sendo significativamente menor que a dimensão do parâmetro.
2. Desembaçamento de imagem bidimensional: Mostra a capacidade do método de lidar com problemas moderadamente mal-postos. A abordagem Q-GKB converge mais rápido que o método LIS direto para a média posterior e alcança precisão comparável para a covariância, sendo computacionalmente viável em hardware padrão onde o LIS não é.
3. Tomografia computadorizada por raios X (CT): Uma aplicação em grande escala ($n=65.536$) onde a covariância a priori é tratada via uma abordagem baseada em FFT livre de matrizes. Os resultados mostram que o método captura efetivamente a média posterior e a incerteza (variância), com a média posterior convergindo rapidamente e a covariância estabilizando-se à medida que a dimensão do subespaço aumenta.

Significado e Afirmações
O artigo afirma que a formulação no espaço de dados oferece um paradigma computacional fundamentalmente diferente para problemas inversos bayesianos. Ao deslocar o foco para o espaço de dados, o método contorna os gargalos computacionais associados a espaços de parâmetros de alta dimensão e fatorações explícitas de covariância a priori. Os autores afirmam que seu framework fornece uma compreensão geométrica rigorosa de subespaços informados por dados e oferece um algoritmo escalável e livre de matrizes para estimação simultânea de hiperparâmetros e aproximação posterior. Os experimentos numéricos apoiam as descobertas teóricas, demonstrando que o método é eficaz, estável e capaz de lidar com problemas em grande escala onde o acesso direto à distribuição posterior é computacionalmente proibitivo. O artigo conclui que essa perspectiva abre novos caminhos para inferência posterior e sugere direções futuras, como a extensão do framework para problemas inversos de dimensão infinita e não lineares.