Amortized low-rank approximation for hyperparameter marginalization in PDE-governed Bayesian inverse problems

Resumo Técnico: Aproximação de Baixo Rank Amortizada para Marginalização de Hiperparâmetros em Problemas Inversos Bayesianos Governados por EDPs

Enunciado do Problema
Este artigo aborda os desafios computacionais inerentes aos problemas inversos Bayesianos hierárquicos onde o mapeamento parâmetro-observável é governado por uma Equação Diferencial Parcial (EDP) linear. Nesses cenários, o campo de parâmetros $m$ (por exemplo, uma condição inicial ou um coeficiente espacial) é de alta ou infinita dimensão, enquanto os hiperparâmetros $\theta$ (por exemplo, comprimentos de correlação de prior ou variância do ruído) são de dimensão moderada.

Embora a distribuição posterior condicional $P(m|\theta, y)$ seja Gaussiana para um $\theta$ fixo, o objetivo principal é frequentemente inferir os próprios hiperparâmetros ou marginalizá-los para obter a posterior do parâmetro $m$. Isso requer a avaliação repetida da densidade marginal de hiperparâmetros $\pi(\theta|y)$. A avaliação direta de $P(\theta|y)$ é computacionalmente proibitiva para problemas governados por EDPs porque exige:

1. Resolver para a estimativa de Máxima Posterior (MAP) de $m$ para cada $\theta$.
2. Computar a razão de determinantes das matrizes de precisão da prior e da posterior.

Ambas as etapas envolvem operações caras, especificamente aplicações repetidas do operador de avanço $A$ (resolvendo a EDP) e de seu adjunto $A^\sharp$. Métodos existentes de aproximação de baixo rank, como a atualização de precisão Pré-condicionada pela Prior (PP), são eficientes para priors fixos, mas tornam-se ineficientes em configurações hierárquicas onde a precisão da prior $Q_{pr}$ depende não linearmente de $\theta$ (por exemplo, via um comprimento de escala de correlação). Nesses casos, o método PP exige a recomputação da aproximação de baixo rank para cada avaliação de $\theta$, anulando os benefícios da amortização.

Metodologia
Os autores propõem um framework para "amortizar" o custo computacional das aproximações de baixo rank através de múltiplas avaliações de $\pi(\theta|y)$. A ideia central é substituir o pré-condicionador da prior dependente de $\theta$ por um pré-condicionador de referência fixo e independente de $\theta$. Isso permite que a decomposição de baixo rank seja computada uma única vez (offline) em vez de repetidamente (online).

O artigo introduz e analisa dois variantes específicas deste framework amortizado:

1. Aproximação de Prior Pré-condicionada Mais Fraca (WP - Weakest Prior-Preconditioned):

   • Este método seleciona uma precisão de prior de referência $\hat{Q}_{pr}$ que é "mais fraca" (ou seja, possui autovalores menores) do que a verdadeira precisão da prior $Q_{pr}(\theta)$ para todo $\theta$ no suporte da hiperprior.
   • Matematicamente, isso requer $\hat{R}^\top \hat{R} \preceq R^\top R$ (onde $Q_{pr} = \delta^2 R^\sharp R$).
   • Uma aproximação de baixo rank da atualização pré-condicionada por $\hat{Q}_{pr}$ é computada uma única vez. Para qualquer $\theta$ específico, a precisão posterior é aproximada reponderando esta base fixa com a $Q_{pr}(\theta)$ real.
   • Os autores fornecem um limite de erro teórico (Teorema 4.1) mostrando que o erro de truncamento é controlado pelos autovalores da atualização pré-condicionada de referência e pelos valores mínimos dos hiperparâmetros de escala.

2. Aproximação Não Pré-condicionada (UP - Unpreconditioned):

   • Este é um caso limite de WP onde a prior de referência é escolhida como a identidade (ou um equivalente discreto), efetivamente removendo o pré-condicionamento da prior por completo.
   • Embora exija um rank mais alto para convergência em comparação com métodos pré-condicionados, este método elimina a necessidade de definir uma prior "mais fraca" específica e evita operações com a precisão da prior durante a etapa offline.

Ambos os métodos baseiam-se em problemas de autovalores generalizados para computar a base de baixo rank. O framework assume que o operador de avanço $A$ e a precisão do ruído não dependem de $\theta$ (ou dependem apenas multiplicativamente), enquanto a precisão da prior pode depender de $\theta$ de maneira complexa e não linear.

Principais Contribuições

• Framework de Amortização: O artigo estende as técnicas de estado da arte de aproximação de baixo rank para problemas hierárquicos com hiperparâmetros de prior não lineares. Ao desacoplar o cálculo da base da dependência dos valores específicos dos hiperparâmetros, o método evita o custo de $O(N \cdot r)$ de recomputar aproximações para $N$ avaliações.
• Garantias Teóricas: Os autores estabelecem limites superiores rigorosos sobre o erro de truncamento para o método WP. Esses limites orientam a seleção do rank de truncamento $r$ com base na decaída dos autovalores da atualização pré-condicionada de referência e nos intervalos dos hiperparâmetros.
• Análise de Complexidade: Uma comparação detalhada da complexidade computacional (Tabela 4.1) demonstra que, embora WP e UP possam exigir ranks mais altos do que o método PP direto para uma determinada precisão, a eliminação de resoluções repetidas de EDP durante a fase online resulta em ganhos significativos de velocidade para problemas que exigem muitas avaliações da densidade marginal.
• Quadratura Determinística: Diferente das abordagens baseadas em MCMC, este framework totalmente determinístico permite a integração eficiente via quadratura sobre o espaço dos hiperparâmetros, oferecendo uma melhoria sobre a estimação de Bayes empírico, que depende de uma estimativa de ponto único.

Resultados Numéricos
Os métodos foram avaliados em um problema inverso de condição inicial de advecção-difusão em domínios espaciais 2D e 3D.

• Problema 2D: Utilizando uma malha com aproximadamente 4.500 elementos e 32 sensores espaciais, os métodos WP e UP alcançaram um aumento de velocidade de aproximadamente 11x a 19x em relação ao método PP direto para 100 avaliações da densidade marginal.
• Problema 3D: O domínio de 3D, com uma malha de aproximadamente 35.000 elementos e 51 sensores, apresentou uma vantagem computacional ainda mais pronunciada. O método PP direto exigiu tempos extrapolados de ~65 horas para 100 avaliações, enquanto WP e UP exigiram ~2 e ~3 horas, respectivamente. Isso representa um aceleração de 30–45x.
• Análise de Erro: Os experimentos numéricos confirmaram que o erro no termo do log-determinante ($e_1$) geralmente domina o erro na aproximação da média posterior ($e_2$) para os ranks testados. Consequentemente, a aproximação de baixo rank sozinha foi frequentemente suficiente sem a necessidade de solvers iterativos (como o Gradiente Conjugado) para refinar a média, aumentando ainda mais a velocidade.
• Marginalização: O framework conseguiu computar a distribuição marginal de uma quantidade de interesse (QoI) combinando as avaliações amortizadas de $\pi(\theta|y)$ com quadratura gaussiana, demonstrando a capacidade de capturar a incerteza nos hiperparâmetros e propagá-la para a estimativa do parâmetro.

Significância e Alegações
O artigo afirma que sacrificar a otimalidade da base (ao usar um pré-condicionador independente de $\theta$) é uma troca altamente favorável quando o problema de avanço é caro e muitas avaliações da densidade marginal são necessárias. Os métodos propostos permitem a solução eficiente de problemas inversos Bayesianos hierárquicos com hiperparâmetros de prior não lineares (como comprimentos de correlação) sem recorrer à amostragem MCMC ou a suposições restritivas de dependência linear de hiperparâmetros.

Os autores observam que sua abordagem é atualmente limitada a operadores de avanço lineares e hiperparâmetros que não entram no próprio mapa de avanço $A$. Eles sugerem que trabalhos futuros podem estender essas ideias para problemas onde $A$ depende de $\theta$, integrando técnicas de modelagem de substitutos (surrogates), ou para configurações não gaussianas via linearização e aproximações de Laplace, similares à Aproximação de Laplace Integrada (INLA). No entanto, a contribuição atual foca estritamente no cenário condicional Gaussiano Linear com hiperparâmetros de prior não lineares.