Data-informed posterior approximation for Bayesian linear inverse problems

Sintesi Tecnica: Approssimazione a posteriori informata dai dati per problemi inversi lineari bayesiani

Enunciato del Problema
Il lavoro affronta le sfide computazionali intrinseche ai problemi inversi lineari bayesiani su larga scala, formulati come $y = Gx + \eta$, dove $x \in \mathbb{R}^n$ è il parametro incognito, $y \in \mathbb{R}^m$ è l'osservazione e $\eta$ è rumore gaussiano. La difficoltà principale sorge quando la dimensione del parametro $n$ è estremamente grande ($n \gg m$), rendendo intrattabile il calcolo diretto della media e della covarianza della distribuzione a posteriori. Nello specifico, l'inversione della matrice $G^\top \Gamma^{-1} G + \lambda \Sigma^{-1}$ (dove $\Sigma$ è la covarianza a priori e $\lambda$ è un iperparametro) è computazionalmente proibitiva. Le tecniche esistenti di riduzione della dimensionalità, come quelle basate sullo sviluppo di Karhunen–Loève o sugli spazi informati dalla verosimiglianza (LIS), spesso si affidano a fattorizzazioni esplicite della covarianza a priori o operano interamente nello spazio dei parametri ad alta dimensionalità, non riuscendo a sfruttare appieno l'interazione tra l'operatore diretto e i dati osservativi. Inoltre, la selezione dell'iperparametro $\lambda$ richiede tipicamente calcoli ripetuti su larga scala nello spazio dei parametri.

Metodologia
Gli autori propongono un framework che sposta il focus computazionale dallo spazio dei parametri allo spazio dei dati. Il cuore della metodologia comprende i seguenti componenti:

1. Framework Geometrico nello Spazio dei Dati:
   Il lavoro definisce uno spazio di Hilbert quoziente $(\mathbb{R}^m/\mathcal{N}(M), \langle \cdot, \cdot \rangle_M)$, dove $M = G\Sigma G^\top$ e $\mathcal{N}(M)$ è il suo spazio nullo. Questo spazio è dotato di un prodotto scalare $\langle [u], [v] \rangle_M = u^\top M v$. Gli autori stabiliscono un'immersione isometrica $\iota$ da questo spazio dei dati allo spazio dei parametri $(\mathbb{R}^n, \langle \cdot, \cdot \rangle_{\Sigma^{-1}})$. Dimostrano che l'aggiornamento da priori a posteriori è confinato interamente nell'immagine di questa immersione, $\text{Im}(\iota) = \mathcal{R}(\Sigma G^\top)$, che ha una dimensione pari a $\text{rank}(G)$. Ciò rivela che le direzioni informative del posterior sono intrinsecamente a bassa dimensionalità e indipendenti dalla dimensione ambientale del parametro $n$.

2. Bidiagonalizzazione di Golub–Kahan nello Spazio Quoziente (Q-GKB):
   Per costruire sottospazi di Krylov informati dai dati senza formare esplicitamente $M$ o calcolare proiezioni ortogonali sul suo rango, gli autori sviluppano un nuovo algoritmo iterativo chiamato Q-GKB. Questo metodo applica il processo di bidiagonalizzazione di Golub–Kahan direttamente agli operatori definiti sullo spazio quoziente. L'algoritmo genera due sequenze di vettori, $\{u_i\}$ e $\{v_i\}$, che formano basi ortonormali per sottospazi di Krylov accoppiati nello spazio dei dati. Crucialmente, Q-GKB è un metodo senza matrice che si basa esclusivamente su prodotti matrice-vettore con $M$ e $\Gamma^{-1}$, evitando l'archiviazione e la fattorizzazione di grandi matrici dense.

3. Inferenza Bayesiana Empirica Integrata:
   Il framework integra l'inferenza bayesiana empirica per stimare simultaneamente l'iperparametro $\lambda$ e approssimare il posterior. Proiettando il problema di ottimizzazione della verosimiglianza marginale sui sottospazi di Krylov a bassa dimensionalità generati da Q-GKB, il metodo calcola una verosimiglianza marginale negativa approssimata $L^{(k)}(\lambda)$ utilizzando esclusivamente matrici su piccola scala derivate dall'iterazione. Ciò consente la determinazione efficiente di $\lambda_k$ a ogni passo senza tornare allo spazio dei parametri ad alta dimensionalità.

4. Approssimazione del Posterior:
   La media e la covarianza approssimate del posterior sono costruite all'interno del sottospazio di Krylov informato dai dati. La media approssimata coincide con la soluzione regolarizzata iterativamente, e la covarianza approssimata è calcolata tramite l'inversione di matrici su piccola scala. Il lavoro fornisce limiti teorici di errore per queste approssimazioni utilizzando la distanza di Förstner e la divergenza di Kullback–Leibler (KL), mostrando che l'errore è governato dal decadimento dei valori propri generalizzati della coppia di matrici $(M, \Gamma)$.

Contributi Chiave

• Caratterizzazione Geometrica: Il lavoro fornisce una caratterizzazione matematica rigorosa della natura a bassa dimensionalità degli aggiornamenti del posterior attraverso la geometria dello spazio quoziente dello spazio dei dati, stabilendo una corrispondenza isometrica tra spazi dei dati e spazi dei parametri.
• Algoritmo Q-GKB: Viene sviluppata una nuova formulazione nello spazio quoziente del processo di bidiagonalizzazione di Golub–Kahan, consentendo la costruzione di sottospazi di Krylov informati dai dati in modo completamente senza matrice.
• Stima Simultanea: L'integrazione dell'inferenza bayesiana empirica nell'iterazione Q-GKB consente la stima simultanea dell'iperparametro e l'approssimazione del posterior, eliminando la necessità di calcoli ripetuti ad alta dimensionalità.
• Garanzie Teoriche: Gli autori derivano limiti di errore espliciti per la media e la covarianza approssimate del posterior, collegando il tasso di convergenza alle proprietà spettrali dello spazio dei dati.

Risultati Numerici
Il metodo è validato su tre problemi rappresentativi:

1. Equazione integrale di Fredholm unidimensionale: Dimostra una rapida convergenza dell'iperparametro e della ricostruzione della soluzione, con la dimensione effettiva dello spazio dei dati significativamente inferiore alla dimensione del parametro.
2. Deblurring di immagini bidimensionali: Mostra la capacità del metodo di gestire problemi moderatamente mal posti. L'approccio Q-GKB converge più velocemente del metodo LIS diretto per la media del posterior e raggiunge una precisione comparabile per la covarianza, risultando al contempo computazionalmente fattibile su hardware standard dove LIS non lo è.
3. Tomografia computerizzata a raggi X (CT): Un'applicazione su larga scala ($n=65,536$) dove la covarianza a priori è gestita tramite un approccio senza matrice basato sulla FFT. I risultati mostrano che il metodo cattura efficacemente la media del posterior e l'incertezza (varianza), con la media del posterior che converge rapidamente e la covarianza che si stabilizza all'aumentare della dimensione del sottospazio.

Significato e Affermazioni
Il lavoro afferma che la formulazione nello spazio dei dati offre un paradigma computazionale fondamentalmente diverso per i problemi inversi bayesiani. Spostando il focus sullo spazio dei dati, il metodo aggira i colli di bottiglia computazionali associati agli spazi dei parametri ad alta dimensionalità e alle fattorizzazioni esplicite della covarianza a priori. Gli autori affermano che il loro framework fornisce una comprensione geometrica rigorosa degli spazi informati dai dati e offre un algoritmo scalabile e senza matrice per la stima simultanea degli iperparametri e l'approssimazione del posterior. Gli esperimenti numerici supportano i risultati teorici, dimostrando che il metodo è efficace, stabile e capace di gestire problemi su larga scala dove l'accesso diretto alla distribuzione a posteriori è computazionalmente proibitivo. Il lavoro conclude che questa prospettiva apre nuove vie per l'inferenza a posteriori e suggerisce direzioni future come l'estensione del framework a problemi inversi infinitodimensionali e non lineari.