Data-informed posterior approximation for Bayesian linear inverse problems

Technische Samenvatting: Data-gestuurde posteriorbenadering voor Bayesiaanse lineaire inverse problemen

Probleemstelling
Het artikel adresseert de computationele uitdagingen die inherent zijn aan grootschalige Bayesiaanse lineaire inverse problemen, geformuleerd als $y = Gx + \eta$, waarbij $x \in \mathbb{R}^n$ de onbekende parameter is, $y \in \mathbb{R}^m$ de observatie, en $\eta$ Gaussisch ruis. De primaire moeilijkheid doet zich voor wanneer de parameterdimensie $n$ extreem groot is ($n \gg m$), waardoor de directe berekening van het gemiddelde en de covariantie van de posteriorverdeling onuitvoerbaar wordt. Specifiek is de inversie van de matrix $G^\top \Gamma^{-1} G + \lambda \Sigma^{-1}$ (waarbij $\Sigma$ de a-priori covariantie is en $\lambda$ een hyperparameter) computationeel onhaalbaar. Bestaande dimensiereductietechnieken, zoals die gebaseerd op de Karhunen–Loève-ontwikkeling of likelihood-informeerde deelruimten (LIS), vertrouwen vaak op expliciete factorisaties van de a-priori covariantie of opereren volledig binnen de hoogdimensionale parameterruimte, waardoor ze het onderlinge verband tussen de voorwaartse operator en de observatiedata niet volledig benutten. Bovendien vereist de selectie van de hyperparameter $\lambda$ doorgaans herhaalde grootschalige berekeningen in de parameterruimte.

Methodologie
De auteurs stellen een raamwerk voor dat de computationele focus verlegt van de parameterruimte naar de dataruimte. De kern van de methodologie omvat de volgende componenten:

1. Geometrisch Raamwerk in de Datruimte:
   Het artikel definieert een quotiënt-Hilbertruimte $(\mathbb{R}^m/\mathcal{N}(M), \langle \cdot, \cdot \rangle_M)$, waarbij $M = G\Sigma G^\top$ en $\mathcal{N}(M)$ de nulruimte daarvan is. Deze ruimte is voorzien van een inproduct $\langle [u], [v] \rangle_M = u^\top M v$. De auteurs stellen een isometrische inbedding $\iota$ vast van deze dataruimte naar de parameterruimte $(\mathbb{R}^n, \langle \cdot, \cdot \rangle_{\Sigma^{-1}})$. Zij bewijzen dat de update van a-priori naar a-posteriori volledig beperkt blijft tot het beeld van deze inbedding, $\text{Im}(\iota) = \mathcal{R}(\Sigma G^\top)$, welke een dimensie heeft gelijk aan $\text{rank}(G)$. Dit onthult dat de informatieve richtingen van de posterior intrinsiek laagdimensionaal zijn en onafhankelijk van de omringende parameterdimensie $n$.

2. Quotiënt-Ruimte Golub–Kahan Bidiagonalisatie (Q-GKB):
   Om data-informeerde Krylov-deelruimten te construeren zonder $M$ expliciet te vormen of orthogonale projecties op het bereik daarvan te berekenen, ontwikkelen de auteurs een nieuw iteratief algoritme genaamd Q-GKB. Deze methode past het bidiagonalisatieproces van Golub–Kahan direct toe op de operatoren gedefinieerd op de quotiëntruimte. Het algoritme genereert twee rijen vectoren, $\{u_i\}$ en $\{v_i\}$, die orthonormale bases vormen voor gepaarde Krylov-deelruimten in de dataruimte. Cruciaal is dat Q-GKB een matrixvrije methode is die uitsluitend steunt op matrix-vectorproducten met $M$ en $\Gamma^{-1}$, waardoor het opslaan en factoriseren van grote dichte matrices wordt vermeden.

3. Geïntegreerde Empirische Bayesiaanse Inferentie:
   Het raamwerk integreert empirische Bayesiaanse inferentie om gelijktijdig de hyperparameter $\lambda$ te schatten en de posterior te benaderen. Door het optimalisatieprobleem van de marginale likelihood te projecteren op de laagdimensionale Krylov-deelruimten gegenereerd door Q-GKB, berekent de methode een benaderde negatieve log-marginal likelihood $L^{(k)}(\lambda)$ met uitsluitend kleine matrices afgeleid van de iteratie. Dit maakt een efficiënte bepaling van $\lambda_k$ op elke stap mogelijk zonder terug te keren naar de hoogdimensionale parameterruimte.

4. Posteriorbenadering:
   De benaderde posteriorgemiddelde en -covariantie worden geconstrueerd binnen de data-informeerde Krylov-deelruimte. De benaderde gemiddelde valt samen met de iteratief geregulariseerde oplossing, en de benaderde covariantie wordt berekend via de inversie van kleine matrices. Het artikel biedt theoretische foutgrenzen voor deze benaderingen aan met behulp van de Förstner-afstand en de Kullback–Leibler (KL)-divergentie, waaruit blijkt dat de fout wordt bepaald door het verval van de gegeneraliseerde eigenwaarden van het matrixpaar $(M, \Gamma)$.

Belangrijkste Bijdragen

• Geometrische Karakterisering: Het artikel biedt een rigoureuze wiskundige karakterisering van het laagdimensionale karakter van posteriorupdates via de quotiënt-ruimtegeometrie van de dataruimte, waarbij een isometrische correspondentie tussen data- en parameterruimten wordt vastgesteld.
• Q-GKB Algoritme: Een nieuwe quotiënt-ruimteformulering van het Golub–Kahan bidiagonalisatieproces wordt ontwikkeld, wat de constructie van data-informeerde Krylov-deelruimten op een volledig matrixvrije manier mogelijk maakt.
• Gelijktijdige Schatting: De integratie van empirische Bayesiaanse inferentie in de Q-GKB-iteratie maakt gelijktijdige hyperparameterschatting en posteriorbenadering mogelijk, waardoor de behoefte aan herhaalde hoogdimensionale berekeningen wordt geëlimineerd.
• Theoretische Garantiën: De auteurs leiden expliciete foutgrenzen af voor de benaderde posteriorgemiddelde en -covariantie, waarbij de convergentiesnelheid wordt gekoppeld aan de spectrale eigenschappen van de dataruimte.

Numerieke Resultaten
De methode wordt gevalideerd op drie representatieve problemen:

1. Eendimensionale Fredholm-integraalvergelijking: Demonstreert snelle convergentie van de hyperparameter en reconstructie van de oplossing, waarbij de effectieve dataruimtedimensie aanzienlijk kleiner is dan de parameterdimensie.
2. Tweedimensionale beeldontwarring: Toont het vermogen van de methode om matig slecht gestelde problemen aan te pakken. De Q-GKB-benadering convergeert sneller dan de directe LIS-methode voor de posteriorgemiddelde en bereikt vergelijkbare nauwkeurigheid voor de covariantie, terwijl deze computationeel haalbaar is op standaardhardware waar LIS dat niet is.
3. Röntgencomputertomografie (CT): Een grootschalige toepassing ($n=65.536$) waarbij de a-priori covariantie wordt behandeld via een matrixvrije FFT-gebaseerde aanpak. De resultaten tonen aan dat de methode de posteriorgemiddelde en onzekerheid (variantie) effectief vastlegt, waarbij de posteriorgemiddelde snel convergeert en de covariantie stabiliseert naarmate de deelruimtedimensie toeneemt.

Betekenis en Beweringen
Het artikel beweert dat de dataruimteformulering een fundamenteel ander computationeel paradigma biedt voor Bayesiaanse inverse problemen. Door de focus te verleggen naar de dataruimte, omzeilt de methode de computationele knelpunten die geassocieerd zijn met hoogdimensionale parameterruimten en expliciete factorisaties van de a-priori covariantie. De auteurs stellen dat hun raamwerk een rigoureuze geometrische understanding biedt van data-informeerde deelruimten en een schaalbaar, matrixvrij algoritme biedt voor gelijktijdige hyperparameterschatting en posteriorbenadering. De numerieke experimenten ondersteunen de theoretische bevindingen en tonen aan dat de methode effectief, stabiel is en in staat om grootschalige problemen aan te pakken waarbij directe toegang tot de posteriorverdeling computationeel onhaalbaar is. Het artikel concludeert dat dit perspectief nieuwe paden opent voor posteriorinferentie en toekomstige richtingen suggereert, zoals het uitbreiden van het raamwerk naar oneindigdimensionale en niet-lineaire inverse problemen.