Amortized low-rank approximation for hyperparameter marginalization in PDE-governed Bayesian inverse problems

Technische Samenvatting: Geamortiseerde Low-Rank Approximatie voor Hyperparameter Marginalisatie in door PDE's gestuurde Bayesiaanse Inverse Problemen

Probleemstelling
Dit artikel behandelt de computationele uitdagingen die inherent zijn aan hiërarchische Bayesiaanse inverse problemen waarbij de parameter-naar-observatie mapping wordt gestuurd door een lineaire partiële differentiaalvergelijking (PDE). In dergelijke instellingen is het parameterveld $m$ (bijv. een beginconditie of ruimtelijke coëfficiënt) hoog- of oneindig dimensionaal, terwijl de hyperparameters $\theta$ (bijv. prior correlatielengtes of ruisvariantie) van gematigde dimensie zijn.

Hoewel de conditionele posterior distributie $P(m|\theta, y)$ Gaussisch is voor een vaste $\theta$, is het primaire doel vaak het afleiden van de hyperparameters zelf of het marginaliseren daarvan om de posterior van de parameter $m$ te verkrijgen. Dit vereist herhaalde evaluaties van de hyperparameter marginale dichtheid $P(\theta|y)$. Een directe evaluatie van $P(\theta|y)$ is computationeel prohibitief voor door PDE's gestuurde problemen omdat dit het volgende vereist:

1. Het oplossen voor de Maximum A Posteriori (MAP) schatting van $m$ voor elke $\theta$.
2. Het berekenen van de ratio van de determinanten van de prior en posterior precisie-matrices.

Beide stappen omvatten dure operaties, specifiek herhaalde toepassingen van de forward operator $A$ (het oplossen van de PDE) en haar adjunct $A^\sharp$. Bestaande low-rank approximatiemethoden, zoals de Prior-Preconditioned (PP) precisie-update, zijn efficiënt voor vaste priors, maar worden inefficiënt in hiërarchische settings waar de prior precisie $Q_{pr}$ nietlineair afhangt van $\theta$ (bijv. via een correlatielengteschaal). In dergelijke gevallen vereist de PP-methode het opnieuw berekenen van de low-rank approximatie voor elke evaluatie van $\theta$, wat het voordeel van amortisatie tenietdoet.

Methodologie
De auteurs stellen een framework voor om de computationele kosten van low-rank approximaties te "amortiseren" over meerdere evaluaties van $\pi(\theta|y)$. De kern van het idee is om de $\theta$-afhankelijke prior preconditioner te vervangen door een vaste, $\theta$-onafhankelijke referentie preconditioner. Dit maakt het mogelijk om de dure low-rank decompositie één keer (offline) te berekenen in plaats van herhaaldelijk (online).

Het artikel introduceert en analyseert twee specifieke varianten van dit geamortiseerde framework:

1. Weakest Prior-Preconditioned (WP) Approximatie:

   • Deze methode selecteert een referentie prior precisie $\hat{Q}_{pr}$ die "zwakker" is (kleinere eigenwaarden heeft) dan de ware prior precisie $Q_{pr}(\theta)$ voor alle $\theta$ in de ondersteuning van de hyperprior.
   • Wiskundig vereist dit $\hat{R}^\top \hat{R} \preceq R^\top R$ (waarbij $Q_{pr} = \delta^2 R^\sharp R$).
   • Een low-rank approximatie van de update gepreconditioneerd door $\hat{Q}_{pr}$ wordt één keer berekend. Voor een specifieke $\theta$ wordt de posterior precisie benaderd door deze vaste basis te herwegen met de werkelijke $Q_{pr}(\theta)$.
   • De auteurs bieden een theoretische foutenbound (Theorem 4.1) die aantoont dat de truncatiefout gecontroleerd wordt door de eigenwaarden van de referentie gepreconditioneerde update en de minimale waarden van de schaling hyperparameters.

2. Unpreconditioned (UP) Approximatie:

   • Dit is een limietgeval van WP waarbij de referentie prior als de identiteit (of een discrete equivalent) wordt gekozen, wat de volledige prior preconditioning effectief verwijdert.
   • Hoewel dit een hogere rang vereist voor convergentie vergeleken met gepreconditioneerde methoden, elimineert het de noodzaak om een specifieke "zwakste" prior te definiëren en vermijdt het operaties met de prior precisie tijdens de offline fase.

Beide methoden vertrouwen op generalized eigenvalue problemen om de low-rank basis te berekenen. Het framework gaat ervan uit dat de forward operator $A$ en de ruis precisie niet afhangen van $\theta$ (of slechts multiplicatief afhangen), terwijl de prior precisie op een complexe, nietlineaire wijze van $\theta$ kan afhangen.

Belangrijkste Bijdragen

• Amortisatie Framework: Het artikel breidt state-of-the-art low-rank approximatie technieken uit naar hiërarchische problemen met nietlineaire prior hyperparameters. Door de basisberekening te ontkoppelen van de specifieke hyperparameter waarden, vermijdt de methode de $O(N \cdot r)$ kosten van het herberekenen van approximaties voor $N$ evaluaties.
• Theoretische Garanties: De auteurs stellen rigoureuze bovengrenzen vast voor de truncatiefout voor de WP methode. Deze bounds leiden bij de selectie van de truncatie rang $r$ op basis van de eigenvalue decay van de referentie gepreconditioneerde update en de hyperparameter ranges.
• Complexiteitsanalyse: Een gedetailleerde vergelijking van de computationele complexiteit (Tabel 4.1) laat zien dat hoewel WP en UP hogere rangen kunnen vereisen dan de directe PP methode voor een bepaalde nauwkeurigheid, de eliminatie van herhaalde PDE solves tijdens de online fase resulteert in significante versnellingen voor problemen die veel marginale dichtheid evaluaties vereisen.
• Deterministische Quadratuur: In tegen tegenoverking van MCMC-gebaseerde benaderingen, maakt dit volledig deterministische framework efficiënte quadrature-gebaseerde integratie over de hyperparameter ruimte mogelijk, wat een verbetering biedt ten opzichte van empirische Bayes schattingen die vertrouwen op een enkele punt-schatting.

Numerieke Resultaten
De methoden werden geëvalueerd op een advectie-diffusie beginconditie inverse probleem in zowel 2D als 3D ruimtelijke domeinen.

• 2D Probleem: Gebruikmakend van een mesh met ~4.500 elementen en 32 ruimtelijke sensoren, bereikten de WP en UP methoden een versnelling van ongeveer 11x tot 19x ten opzichte van de directe PP methode voor 100 evaluaties van de marginale dichtheid.
• 3D Probleem: De computationele voordelen waren nog prominenter bij het 3D probleem. De directe PP methode vereiste geëxtrapoleerde tijden van ~65 uur voor 100 evaluaties, terwijl WP en UP respectievelijk ~2 en ~3 uur vereisten. Dit vertegenwoordigt een versnelling van 30–45x.
• Foutanalyse: De numerieke experimenten bevestigden dat de fout in de log-determinant term ($e_1$) over het algemeen de fout in de posterior mean benadering ($e_2$) domineert voor de geteste rangen. Bij consequent was de low-rank approximatie alleen vaak voldoende zonder dat iteratieve solvers (zoals Conjugate Gradient) nodig waren om de mean te verfijnen, wat de versnelling verder vergrootte.
• Marginalisatie: Het framework slaagde erin de marginale distributie van een quantity of interest (QoI) te berekenen door de geamortiseerde evaluaties van $\pi(\theta|y)$ te combineren met Gaussian quadrature, wat de capaciteit demonstreert om de onzekerheid in hyperparameters te vangen en deze door te geven aan de parameter schatting.

Betekenis en Claims
De auteurs stellen dat het opofferen van de optimaliteit van de basis (door een $\theta$-onafhankelijke preconditioner te gebruiken) een zeer gunstige trade-off is wanneer het forward probleem duur is en veel evaluaties van de marginale dichtheid vereist zijn. De voorgestelde methoden maken het mogelijk om efficiënt hiërarchische Bayesiaanse inverse problemen met nietlineaire prior hyperparameters (zoals correlatielengtes) op te lossen zonder terug te vallen op MCMC sampling of restrictieve aannames over lineaire hyperparameter afhankelijkheid.

De auteurs merken op dat hun benadering momenteel beperkt is tot lineaire forward operators en hyperparameters die niet zelf in de forward map $A$ ingaan. Zij suggereren dat toekomstig werk deze ideeën kan uitbreiden naar problemen waarbij $A$ afhangt van $\theta$ door integratie met surrogate modeling technieken, of naar niet-Gaussische settings via linearisatie en Laplace benaderingen vergelijkbaar met Integrated Nested Laplace Approximation (INLA). Echter, de huidige bijdrage richt zich strikt op de lineaire Gaussische conditionele setting met nietlineaire prior hyperparameters.