Decoupled Latent Optimization of Diffusion Models for Full Waveform Inversion

Technische Samenvatting: Ontkoppelde Latente Optimalisatie van Diffusiemodellen voor Full Waveform Inversion

1. Probleemstelling

Full Waveform Inversion (FWI) is een door PDE's beperkt optimalisatieprobleem dat gericht is op het herstellen van hoog-resolutie ondergrondse snelheidmodellen uit seismische golfveldopnames. Het probleem is ernstig slecht gesteld en niet-convex vanwege de niet-lineariteit van de golfvergelijking en beperkte ondergrondse illuminatie. Dit leidt tot een misfit-landschap vol lokale minima, met name het "cycle-skipping" fenomeen, waarbij de optimalisatie convergeert naar incorrecte oplossingen als het initiële snelheidsmodel onnauwkeurig is of als de data ruisachtig of incompleet is.

Hoewel klassieke regularisatiemethoden (bijv. Tikhonov, Total Variation) de inversie stabiliseren, slagen ze er vaak niet in om realistische geologische structuren te reproduceren; ze resulteren ofwel in overmatige afvlakking van fijne details, ofwel in de introductie van traptreden-artefacten. Daarentegen proberen recente diffusie-gebaseerde benaderingen gebruik te maken van data-gedreven priors, maar zij worden geconfronteerd met aanzienlijke uitdagingen:

• Inconsistentie van fysieke restricties: Methoden die FWI-gradiëntstappen afwisselen met diffusie-sampling (bijv. DiffusionFWI) worstelen met het balanceren van fysieke restricties met de door Gaussische ruis aangetaste marginalen die door de sampler worden bezocht, wat leidt tot fragiele hyperparameter-afwegingen.
• Gevoeligheid voor initialisatie: Methoden die direct optimaliseren in de latente ruimte van een diffusie-sampler (Latent Optimization) beperken de oplossing tot de geleerde manifold, maar sluiten het gebruik van fysiek geïnformeerde initialisaties (bijv. gesmoothde snelheidmodellen) uit, die essentieel zijn voor het vermijden van cycle-skipping in klassieke FWI. Bovendien destabiliseert het terugpropageren door de samengestelde ketens van de PDE-solver en de sampler de gradiënten.

2. Methodologie: Decoupled Latent Optimization (DLO)

De auteurs stellen Decoupled Latent Optimization (DLO) voor, een framework dat een vooraf getraind diffusiemodel in het FWI-proces implementeert als een regularisatiemechanisme zonder de bovengenoemde nadelen.

Kernformulering:
In plaats van de strikte latente optimalisatie-formulering $\min_z \|F(R_\theta(z)) - d_{obs}\|^2$, versoepelt DLO de gelijkheidsrestrictie $v = R_\theta(z)$ naar een kwadratische straffunctie over twee variabelen: een fysieke snelheidsvariabele $v$ en een hulpvariabele latente variabele $z$. De doelfunctie is:
$$\min_{v, z} \|F(v) - d_{obs}\|^2 + \lambda \|v - R_\theta(z)\|^2$$
waarbij:

• $F(v)$ de forward wave-equation operator is.
• $R_\theta(z)$ de deterministische DDIM-sampler (de decoder) is die een latente vector $z$ naar een prior snelheidssample mapt.
• $\lambda$ een vaste strafparameter is.

Optimalisatiestrategie:
De methode maakt gebruik van een alternerend gradiëntafdaling-schema:

1. Fysieke update ($v$-stap): De fysieke snelheid $v$ wordt bijgewerkt met behulp van de gradiënt van de data-misfit (berekend via de adjoint-state methode) en een regularisatieterm die $v$ richting de huidige prior sample $R_\theta(z)$ stuurt. Cruciaal is dat deze stap volledig in de fysieke ruimte opereert, waardoor standaard gesmoothde-snelheid initialisatie mogelijk is om cycle-skipping te vermijden.
2. Latente update ($z$-stap): De latente variabele $z$ wordt bijgewerkt om de afstand tussen de huidige fysieke snelheid $v$ en de gedecodeerde prior sample $R_\theta(z)$ te minimaliseren. Dit houdt het terugpropageren door de unrolled DDIM-sampler (een deterministische ODE-discretisatie) in, om de latente code te vinden die $v$ het beste projecteert op de geleerde prior manifold.

Theoretische Rechtvaardiging:
Het artikel biedt een rigoureuze analyse die aantoont dat naarmate $\lambda \to \infty$, de minimizers van de strafformulering convergeren naar de minimizers van het oorspronkelijke beperkte latente optimalisatieprobleem. In de praktijk wordt echter een vaste, gematigde $\lambda$ gebruikt om de slecht geconditioneerde aard die gepaard gaat met klassieke strafmethoden te vermijden, terwijl een "zachte" restrictie behouden blijft die de inversie naar de geleerde geologische manifold stuurt.

3. Belangrijkste Bijdragen

• Nieuwe Formulering: Introductie van DLO, die de fysieke inversie ontkoppelt van de diffusie-sampler, waardoor het conflict tussen de eisen voor initialisatie in de fysieke ruimte en de noodzaak van sterke data-gedreven priors wordt opgelost.
• Gradiëntstabiliteit: Door het vermijden van backpropagation door de samengestelde PDE-solver en sampler keten tijdens de fysieke update, stabiliseert de methode het optimalisatielandschap.
• Robuuste Initialisatie: Het framework behoudt de mogelijkheid om FWI te initialiseren met gesmoothde snelheidmodellen, een cruciale vereiste voor convergentie in niet-convexe PDE-gecontroleerde problemen.
• Onzekerheidskwantificatie: De stochastische aard van de latente initialisatie ($z \sim \mathcal{N}(0, I)$) maakt het genereren van een ensemble van oplossingen mogelijk, wat een pixel-niveau onzekochatingsschatting oplevert die positief correleert met de reconstructiefout.

4. Experimentele Resultaten

De auteurs evalueerden DLO op de OpenFWI benchmark (die vlakke, gebroken, gebogen en complexe gebroken geologische regimes beslaat) en de out-of-distribution Marmousi en Overthrust benchmarks.

• Prestaties op OpenFWI: DLO presteerde consequent beter dan klassieke regularisaties (Tikhonov, TV) en bestaande diffusie-gebaseerde methoden (DiffusionFWI, RED-DiffEq) in scenario's met schone, ruisige en incomplete trace-data. Het behaalde superieure metrieken (RMSE, MAE, SSIM), met name bij het herstellen van complexe breukstructuren en fijne details, terwijl artefacten werden onderdrukt.
• Robuustheid: DLO vertoonde een opmerkelijke robuustheid tegen additieve Gaussische ruis (tot $\sigma=0.5$) en aanzienlijk verlies van traces (tot 85,7% dataverlies), waarbij coherente geologische structuren behouden bleven waar andere methoden degradeerden of niet-fysieke artefacten produceerden.
• Generalisatie: Een diffusie-prior getraind uitsluitend op $70 \times 70$ OpenFWI modellen werd direct overgedragen naar de grotere, structureel verschillende Marmousi en Overthrust benchmarks zonder hertraining. DLO slaagde erin complexe thrust sheets en hellende lagen te herstellen in deze out-of-distribution settings.
• Initialisatie-ongevoeligheid: In tegen tegenover de latent-optimalisatie baselines bleef de prestatie van DLO stabiel over variërende graden van initiële model smoothing ($\sigma_{init}$), wat de effectiviteit van het benutten van fysieke priors bevestigt.
• Onzekerheidscorrelatie: Experimenten toonden een sterke positieve correlatie tussen de ensemble standaarddeviatie (geïnduceerd door willekeurige latente initialisatie) en de absolute reconstructiefout, wat de validiteit van het ensemble-gemiddelde als betrouwbare voorspeller van lokale reconstructiekwaliteit bevestigt.

5. Betekenis en Claims

Het artikel claimt dat DLO een belangrijke vooruitgang vormt bij het oplossen van door PDE's beheerde inverse problemen door succesvol generatieve priors te integreren zonder de fysieke restricties of initialisatiestrategieën die nodig zijn voor convergentie in gevaar te brengen.

• Het overbruggen van de kloof: DLO overbrugt de kloof tussen het structurele realisme dat door diffusiemodellen wordt geboden en de fysieke stabiliteit die vereist is door klassieke FWI.
• Praktische Toepasbaarheid: De robuustheid van de methode tegen ruis, ontbrekende data en out-of-distribution geologie suggereert een sterk potentieel voor real-world seismische beeldvormingsapplicaties waar datakwaliteit en geologische complexiteit aanzienlijk kunnen variëren.
• Schaalbaarheid: Het vermogen om een kleine-schaal prior direct over te dragen naar grote, complexe domeinen zonder modificatie onderstreept de schaalbaarheid van de aanpak.

De auteurs concluderen dat het principe van gedecoupleerde latente optimalisatie breed toepasbaar is op andere door PDE's beheerde inverse problemen waar een vooraf getrainde generatieve prior beschikbaar is, wat een pad biedt naar nauwkeurigere en robuustere ondergrondse beeldvorming.