RED-DiffEq: Regularization by denoising diffusion models for solving inverse PDE problems with application to full waveform inversion

Dit artikel introduceert RED-DiffEq, een nieuw computerramwerk dat voorgeprogrammeerde diffusiemodellen gebruikt als regularisatiemechanisme om inverse problemen voor partiële differentiaalvergelijkingen, zoals volledige golfvorminversie in de geofysica, nauwkeuriger en robuuster op te lossen dan conventionele methoden.

De kern

Stel je voor dat je probeert een foto te maken van iets dat diep onder de aarde ligt, zoals een schat of een aardbevingsschade, maar je hebt geen camera. Je hebt alleen een paar microfoons aan het oppervlak die geluidsgolven opvangen die van die diepte terugkaatsen. Dit is wat geofysici doen bij Full Waveform Inversion (FWI): ze proberen een beeld te maken van de ondergrond op basis van geluid.

Het probleem? De aarde is niet egaal. Het is een wirwar van rotsen, vloeistoffen en breuken. De geluidsgolven gedragen zich chaotisch, en de metingen zijn vaak ruisig (zoals statisch op de radio) of incompleet (alsof je een foto maakt met een kapotte lens). Als je gewoon probeert de wiskundige vergelijkingen op te lossen, krijg je vaak een wazig, onzin-beeld of een resultaat dat vastloopt in een "val" waaruit je niet meer kunt ontsnappen.

Hier komt RED-DiffEq om de hoek kijken. De auteurs van dit paper hebben een slimme nieuwe manier bedacht om dit probleem op te lossen, door twee werelden te combineren: de harde natuurkunde en de slimme kunstmatige intelligentie.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Scheidsrechter" die weet hoe de aarde eruit moet zien

Stel je voor dat je een puzzel probeert op te lossen, maar je hebt geen randjes en de stukjes zijn door elkaar gehaald. Als je alleen naar de stukjes kijkt, raak je in de war.
Nu stel je je voor dat je een meester-puzzelbouwer (een AI) hebt die duizenden puzzels van aardlagen heeft gezien. Deze meester weet precies hoe een "echte" aardlaag eruit moet zien. Hij weet dat rotsen niet zomaar in de lucht zweven en dat lagen vaak glad overgaan in elkaar.

In de wereld van RED-DiffEq is deze meester-puzzelbouwer een Diffusiemodel. Dit is een type AI dat is getraind om "ruis" (een wazig beeld) om te toveren in een scherp, logisch beeld. Het heeft geleerd wat een "plausibele" ondergrond is.

2. Het spel: Wiskunde vs. Intuïtie

Het oplossen van het probleem is als een spelletje tussen twee spelers:

• Speler A (De Natuurkunde): Deze speler zegt: "Kijk, deze geluidsmetingen moeten hierdoor komen. Als je dit beeld van de ondergrond gebruikt, klopt de wiskunde niet." Hij duwt het beeld in de richting van de metingen.
• Speler B (De AI/RED-DiffEq): Deze speler zegt: "Wacht, dat beeld ziet er onmogelijk uit! Die scherpe hoeken en rare patronen bestaan niet in de natuur. Ik heb duizenden echte aardlagen gezien, en dit is niet hoe het eruit ziet." Hij duwt het beeld terug naar een vorm die er "natuurlijk" uitziet.

RED-DiffEq is de slimme scheidsrechter die deze twee krachten in balans houdt. Hij gebruikt de AI niet om het antwoord direct te geven, maar als een regelaar. Hij zegt: "Blijf dicht bij de metingen, maar zorg dat het eruit ziet als iets dat de natuur ook zou kunnen maken."

3. Waarom is dit zo cool? (De analogie van de restauratie)

Stel je voor dat je een oude, beschadigde schilderij wilt restaureren.

• Oude methoden: Ze proberen de gaten te dichten met een egale verf (Tikhonov) of met blokjes (Total Variation). Het resultaat is vaak te glad of ziet eruit als een digitale trap.
• De nieuwe methode (RED-DiffEq): Het is alsof je een kunstschilder hebt die duizenden schilderijen van die stijl heeft gezien. Als hij een gat ziet, zegt hij niet "vul het met grijs", maar "ik weet dat hier een boomtak hoorde, want dat past bij de rest van het schilderij."

Dit zorgt ervoor dat RED-DiffEq:

• Ruisig data aankan: Zelfs als je metingen erg slecht zijn (veel ruis), weet de AI hoe het er had moeten zijn, en corrigeert hij de fouten.
• Ontbrekende stukjes invult: Als je maar de helft van de geluidsmetingen hebt, vult de AI de rest in op basis van wat hij heeft geleerd.
• Groot en complex is: Het werkt zelfs als je een heel groot gebied moet scannen, terwijl de AI alleen op kleine stukjes is getraind. Het is alsof je een mozaïek kunt maken van een hele muur, terwijl je de tegels alleen op een klein tafeltje hebt geoefend.

4. Het resultaat

In de tests (met name op de "OpenFWI" dataset, een soort oefenboek voor aardwetenschappers) bleek RED-DiffEq veel beter te zijn dan de oude methoden.

• Het maakte scherper beelden van breuken en lagen.
• Het maakte minder fouten bij ruis.
• Het gaf zelfs aan waar het niet zeker van was. Net als een mens die zegt: "Hier ben ik 90% zeker van, maar hier is het erg wazig, dus wees voorzichtig."

Samenvattend

RED-DiffEq is als het geven van een super-intelligente gids aan een wiskundige die probeert een raadsel op te lossen. De wiskundige doet de zware berekeningen, maar de gids (de AI) zorgt ervoor dat het antwoord er niet uit ziet als een onmogelijke droom, maar als een realistisch stukje van onze aarde. Hierdoor kunnen we dieper en scherper kijken in de ondergrond, zelfs als de data niet perfect is.

Technische samenvatting

Titel

RED-DiffEq: Regularisatie door ontdoening met diffusiemodellen voor het oplossen van inverse PDE-problemen, toegepast op volledige golfvorminversie.

1. Het Probleem

Inverse problemen die worden bestuurd door partiële differentiaalvergelijkingen (PDE's) zijn fundamenteel in wetenschap en engineering, maar ze staan voor aanzienlijke uitdagingen:

• Niet-lineariteit en Ill-posedheid: Deze problemen zijn vaak niet-convex en gevoelig voor ruis en onvolledige waarnemingen.
• Full Waveform Inversion (FWI): Een specifiek en kritisch voorbeeld in de geofysica is FWI, waarbij het doel is om hoge-resolutie ondergrondse snelheidsmodellen te reconstrueren uit seismische metingen.
• Cyclus-Skipping: Een groot probleem in FWI is "cycle skipping", waarbij de voorspelde en waargenomen golfvormen meer dan een halve periode uit elkaar liggen. Dit leidt tot het vastlopen in lokale minima in plaats van de globale oplossing.
• Beperkingen van bestaande methoden:
  • Klassieke regularisatie (zoals Tikhonov of Total Variation) kan leiden tot oververvaging of "trapartefacten" (staircase artifacts) en produceert vaak geen geologisch realistische modellen.
  • Machine Learning (PINNs, Neural Operators) heeft moeite met generalisatie naar data buiten de trainingsverdeling (out-of-distribution) en is vaak gevoelig voor ruis.
  • Bestaande diffusiemodel-benaderingen voor FWI integreren vaak conventionele FWI-stappen in het generatieve proces, wat het moeilijk maakt om de balans tussen data-trouw en de geleerde prior systematisch te beheren.

2. Methodologie: RED-DiffEq

De auteurs introduceren RED-DiffEq, een nieuw computeraal kader dat physics-driven inversie combineert met data-gedreven leren via diffusiemodellen.

• Kernconcept: Het gebruik van een vooraf getraind diffusiemodel als een regularisatiemechanisme binnen het inversieproces. Dit wordt gedaan via de Regularization by Denoising (RED) methode.
• Het Regularisatie-term:
  • In plaats van een handmatig ontworpen regularisator (zoals Tikhonov), gebruikt RED-DiffEq een Tweedie-inspired ontdoeningoperator ($D_\theta$).
  • De regularisator $R(x_k)$ berekent het residu tussen de werkelijke ruis en de door het neurale netwerk voorspelde ruis. Dit duwt de huidige oplossing $x_k$ naar gebieden met een hogere waarschijnlijkheid volgens de geleerde prior (geologisch plausibele snelheidsmodellen).
  • De objectieve functie die wordt geminimaliseerd is:
    $$L(x_k) = \| u_{data} - f_{PDE}(x_k) \|_2^2 + \lambda \hat{R}(x_k)$$
    Waarbij de eerste term de PDE-misfit is en de tweede term de RED-regularisatie.
• Training: Een U-Net wordt getraind op een corpus van schone snelheidsmodellen (synthetische data) om ruis te voorspellen in een Variance-Preserving (VP) corruptieproces.
• Domain Decomposed Regularization (DDR): Voor grote domeinen (groter dan de trainingsdata) wordt het probleem opgesplitst in kleinere, overlappende subdomeinen. De regularisatie wordt lokaal berekend met het vaste, vooraf getrainde model en vervolgens geaggregeerd. Dit maakt het mogelijk om modellen te trainen op kleine domeinen en toe te passen op willekeurig grote domeinen zonder hertraining.
• Post-processing: Optioneel kan het gereconstrueerde model nog een keer "ontdooid" worden door het diffusiemodel om visueel schonere resultaten te krijgen.

3. Belangrijkste Bijdragen

1. Nieuw Kader: RED-DiffEq is een generiek kader dat diffusiemodellen direct integreert als regularisator voor PDE-gestuurde inverse problemen, niet beperkt tot alleen FWI.
2. Overleg van Prior en Data: Het biedt een flexibele manier om de kracht van een geleerde prior (geologische structuur) te combineren met fysieke wetten (de golfvergelijking), zonder de noodzaak van gepaarde data voor het inversieproces zelf.
3. Schaalbaarheid: De DDR-strategie lost het probleem op van het trainen op kleine domeinen en toepassen op grote, complexe domeinen.
4. Onzekerheidskwantificatie: Door gebruik te maken van de stochastische aard van diffusiemodellen, kan het framework een ensemble van oplossingen genereren om ruimtelijke onzekerheid te schatten.

4. Resultaten

De methode werd getest op de OpenFWI-benchmark en op de uitdagende Marmousi en Overthrust modellen (die verschillen van de trainingsdata).

• Prestaties op Schone Data: RED-DiffEq overtreft standaard FWI, Tikhonov, TV-regularisatie en eerdere diffusiemodel-methoden (DiffusionFWI, DiffusionILVR) aanzienlijk. Het behoudt scherpe grenzen (zoals foutvlakken) en gladde gradiënten tegelijkertijd, zonder trapartefacten.
• Robuustheid tegen Ruis:
  • Gaussische en Laplacische ruis: RED-DiffEq toont superieure prestaties bij hoge ruisniveaus (SNR < 10 dB), waar andere methoden instabiel worden of oververvagen.
  • Ontbrekende Traces: Zelfs bij het ontbreken van tot 85% van de meetdata, behoudt RED-DiffEq coherente ondergrondse structuren, terwijl benchmark-methoden falen.
• Generalisatie en Domein Decompositie:
  • Het model, getraind op de OpenFWI-dataset (kleinere, vereenvoudigde modellen), slaagt erin om complexe structuren in de veel grotere Marmousi- en Overthrust-modellen nauwkeurig te reconstrueren. Dit bewijst de sterke generalisatiecapaciteit buiten de trainingsverdeling.
• Onzekerheidskwantificatie: De voorspelde onzekerheid (standaardafwijking van het ensemble) correleert sterk met de werkelijke reconstructiefout, vooral in complexe structuren zoals foutlijnen.

5. Betekenis en Toekomstperspectief

• Wetenschappelijke Impact: RED-DiffEq biedt een nieuwe staat van de kunst voor het oplossen van ill-posed inverse problemen. Het combineert de stabiliteit van fysica-gedreven methoden met de expressieve kracht van moderne generatieve AI.
• Praktische Toepassing: De methode is veelbelovend voor real-world seismische imaging, waar data vaak ruisig, onvolledig en complex is. De capaciteit om te generaliseren naar grotere domeinen is cruciaal voor industriële toepassingen.
• Beperkingen en Toekomst: De huidige experimenten zijn uitgevoerd op synthetische benchmarks. De volgende stap is de toepassing op echte velddata, wat aanpassing vereist aan specifieke ruiskenmerken, acquisitiegeometrieën en nog grotere schaal.

Kortom, RED-DiffEq demonstreert dat diffusiemodellen als regularisator een krachtig alternatief kunnen zijn voor traditionele methoden, met name in scenario's met beperkte of vervuilde data.