CarbonNet: How Computer Vision Plays a Role in Climate Change? Application: Learning Geomechanics from Subsurface Geometry of CCS to Mitigate Global Warming

Technische Samenvatting: CarbonNet – Computer Vision voor Geomechanica in CCS

Probleemstelling
Carbon Capture and Sequestration (CCS) is een cruciale technologie voor het beperken van de opwarming van de aarde, waarbij superkritische CO₂ wordt geïnjecteerd in diepe zoute aquifers of verlaten olie reservoirs. Een primair risico dat met dit proces gepaard gaat, is oppervlakteverheffing (landverplaatsing) veroorzaakt door excessieve vloeistofdruk, wat infrastructuur kan beschadigen en de menselijke veiligheid in gevaar kan brengen. Het voorspellen van de ruimtelijke distributie en de temporele evolutie van deze oppervlaktevervorming is essentieel voor het vermijden van gevaren. Traditionele numerieke simulaties (bijv. de Eindige Elementen Methode) zijn echter computationeel te kostbaar vanwege de grote ruimtelijke en temporele schalen van CCS-projecten. Bovendien hebben bestaande deep learning-benaderingen vaak moeite met materiaalheterogeniteit, de koppeling tussen vloeistofstroom en mechanica, of zijn ze beperkt tot specifieke geologische settings. Dit project adresseert de uitdaging om de landoppervlakteverplaatsing onder variërende ondergrondse geometrieën efficiënt te voorspellen met behulp van computer vision-technieken.

Methodologie
De auteurs formuleren het probleem als een image-to-image voorspellingsopgave voor statische mechanica en een video-voorspellingsopgave voor transiënte mechanica. De input bestaat uit 2D-afbeeldingen die de ondergrondse geometrie representeren (specifiek een schalie-laag met variërende hellingshoeken ingebed tussen twee doorlatende lagen), en de output is het bijbehorende oppervlakteverplaatsingsveld.

1. Dataset Generatie:

   • Statisch Model: 10.000 monsters werden gegenereerd met behulp van FEniCS (FEM-gebaseerde simulatie). De inputs zijn geometrie-afbeeldingen met hellingshoeken variërend van 0° tot 45°. De labels zijn verticale verplaatsingswaarden ($u_y$) op 1.250 punten op een 50×25 rooster.
   • Transiënt Model: 3.000 monsters werden gegenereerd met behulp van gekoppelde hydro-mechanische simulaties. De inputs zijn geometrie-afbeeldingen, en de labels zijn tijdreeksgegevens van verticale verplaatsing op 40 punten aan het grondoppervlak over 1.000 tijdstappen. Datasequenties werden gemaakt met behulp van sliding windows (5 stappen om de volgende te voorspellen) en genormaliseerd via min-max schaling.

2. Statische Mechanica Modellen (Afbeelding Voorspelling):

   • Baselines: Standaard CNN en ResNet (ResNet18) architecturen werden getest. Deze modellen downsamplen afbeeldingen om kenmerken te extraheren, maar bleken kritieke ruimtelijke informatie te verliezen, wat leidde tot onnauwkeurigheden in heterogene regio's.
   • Voorgesteld Model (ResNetUNet): Een aangepaste architectuur die ResNet en UNet combineert. De encoder maakt gebruik van ResNet-blokken om complexe fysische wetten en heterogene materiaalverdelingen te vangen, terwijl de decoder gebruikmaakt van UNet-stijl upsampling met skip-verbindingen om ruimtelijke details te herstellen en informatieverlies te voorkomen.

3. Transiënte Mechanica Modellen (Video/Tijdreeks Voorspelling):

   • Feature Extractie: Beide modellen maken gebruik van de getrainde ResNetUNet om kenmerken uit de input-geometrie-afbeelding te extraheren.
   • LSTM: Een Long Short-Term Memory netwerk (gestapelde 4 LSTM-cellen) verwerkt de sequentie van verplaatsingswaarden (grootte 40) om de volgende tijdstap te voorspellen.
   • Transformer: Een Transformer encoder-decoder architectuur verwerkt de sequentie. Het maakt gebruik van self-attention mechanismen om langetermijn-afhankelijkheden te vangen, wat theoretisch de sequentiële informatieverlies inherent aan LSTM's overwint. De encoder en decoder bestaan elk uit vier lagen met een modeldimensie van 16 en 8 attention heads.

Belangrijkste Resultaten

• Statische Mechanica: Het ResNetUNet model presteerde significant beter dan zowel de CNN als de ResNet baselines. Visuele vergelijkingen toonden aan dat de ResNetUNet voorspellingen vrijwel identiek waren aan de physics-gebaseerde ground truth, terwijl CNN en ResNet informatieverlies en lagere nauwkeurigheid vertoonden, met name in heterogene regio's. Kwantitatief behaalde ResNetUNet een validatie MSE van $7,33 \times 10^{-8}$ en een MAE van $2,00 \times 10^{-4}$, orders van grootte lager dan de baselines.
• Transiënte Mechanica: Zowel de LSTM als de Transformer modellen voorspelden succesvol de temporele evolutie van de oppervlakteverplaatsing. Het Transformer model demonstreerde een superieure prestatie met een lagere validatie MSE ($3,86 \times 10^{-9}$) en MAE ($1,50 \times 10^{-6}$) vergeleken met de LSTM. Hoewel de LSTM veelbelovende potentie toonde, maakte het self-attention mechanisme van de Transformer een betere afhandeling van de hoog-dimensionale sequentiegegevens (40 punten) mogelijk, waardoor de ground truth bijna perfect werd benaderd.
• Trainingsdynamiek: Alle modellen werden getraind zonder cross-validatie vanwege de overvloed aan synthetische data. De loss-historie gaf geen tekenen van overfitting of underfitting.

Betekenis en Claims
Het artikel claimt een state-of-the-art aanpak te presenteren die computer vision intelligentie inzet om complexe gekoppelde geomechanica en vloeistofstroom problemen op te lossen. De primaire betekenis ligt in het generaliseren van de oplossing naar willekeurige input-geometrie-afbeeldingen, waarmee men verder gaat dan modellen die beperkt zijn tot specifieke geologische formaties.

• Efficiëntie: De aanpak biedt een computationeel efficiënt alternatief voor traditionele numerieke simulaties, wat snellere besluitvorming voor CCS-projectplanning mogelijk maakt.
• Architecturale Effectiviteit: De studie demonstreert dat de ResNetUNet architectuur bijzonder effectief is voor heterogene statische mechanica problemen door ruimtelijke informatie te behouden via skip-verbindingen.
• Temporele Modellering: Het werk valideert de toepasbaarheid van Transformer modellen in geomechanische tijdreeksvoorspelling, waarbij wordt aangetoond dat ze traditionele recurrente netwerken (LSTM) kunnen overtreffen in het vastleggen van langetermijn-afhankelijkheden in fysische systemen.
• Toekomstige Impact: De auteurs stellen dat deze modellen besluitvorming in koolstofopslag-surveillance kunnen informeren om klimaatverandering te mitigeren. Toekomstig werk omvat het testen van robuustheid met generative adversarial networks (GANs) voor complexere geometrieën en het implementeren van een alpha-versie van een webapplicatie voor publieke toegang.