Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation

Technische Samenvatting: Closed-Loop CO2-opslagbesturing met Geschiedenis-gebaseerd Reinforcement Learning en Latente Model-gebaseerde Adaptatie

Probleemformulering
Het artikel behandelt de uitdaging van closed-loop beheer voor geologische CO2-opslag (CCS), een proces dat adaptieve besturingsbeleids vereist om om te gaan met onzeker reservoirgedrag, terwijl het vertrouwt op realistisch beschikbare operationele gegevens. De auteurs formuleren de besturing van CO2-injectie en brine-productie als een eindig-horizon, gedeeltelijk observeerbaar sequentieel beslissingsprobleem (POMDP). Het doel is om opslag-gerelateerde prestaties (gebehouden CO2, opslagkwaliteit, economische metrieken) te maximaliseren terwijl druk- en bevattingseisen worden nageleefd.

Een centrale moeilijkheid in CCS is de "gedeeltelijke observeerbaarheid" van de ondergrond; operators hebben doorgaans alleen toegang tot schaarse metingen op putniveau (snelheden, drukken) in plaats van volledige ruimtelijke velden (druk-/verzadigingsverdelingen). Bovendien is traditionele open-loop optimalisatie beperkt door de hoge kosten van herhaalde history matching en de onzekerheid van geologische realisaties. De studie streeft ernaar om controllers te ontwikkelen die inzetbaar zijn in de echte wereld (met gebruik van alleen putgegevens), maar robuust genoeg zijn om te adapteren aan abnormale operationele omstandigheden zoals defecte injectoren, lekkages of veranderingen in de reservoirconnectiviteit.

Methodologie
Het onderzoek maakt gebruik van een tweestapsmethodologie bestaande uit model-vrije reinforcement learning (RL) en latente model-gebaseerde adaptatie.

1. Vergelijking van Model-vrije Controllers:
   De auteurs trainen Soft Actor-Critic (SAC) agents onder verschillende informatie-regimes om de waarde van temporele context en geprivilegieerde trainingssignalen te kwantificeren:

• Privileged-State Benchmark: Gebruikt dichte simulatorvelden en putgegevens (een oracle upper bound).
• Well-Only Baseline: Gebruikt alleen huidige putobservaties (de inzetbare baseline).
• History-Conditioned: Conditioneert het beleid op een voortschrijdende geschiedenis van putobservaties met behulp van een gated transformer-stijl encoder om temporele afhankelijkheden te vangen.
• Masked-Critic Curriculum: Een asymmetrische opstelling waarbij de actor alleen putgegevens ziet, maar de critics worden getraind met progressief gemaskeerde ruimtelijke staten om de afhankelijkheid van geprivilegieerde informatie te testen.
• Asymmetric Teacher-Student: Gebruikt geprivilegieerde ruimtelijke staten om "teacher" critics te trainen en de waarde-inschattingen te distilleren naar "student" critics en een actor die alleen publieke putgeschiedenis ziet.

2. Latente Model-gebaseerde Adaptatie:
   Voor abnormale scenario's stelt de auteurs een pijplijn voor die een nominale latente structuur hergebruikt om de noodzaak voor dure interacties met de real-simulator te verminderen.

• Latente Representatie: Publieke putobservaties worden in kaart gebracht naar een latente control state met behulp van een bevroren geschiedenissen-encoder.
• World Models: Vier latente world-model backbones worden geëvalueerd (Probabilistische GRU, Geometrie-bewuste GRU, RSSM, en Koopman-geïnspireerde lineair-residuele) om latente transities en beloningen te voorspellen.
• Adaptatie Protocol: In abnormale scenario's (injectorfalen, lekkage, verschuivingen in connectiviteit) corrigeert een "residual adapter" de voorspellingen van het nominale world model met een klein budget aan werkelijke abnormale transities. De controller wordt vervolgens bijgewerkt via "imagined rollouts" (Dreamer-stijl) binnen de latente ruimte, waardoor de noodzaak voor high-fidelity simulator-oproepen wordt geminimaliseerd.

Belangrijkste Bijdragen

• Demonstratie van History-Conditioning: De studie toont aan dat geschiedenis-geconditioneerde policies, die uitsluitend gebruikmaken van inzetbare putniveau-informatie, bijna alle prestaties van privileged-state benchmarks kunnen evenaren. Dit valideert dat temporele context in observatiestromen het gebrek aan volledige ruimtelijke staat-informatie kan compenseren.
• Effectiviteit van Asymmetrische Training: Het aangetoond is dat het teacher-student framework met geprivilegieerde waarde-supervisie een effectieve methode is voor het trainen van inzetbare controllers die competitief blijven met geschiedenis-gebaseerde modellen.
• Efficiënte Adaptatie via Latente Modellen: Het onderzoek demonstreert dat latente model-gebaseerde bijsturing beter presteert dan directe model-vrije bijsturing onder hetzelfde beperkte real-simulator budget wanneer men te maken krijgt met abnormale condities. Dit geldt met name wanneer de mismatch zowel de dynamiek als de beloning betreft (bijv. lekkage).
• Latente Ruimte Sensitiviteit: Het werk benadrukt dat de keuze van de latente representatie (bijv. pre-finetuning versus post-finetuning) de downstream model-gebaseerde controleprestaties aanzienlijk beïnvloedt, wat suggereert dat latent design integraal is aan het adaptatieprobleem.

Resultaten

• Model-vrije Prestaties: De well-only baseline was de zwakste en meest instabiele. De history-conditioned en teacher-student modellen behaalden hoge returns vergelijkbaar met de privileged-state benchmark, en presteerden significant beter dan het masked-critic curriculum, dat instabiliteit vertoonde.
• Nominale Retentie (Scenario 0): Latente model-gebaseerde controllers slaagden erin de prestaties van de inzetbare model-vrije referentie te behouden onder nominale omstandigheden, wat de levensvatbaarheid van de latente pijplijn valideert.
• Abnormale Scenario's:
  • Scenario 1 (Injectorfalen): Latente model-gebaseerde bijsturing herstelde de prestaties snel en presteerde significant beter dan directe model-vrije bijsturing.
  • Scenario 2 (Lekkage): Dit was het meest uitdagende geval (dynamiek + beloningsverschuiving). De beste model-gebaseerde varianten herstelden naar positieve high-return regimes, terwijl directe model-vrije bijsturing slecht bleef.
  • Scenario 3 (Connectiviteitsverschuiving): Model-gebaseerde adaptatie presteerde opnieuw beter dan directe bijsturing, hoewel de marge kleiner was dan in het lekkagescenario.
• Budget Efficiëntie: De model-gebaseerde aanpak behaalde deze winsten met hetzelfde scenario-specifieke real-simulator interactiebudget als de directe model-vrije aanpak, door gebruik te maken van de vooraf getrainde latente structuur en imagined rollouts.

Betekenis en Claims
De auteurs beweren dat het voorgestelde framework een "simulator-budget-bewust" alternatief biedt voor herhaalde online history matching en re-optimalisatie voor closed-loop CCS-besturing. Het werk suggereert dat sterke, inzetbare policies geleerd kunnen worden van publieke putniveau-informatie wanneer de temporele context expliciet gemodelleerd wordt. Bovendien kunnen deze policies effectief worden aangepast aan afwijkingen in control interfaces of reservoirfysica via latente model-gebaseerde pijplijnen. Het artikel positioneert deze aanpak als een praktische oplossing voor situaties waarin online adaptatie computationeel beheersbaar moet blijven, waarbij de prohibitieve kosten van het onderhouden van grote ensembles van geologische modellen voor herhaalde optimalisatie worden vermeden. De auteurs merken bescheiden op dat de resultaten simulator-budget-gecontroleerde vergelijkingen zijn in plaats van exhaustieve robuustheidsstudies, en erkennen de noodzaak voor toekomstig werk op het gebied van multi-seed variabiliteit en rijkere monitoringstromen.