Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation

Sintesi Tecnica: Controllo del Sequestro di CO2 a Ciclo Chiuso con Apprendimento per Rinforzo Basato sulla Storia e Adattamento Latente Basato su Modello

Formulazione del Problema
Il documento affronta la sfida della gestione a ciclo chiuso per il sequestro geologico di CO2 (CCS), un processo che richiede politiche di controllo adattive per gestire l'incertezza del comportamento del serbatoio, facendo affidamento su dati operativi realisticamente disponibili. Gli autori formulano il controllo dell'iniezione di CO2 e della produzione di salamoia come un problema decisionale sequenziale a orizzonte finito e parzialmente osservabile (POMDP). L'obiettivo è massimizzare le prestazioni legate al sequestro (CO2 trattenuta, qualità del trapping, metriche economiche) nel rispetto dei vincoli di pressione e contenimento.

Una difficoltà centrale nella CCS è la "osservabilità parziale" del sottosuolo; gli operatori accedono tipicamente solo a misurazioni sparse a livello di pozzo (portate, pressioni), piuttosto che a stati spaziali completi (distribuzioni di pressione/saturazione). Inoltre, l'ottimizzazione tradizionale a ciclo aperto è limitata dall'alto costo del ripetuto history matching e dall'incertezza delle realizzazioni geologiche. Lo studio mira a sviluppare controllori che siano implementabili in contesti reali (utilizzando solo i dati dei pozzi) ma abbastanza robusti da adattarsi a condizioni operative anormali, come guasti agli iniettori, perdite o cambiamenti nella connettività del serbatoio.

Metodologia
La ricerca impiega una metodologia in due fasi che coinvolge l'apprendimento per rinforzo (RL) model-free e l'adattamento latente basato su modello.

1. Confronto tra Controllori Model-Free:
   Gli autori addestrano agenti Soft Actor-Critic (SAC) sotto diversi regimi informativi per quantificare il valore del contesto temporale e dei segnali di addestramento privilegiati:

• Benchmark dello Stato Privilegiato: Utilizza campi densi del simulatore e dati dei pozzi (un limite superiore oracle).
• Baseline Solo-Pozzo: Utilizza solo le attuali osservazioni dei pozzi (il baseline implementabile).
• Condizionato alla Storia: Condiziona la politica su una storia rotante di osservazioni dei pozzi utilizzando un encoder di tipo transformer con meccanismo di gating per catturare le dipendenze temporali.
• Curriculum del Critico Mascherato: Una configurazione asimmetrica in cui l'attore vede solo i dati dei pozzi, ma i critici sono addestrati con stati spaziali progressivamente mascherati per testare la dipendenza dalle informazioni privilegiate.
• Insegnante-Studente Asimmetrico: Utilizza stati spaziali privilegiati per addestrare critici "insegnanti" e per distillare le stime del valore in critici "studenti" e in un attore che vede solo la storia pubblica dei pozzi.

2. Adattamento Latente Basato su Modello:
   Per gli scenari anormali, gli autori propongono una pipeline che riutilizza una struttura latente nominale per ridurre la necessità di interazioni costose con il simulatore reale.

• Rappresentazione Latente: Le osservazioni pubbliche dei pozzi sono mappate in uno stato di controllo latente utilizzando un encoder della storia congelato.
• Modelli del Mondo (World Models): Vengono valutati quattro backbone di modelli del mondo latenti (GRU probabilistico, GRU consapevole della geometria, RSSM e lineare-residuo ispirato a Koopman) per predire le transizioni latenti e le ricompense.
• Protocollo di Adattamento: Negli scenari anormali (guasto dell'iniettore, perdita, cambiamenti di connettività), un "adattatore residuo" corregge le predizioni del modello del mondo nominale utilizzando un piccolo budget di transizioni anormali reali. Il controllore viene quindi aggiornato tramite "rollout immaginati" (stile Dreamer) all'interno dello spazio latente, minimizzando la necessità di chiamate ad alta fedeltà al simulatore.

Contributi Chiave

• Dimostrazione del Condizionamento della Storia: Lo studio dimostra che le politiche condizionate dalla storia, utilizzando solo informazioni a livello di pozzo implementabili, possono recuperare quasi tutte le prestazioni dei benchmark a stato privilegiato. Ciò valida il fatto che il contesto temporale nei flussi di osservazione può compensare la mancanza di informazioni sullo stato spaziale completo.
• Efficacia dell'Addestramento Asimmetrico: Il framework insegnante-studente con supervisione del valore privilegiata si dimostra un metodo efficace per addestrare controllori implementabili che rimangono competitivi con i modelli basati sulla storia.
• Efficienza dell'Adattamento tramite Modelli Latenti: Il lavoro dimostra che il retuning basato su modelli latenti supera il retuning diretto model-free sotto lo stesso budget limitato di interazione con il simulatore reale quando si affrontano condizioni anormali. Questo è particolarmente vero quando il disallineamento coinvolge spostamenti sia nella dinamica che nella ricompensa (es. perdita).
• Sensibilità dello Spazio Latente: Il lavoro evidenzia come la scelta della rappresentazione latente (es. pre-fine-tuning vs post-fine-tuning) impatti significativamente le prestazioni del controllo basato su modello, suggerendo che il design del modello latente è integrante del problema di adattamento.

Risultati

• Prestazioni Model-Free: Il baseline solo-pozzo è stato il più debole e instabile. I modelli condizionati dalla storia e insegnante-studente hanno raggiunto rendimenti elevati comparabili al benchmark dello stato privilegiato, superando significativamente il curriculum del critico mascherato che ha mostrato instabilità.
• Ritenzione Nominale (Scenario 0): I controllori basati su modelli latenti hanno avuto successo nel mantenere le prestazioni del riferimento model-free implementabile in condizioni nominali, validando la fattibilità della pipeline latente.
• Scenari Anormali:
  • Scenario 1 (Guasto dell'Iniettore): Il retuning basato su modelli latenti ha recuperato rapidamente le prestazioni, superando significativamente il retuning diretto model-free.
  • Scenario 2 (Perdita): Questo è stato il caso più impegnativo (spostamento di dinamica + ricompensa). Le migliori varianti basate su modelli sono tornate a regimi di alto rendimento positivo, mentre il retuning diretto model-free è rimasto scarso.
  • Scenario 3 (Spostamento di Connettività): L'adattamento basato su modelli ha nuovamente superato il retuning diretto, sebbene il margine fosse minore rispetto allo scenario di perdita.
• Efficienza del Budget: L'approccio basato su modelli ha ottenuto questi guadagni utilizzando lo stesso budget di interazione con il simulatore reale specifico per lo scenario dell'approccio diretto model-free, sfruttando la struttura latente pre-addestrata e i rollout immaginati.

Significatività e Rivendicazioni
Gli autori sostengono che il framework proposto offra un'alternativa "consapevole del budget del simulatore" rispetto al ripetuto history matching e alla ri-ottimizzazione online per il controllo a ciclo chiuso della CCS. Il lavoro suggerisce che forti politiche implementabili possono essere apprese da informazioni pubbliche a livello di pozzo quando il contesto temporale è esplicitamente modellato. Inoltre, queste politiche possono essere efficacemente adattate a deviazioni nelle interfacce di controllo o nella fisica del serbatoio attraverso pipeline basate su modelli latenti. Il documento posiziona questo approccio come una soluzione pratica per contesti in cui l'adattamento online deve rimanere computazionalmente trattabile, evitando i costi proibitivi di mantenere grandi ensemble di modelli geologici per una ripetuta ottimizzazione. Gli autori notano con modestia che i risultati sono confronti controllati dal budget del simulatore piuttosto che studi di robustezza esaustivi, riconoscendo la necessità di futuri lavori su variabilità multi-seed e flussi di monitoraggio più ricchi.