Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation

Resumen Técnico: Control de Almacenamiento de CO2 de Bucle Cerrado con Aprendizaje por Refuerzo Basado en la Historia y Adaptación Basada en Modelos Latentes

Formulación del Problema
El artículo aborda el desafío del control de bucle cerrado para el almacenamiento geológico de CO2 (CCS), un proceso que requiere políticas de control adaptativas para manejar la incertidumbre del comportamiento del reservorio, apoyándose en datos operativos disponibles de manera realista. Los autores formulan el control de la inyección de CO2 y la producción de salmuera como un problema de decisión secuencial de horizonte finito y parcialmente observable (POMPOM/POMDP). El objetivo es maximizar el rendimiento relacionado con el almacenamiento (CO2 retenido, calidad del atrapamiento, métricas económicas) cumpliendo con las restricciones de presión y contención.

Una dificultad central en el CCS es la "observabilidad parcial" del subsuelo; los operadores suelen acceder únicamente a mediciones dispersas a nivel de pozo (tasas, presiones) en lugar de estados espaciales completos (distribuciones de presión/saturación). Además, la optimización tradicional de bucle abierto está limitada por el alto costo de la calibración de historial (history matching) repetida y la incertidumbre de las realizaciones geológicas. El estudio busca desarrollar controladores que sean desplegables en entornos del mundo real (usando solo datos de pozos) pero lo suficientemente robustos como para adaptarse a condiciones operativas anormales, tales como fallos en los inyectores, fugas o cambios en la conectividad del reservorio.

Metodología
La investigación emplea una metodología de dos etapas que involucra aprendizaje por refuerzo (RL) sin modelo y adaptación basada en modelos latentes.

1. Comparación de Controladores Sin Modelo (Model-Free):
   Los autores entrenan agentes Soft Actor-Critic (SAC) bajo diferentes regímenes de información para cuantificar el valor del contexto temporal y las señales de entrenamiento privilegiadas:

• Referencia de Estado Privilegiado (Privileged-State Benchmark): Utiliza campos densos del simulador y datos de pozos (un límite superior de oráculo).
• Línea Base Solo de Pozos (Well-Only Baseline): Utiliza solo las observaciones actuales de los pozos (la línea base desplegable).
• Condicionado por la Historia (History-Conditioned): Condiciona la política a un historial rotativo de observaciones de pozos utilizando un codificador de estilo transformador con compuertas (gated transformer) para capturar dependencias temporales.
• Currículo de Crítico Enmascarado (Masked-Critic Curriculum): Una configuración asimétrica donde el actor solo ve datos de pozos, pero los críticos son entrenados con estados espaciales progresivamente enmascarados para probar la dependencia de la información privilegiada.
• Profesor-Estudiante Asimétrico (Asymmetric Teacher-Student): Utiliza estados espaciales privilegiados para entrenar críticos "profesores" y destilar estimaciones de valor en críticos "estudiantes" y un actor que solo ve el historial público de los pozos.

2. Adaptación Basada en Modelos Latentes:
   Para escenarios anormales, los autores proponen un flujo de trabajo que reutiliza una estructura latente nominal para reducir la necesidad de interacciones costosas con el simulador real.

• Representación Latente: Las observaciones públicas de los pozos se mapean a un estado de control latente utilizando un codificador de historia congelado.
• Modelos de Mundo (World Models): Se evalúan cuatro estructuras de modelos de mundo latentes (GRU probabilístico, GRU con conciencia geométrica, RSSM y de tipo lineal-residual de Koopman) para predecir transiciones y recompensas latentes.
• Protocolo de Adaptación: En escenarios anormales (fallo del inyector, fuga, cambios de conectividad), un "adaptador residual" corrige las predicciones del modelo de mundo nominal utilizando un pequeño presupuesto de transiciones anormales reales. El controlador se actualiza mediante "ensayos imaginados" (imagined rollouts, estilo Dreamer) dentro del espacio latente, minimizando la necesidad de llamadas de alta fidelidad al simulador.

Contribuciones Clave

• Demostración del Condicionamiento por la Historia: El estudio muestra que las políticas condicionadas por la historia, utilizando únicamente información de nivel de pozo desplegable, pueden recuperar casi todo el rendimiento de las referencias de estado privilegiado. Esto valida que el contexto temporal en los flujos de observación puede compensar la falta de información del estado espacial completo.
• Eficacia del Entrenamiento Asimétrico: Se demuestra que el marco de profesor-estudiante con supervisión de valor privilegiado es un método efectivo para entrenar controladores desplegables que se mantienen competitivos con los modelos basados en la historia.
• Eficiencia de la Adaptación mediante Modelos Latentes: El trabajo demuestra que la reconfiguración basada en modelos latentes supera la reconfiguración directa sin modelo bajo el mismo presupuesto limitado de interacción con el simulador real ante condiciones anormales. Esto es particularmente cierto cuando el desajuste implica cambios tanto en la dinámica como en la recompensa (por ejemplo, una fuga).
• Sensibilidad del Espacio Latente: El trabajo destaca que la elección de la representación latente (por ejemplo, pre-ajuste fino vs. post-ajuste fino) impacta significamente el rendimiento del control basado en modelos, sugiriendo que el diseño latente es integral al problema de la adaptación.

Resultados

• Rendimiento Sin Modelo (Model-Free): La línea base de solo pozos fue la más débil y la más inestable. Los modelos condicionados por la historia y el profesor-estudiante alcanzaron retornos altos comparables a la referencia de estado privilegiado, superando significativamente al currículo de crítico enmascarado, que mostró inestabilidad.
• Retención Nominal (Escenario 0): Los controladores basados en modelos latentes lograron mantener el rendimiento del modelo de referencia sin modelo bajo condiciones nominales, validando la viabilidad del flujo de trabajo latente.
• Escenarios Anormales:
  • Escenario 1 (Fallo del Inyector): La reconfiguración basada en modelos latentes recuperó el rendimiento rápidamente, superando significativamente la reconfiguración directa sin modelo.
  • Escenario 2 (Fuga): Este fue el caso más desafiante (cambio de dinámica + cambio de recompensa). Las mejores variantes de modelos demostraron recuperar regímenes de retorno positivo altos, mientras que la reconfiguración directa sin modelo siguió siendo deficiente.
  • Escenario 3 (Cambio de Conectividad): La adaptación basada en modelos superó nuevamente a la reconfiguración directa, aunque el margen fue menor que en el escenario de fuga.
• Eficiencia de Presupuesto: El enfoque basado en modelos logró estas ganancias utilizando el mismo presupuesto de interacción con el simulador real específico del escenario que el enfoque directo sin modelo, aprovechando la estructura latente preentrenada y los ensayos imaginados.

Significancia y Reivindicaciones
Los autores afirman que el marco propuesto ofrece una alternativa "consciente del presupuesto del simulador" frente a la calibración de historial y la reoptimización en línea repetida para el control de bucle cerrado de CCS. El trabajo sugiere que se pueden aprender políticas desplegables sólidas a partir de la información pública de nivel de pozo cuando el contexto temporal se modela explícitamente. Además, estas políticas pueden adaptarse eficazmente a desviaciones en las interfaces de control o en la física del reservorio a través de flujos de trabajo basados en modelos latentes. El artículo posiciona este enfoque como una solución práctica para entornos donde la adaptación en línea debe seguir siendo computacionalmente tratable, evitando los costos prohibitivos de mantener grandes conjuntos de modelos geológicos para la optimización repetida. Los autores señalan modestamente que los resultados son comparaciones controladas por el presupuesto del simulador en lugar de estudios de robustez exhaustivos, reconociendo la necesidad de trabajos futuros sobre la variabilidad de múltiples semillas y flujos de monitoreo más ricos.