Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation

Resumo Técnico: Controle de Armazenamento de CO2 em Malha Fechada com Aprendizado por Reforço Baseado em Histórico e Adaptação Baseada em Modelo Latente

Formulação do Problema
O artigo aborda o desafio do gerenciamento em malha fechada para o armazenamento geológico de CO2 (CCS), um processo que exige políticas de controle adaptativas para lidar com a incerteza do comportamento do reservatório, dependendo de dados operacionais realisticamente disponíveis. Os autores formulam o controle da injeção de CO2 e da produção de salmoura como um problema de decisão sequencial de horizonte finito e parcialmente observável (POMDP). O objetivo é maximizar o desempenho relacionado ao armazenamento (CO2 retido, qualidade do aprisionamento, métricas econômicas) enquanto se adere a restrições de pressão e contenção.

Uma dificuldade central no CCS é a "observabilidade parcial" do subsolo; os operadores geralmente acessam apenas medições esparsas em nível de poço (taxas, pressões), em vez de estados espaciais completos (distribuições de pressão/saturação). Além disso, a otimização tradicional de malha aberta é limitada pelo alto custo de correspondência de histórico (history matching) repetida e pela incerteza das realizações geológicas. O estudo busca desenvolver controladores que sejam implantáveis em ambientes reais (usando apenas dados de poços), mas robustos o suficiente para se adaptarem a condições operacionais anormais, como falhas de injetores, vazamentos ou mudanças na conectividade do reservatório.

Metodologia
A pesquisa emprega uma metodologia de dois estágios envolvendo aprendizado por reforço (RL) livre de modelo e adaptação baseada em modelo latente.

1. Comparação de Controladores Livres de Modelo:
   Os autores treinam agentes Soft Actor-Critic (SAC) sob diferentes regimes de informação para quantificar o valor do contexto temporal e dos sinais de treinamento privilegiados:

• Benchmark de Estado Privilegiado: Utiliza campos densos do simulador e dados de poços (um limite superior de oráculo).
• Linha de Base Apenas de Poços: Utiliza apenas as observações atuais dos poços (a linha de base implantável).
• Condicionado ao Histórico: Condiciona a política a um histórico rotativo de observações de poços usando um codificador do tipo transformer com portão (gated transformer) para capturar dependências temporais.
• Currículo de Crítico Mascarado: Uma configuração assimétrica onde o ator vê apenas dados de poços, mas os críticos são treinados com estados espaciais progressivamente mascarados para testar a dependência de informações privilegiadas.
• Professor-Aluno Assimétrico: Utiliza estados espaciais privilegiados para treinar críticos "professores" e destilar estimativas de valor para críticos "alunos" e um ator que vê apenas o histórico público de poços.

2. Adaptação Baseada em Modelo Latente:
   Para cenários anormais, os autores propõem um pipeline que reutiliza uma estrutura latente nominal para reduzir a necessidade de interações caras com o simulador real.

• Representação Latente: Observações públicas de poços são mapeadas para um estado de controle latente usando um codificador de histórico congelado.
• Modelos de Mundo (World Models): Quatro backbones de modelos de mundo latentes são avaliados (GRU probabilístico, GRU orientado à geometria, RSSM e linear-residual inspirado em Koopman) para prever transições e recompensas latentes.
• Protocolo de Adaptação: Em cenários anormais (falha de injetor, vazamento, mudanças de conectividade), um "adaptador residual" corrige as previsões do modelo de mundo nominal usando um pequeno orçamento de transições anormais reais. O controlador é então atualizado via "rollouts imaginados" (estilo Dreamer) dentro do espaço latente, minimizando a necessidade de chamadas de alta fidelidade ao simulador.

Principais Contribuições

• Demonstração do Condicionamento de Histórico: O estudo mostra que políticas condicionadas ao histórico, usando apenas informações de nível de poço implantáveis, podem recuperar quase todo o desempenho dos benchmarks de estado privilegiado. Isso valida que o contexto temporal nos fluxos de observação pode compensar a falta de informação de estado espacial completo.
• Eficácia do Treinamento Assimétrico: O framework professor-aluno com supervisão de valor privilegiado mostra-se um método eficaz para treinar controladores implantáveis que permanecem competitivos com modelos baseados em histórico.
• Eficiência de Adaptação via Modelos Latentes: O trabalho demonstra que o ajuste de modelo latente supera o ajuste direto livre de modelo sob o mesmo orçamento limitado de interação com o simulador real ao enfrentar condições anormais. Isso é particularmente verdadeiro quando o desajuste envolve mudanças tanto na dinâmica quanto na recompensa (ex: vazamento).
• Sensibilidade do Espaço Latente: O trabalho destaca que a escolha da representação latente (ex: pré-ajuste fino vs. pós-ajuste fino) impacta significamente o desempenho do controle baseado em modelo, sugerindo que o design do latente é integrante do problema de adaptação.

Resultos

• Desempenho Livre de Modelo: A linha de base apenas de poços foi a mais fraca e instável. Os modelos condicionados ao histórico e professor-aluno alcançaram retornos elevados comparáveis ao benchmark de estado privilegiado, superando significativamente o currículo de crítico mascarado, que mostrou instabilidade.
• Retenção Nominal (Cenário 0): Controladores baseados em modelo latente conseguiram manter o desempenho do modelo de referência livre de modelo sob condições nominais, validando a viabilidade do pipeline latente.
• Cenários Anormais:
  • Cenário 1 (Falha de Injetor): O ajuste de modelo latente recuperou o desempenho rapidamente, superando significativamente o ajuste direto livre de modelo.
  • Cenário 2 (Vazamento): Este foi o caso mais desafiador (mudança de dinâmica + recompensa). As melhores variantes baseadas em modelo recuperaram regimes de alto retorno positivo, enquanto o ajuste direto livre de modelo permaneceu ruim.
  • Cenário 3 (Mudança de Conectividade): A adaptação baseada em modelo novamente superou o ajuste direto, embora a margem tenha sido menor do que no cenário de vazamento.
• Eficiência de Orçamento: A abordagem baseada em modelo alcançou esses ganhos utilizando o mesmo orçamento de interação com o simulador real específico do cenário que a abordagem direta livre de modelo, aproveitando a estrutura latente pré-treinada e os rollouts imaginados.

Significância e Alegações
Os autores alegam que o framework proposto oferece uma alternativa "consciente do orçamento do simulador" à correspondência de histórico online repetida e à reotimização para o controle de CCS em malha fechada. O trabalho sugere que políticas fortes e implantáveis podem ser aprendidas a partir de informações públicas de nível de poço quando o contexto temporal é explicitamente modelado. Além disso, essas políticas podem ser efetivamente adaptadas a desvios em interfaces de controle ou na física do reservatório através de pipelines baseados em modelos latentes. O artigo posiciona esta abordagem como uma solução prática para configurações onde a adaptação online deve permanecer computacionalmente tratável, evitando os custos proibitivos de manter grandes conjuntos de modelos geológicos para otimização repetida. Os autores observam modestamente que os resultados são comparações controladas pelo orçamento do simulador, em vez de estudos de robustez exaustivos, reconhecendo a necessidade de trabalhos futuros sobre variabilidade de múltiplas sementes (seeds) e fluxos de monitoramento mais ricos.