Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation

Résumé technique : Contrôle en boucle fermée du stockage de CO2 par apprentissage par renforcement basé sur l'historique et adaptation par modèle latent

Formulation du problème
L'article traite du défi de la gestion en boucle fermée du stockage géologique de CO2 (CCS), un processus nécessitant des politiques de contrôle adaptatives pour gérer l'incertitude du comportement du réservoir tout en s'appuyant sur des données opérationnelles réalistes et disponibles. Les auteurs formulent le contrôle de l'injection de CO2 et de la production de saumure comme un problème de décision séquentielle à horizon fini et partiellement observable (POMDP). L'objectif est de maximiser la performance liée au stockage (CO2 retenu, qualité du piégeage, indicateurs économiques) tout en respectant les contraintes de pression et de confinement.

Une difficulté centrale du CCS est la « partialité de l'observabilité » du sous-sol ; les opérateurs n'ont généralement accès qu'à des mesures éparses au niveau des puits (débits, pressions) plutôt qu'à des états spatiaux complets (distributions de pression/saturation). De plus, l'optimisation traditionnelle en boucle ouverte est limitée par le coût élevé de l'ajustement historique (history matching) répété et par l'incertitude des réalisations géologiques. L'étude cherche à développer des contrôleurs déployables dans des contextions réelles (utilisant uniquement les données des puits) mais suffisamment robustes pour s'adapter aux conditions opérationnelles anormales telles que les défaillances d'injecteurs, les fuites ou les changements de connectivité du réservoir.

Méthodologie
La recherche emploie une méthodologie en deux étapes impliquant l'apprentissage par renforcement (RL) sans modèle et l'adaptation par modèle latent.

1. Comparaison de contrôleurs sans modèle (Model-Free) :
   Les auteurs entraînent des agents Soft Actor-Critic (SAC) sous différents régimes d'information pour quantifier la valeur du contexte temporel et des signaux d'entraînement privilégiés :

• Référence à l'état privilégié (Privileged-State Benchmark) : Utilise des champs de simulateur denses et des données de puits (une borne supérieure oracle).
• Base de référence « Uniquement les puits » (Well-Only Baseline) : Utilise uniquement les observations actuelles des puits (la base déployable).
• Conditionné par l'historique (History-Conditioned) : Conditionne la politique sur un historique glissant des observations de puits en utilisant un encodeur de type transformateur à porte (gated transformer) pour capturer les dépendances temporelles.
• Curriculum de critique masqué (Masked-Critic Curriculum) : Une configuration asymétrique où l'acteur ne voit que les données des puits, mais où les critiques sont entraînés avec des états spatiaux progressivement masqués pour tester la dépendance aux informations privilégiées.
• Enseignant-Étudiant asymétrique (Asymmetric Teacher-Student) : Utilise des états spatiaux privilégiés pour entraîner des critiques « enseignants » et distiller les estimations de valeur dans des critiques et un acteur qui ne voient que l'historique public des puits.

2. Adaptation par modèle latent :
   Pour les scénarios anormaux, les auteurs proposent un pipeline qui réutilise une structure latente nominale afin de réduire la nécessité d'interactions coûteuses avec le simulateur réel.

• Représentation latente : Les observations publiques des puits sont projetées vers un état de contrôle latent à l'aide d'un encodeur d'historique gelé.
• Modèles du monde (World Models) : Quatre architectures de modèles du monde latents sont évaluées (GRU probabiliste, GRU sensible à la géométrie, RSSM, et linéaire-résiduel inspiré de Koopman) pour prédire les transitions et les récompenses latentes.
• Protocole d'adaptation : Dans les scénarios anormaux (défaillance d'injecteur, fuite, changements de connectivité), un « adaptateur résiduel » corrige les prédictions du modèle du monde nominal en utilisant un petit budget de transitions anormales réelles. Le contrôleur est ensuite mis à jour via des « déploiements imaginés » (imagined rollouts, de type Dreamer) au sein de l'espace latent, minimisant ainsi le besoin d'appels de haute fidélité au simulateur.

Contributions clés

• Démonstration du conditionnement par l'historique : L'étude montre que les politiques conditionnées par l'historique, utilisant uniquement des informations de niveau puits déployables, peuvent récupérer la quasi-totalité de la performance des références à état privilégié. Cela valide le fait que le contexte temporel dans les flux d'observations peut compenser l'absence d'information spatiale complète.
• Efficacité de l'entraînement asymétrique : Le cadre enseignant-étudiant avec supervision de valeur privilégiée s'avère être une méthode efficace pour entraîner des contrôleurs déployables qui restent compétitifs avec les modèles basés sur l'historique.
• Efficacité de l'adaptation par modèle latent : L'article démontre que le réajustement par modèle latent surpasse le réajustement direct sans modèle sous un même budget limité d'interactions avec le simulateur réel face à des conditions anormales. Cela est particulièrement vrai lorsque le décalage implique des changements tant dans la dynamique que dans la récompense (ex: fuite).
• Sensibilité de l'espace latent : Le travail souligne que le choix de la représentation latente (ex: pré-affinage vs post-affinage) impacte significativement les performances de contrôle par modèle, suggérant que la conception du latent est intégrale au problème d'adaptation.

Résultats

• Performance sans modèle (Model-Free) : La base de référence « uniquement les puits » était la plus faible et la plus instable. Les modèles conditionnés par l'historique et enseignant-étudiant ont atteint des rendements élevés comparables à la référence à état privilégié, surpassant nettement le curriculum de critique masqué qui présentait une certaine instabilité.
• Rétention nominale (Scénario 0) : Les contrôleurs basés sur le modèle latent ont réussi à maintenir la performance du modèle de référence sans modèle sous des conditions nominales, validant la viabilité du pipeline latent.
• Scénarios anormaux :
  • Scénario 1 (Défaillance d'injecteur) : Le réajustement par modèle latent a rapidement récupéré la performance, surpassant significativement le réajustement direct sans modèle.
  • Scénario 2 (Fuite) : Ce fut le cas le plus difficile (décalage de la dynamique + de la récompense). Les meilleures variantes par modèle ont récupéré des régimes de rendement positif élevé, tandis que le réajustement direct sans modèle est resté médiocre.
  • Scénario 3 (Changement de connectivité) : L'adaptation par modèle a de nouveau surpassé le réajustement direct, bien que la marge soit plus faible que dans le scénario de fuite.
• Efficacité du budget : L'approche par modèle a obtenu ces gains en utilisant le même budget d'interaction avec le simulateur réel par scénario que l'approche directe sans modèle, en tirant parti de la structure latente pré-entraînée et des déploiements imaginés.

Signification et affirmations
Les auteurs affirment que le cadre proposé offre une alternative « consciente du budget du simulateur » à l'ajustement historique en ligne et à la ré-optimisation répétée pour le contrôle en boucle fermée du CCS. Le travail suggère que des politiques déployables robustes peuvent être apprises à partir d'informations publiques de niveau puits lorsque le contexte temporel est explicitement modélisé. De plus, ces politiques peuvent être efficacement adaptées aux déviations dans les interfaces de contrôle ou la physique du réservoir grâce à des pipelines d'adaptation par modèle latent. L'article positionne cette approche comme une solution pratique pour les contextes où l'adaptation en ligne doit rester calculablement traitable, évitant les coûts prohibitifs du maintien de grands ensembles de modèles géologiques pour une optimisation répétée. Les auteurs notent modestement que les résultats sont des comparaisons contrôlées par le budget du simulateur plutôt que des études de robustesse exhaustives, reconnaissant la nécessité de travaux futurs sur la variabilité multi-graines et des flux de surveillance plus riches.