Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation

기술 요약: 이력 기반 강화 학습 및 잠재 모델 기반 적응을 이용한 폐쇄 루프 CO2 저장 제어

문제 정의
본 논문은 지질학적 CO2 저장(CCS)의 폐쇄 루프 관리에 관한 과제를 다루며, 이는 불확실한 저류층 거동을 처리하면서도 현실적으로 가용한 운영 데이터에 의존하는 적응형 제어 정책을 필요로 한다. 저자들은 CO2 주입 및 염수 생산 제어를 유한 시계열 부분 관측 가능 순차 결정 문제(POMDP)로 정식화하였다. 목표는 압력 및 격리 제약 조건을 준수하면서 저장 관련 성능(보유된 CO2, 트래핑 품질, 경제적 지표)을 극대화하는 것이다.

CCS의 핵심적인 어려움은 지하의 "부분 관측 가능성"에 있다. 운영자는 전체 필드의 공간적 상태(압력/포화도 분포)보다는 주로 희소한 웰 레벨 측정값(유량, 압력)에만 접근할 수 있다. 또한, 전통적인 개방 루프 최적화는 반복적인 히스토리 매칭의 높은 비용과 지질학적 실현(realization)의 불확실성으로 인해 한계가 있다. 본 연구는 실제 환경에서 배포 가능한 제어기(웰 데이터만을 사용하는)를 개발하는 동시에, 인젝터 고장, 누출 또는 저류층 연결성 변화와 같은 비정상적인 운영 조건에서도 견고하게 적응할 수 있는 제어기를 구축하고자 한다.

방법론
연구는 모델 프리(model-free) 강화 학습(RL)과 잠재 모델 기반 적응을 포함하는 2단계 방법론을 채택한다.

1. 모델 프리 제어기 비교:
   저자들은 시간적 맥락과 특권적 훈련 신호의 가치를 정량화하기 위해 다양한 정보 체제 하에서 Soft Actor-Critic(SAC) 에이전트를 훈련시킨다:

• 특권 상태 벤치마크(Privileged-State Benchmark): 밀집된 시뮬레이터 필드와 웰 데이터를 사용한다 (오라클 상한선).
• 웰 전용 베이스라인(Well-Only Baseline): 현재의 웰 관측값만을 사용한다 (배포 가능한 베이스라인).
• 이력 조건부(History-Conditioned): 시간적 의존성을 포착하기 위해 게이트형 트랜스포머 스타일 인코더를 사용하여 웰 관측값의 롤링 히스토리에 정책을 조건화한다.
• 마스크드 크리틱 커리큘럼(Masked-Critic Curriculum): 액터는 웰 데이터만 보고, 크리틱은 점진적으로 마스킹된 공간 상태를 사용하여 특권 정보에 대한 의존성을 테스트하는 비대칭 설정이다.
• 비대칭 교사-학생(Asymmetric Teacher-Student): 특권 공간 상태를 사용하여 "교사" 크리틱을 훈련시키고, 그 가치 추정치를 웰 히스토리만을 보는 "학생" 크리틱과 액터에게 증류(distill)한다.

2. 잠재 모델 기반 적응:
   비정상적인 시나리오를 위해, 저자들은 값비싼 실시간 시뮬레이터 상호작용의 필요성을 줄이기 위해 명목상의 잠재 구조를 재사용하는 파이프라인을 제안한다.

• 잠재 표현(Latent Representation): 공용 웰 관측값은 고정된 히스토리 인코더를 통해 잠재 제어 상태로 매핑된다.
• 월드 모델(World Models): 잠재 전이와 보상을 예측하기 위해 네 가지 잠재 월드 모델 백본(확률적 GRU, 기하학 인식 GR형 GRU, RSSM, Koopman 영감 기반 선형-잔차 모델)을 평가한다.
• 적응 프로토콜(Adaptation Protocol): 비정상 시나리오(인젝터 고장, 누출, 연결성 변화) 발생 시, "잔차 적응기(residual adapter)"가 소규모의 실제 비정상 전이 예산을 사용하여 명목 월드 모델의 예측을 수정한다. 이후 제어기는 잠재 공간 내에서 "상상된 롤아웃(imagined rollouts, Dreamer 방식)"을 통해 업데이트되며, 이는 고충실도 시뮬레이터 호출을 최소화한다.

주요 기여

• 이력 조건화의 입증: 본 연구는 웰 레벨의 배포 가능한 정보만을 사용하는 이력 조건부 정책이 특권 상태 벤치마크의 성능을 거의 모두 회복할 수 있음을 보여준다. 이는 관측 스트림의 시간적 맥락이 전체 공간 상태 정보의 부재를 보완할 수 있음을 검증한다.
• 비대칭 훈련의 효능: 특권 가치 감독을 갖춘 교사-학생 프레임워크가 이력 기반 모델과 경쟁할 수 있는 수준의 배포 가능한 제어기를 훈련시키는 데 효과적임을 입증하였다.
• 잠재 모델을 통한 효율적 적응: 잠재 모델 기반의 재튜닝이 비정상 조건에 직면했을 때 동일한 제한된 실시간 시뮬레이터 예산 하에서 직접적인 모델 프리 재튜닝보다 우수한 성능을 보임을 입증하였다. 이는 역학 및 보상 변화(예: 누출)가 동시에 발생하는 경우에 특히 두드출된다.
• 잠재 공간 민감도: 본 연구는 잠재 표현의 선택(예: 사전 미세 조정 대 사후 미세 조정)이 다운스트림 모델 기반 제어 성능에 상당한 영향을 미친다는 점을 강조하며, 이는 잠재 설계가 적응 문제의 필수적인 부분임을 시사한다.

결과

• 모델 프리 성능: 웰 전용 베이스라인이 가장 취약하고 불안정했다. 이력 조건부 및 교사-학생 모델은 특권 상태 벤치마크에 필적하는 높은 수익을 달면 달성하였으며, 마스크드 크리틱 커리큘럼은 불안정성을 보이며 이를 크게 상회하였다.
• 명목 보유량 (시나리오 0): 잠재 모델 기반 제어기는 명목 상태에서 배포 가능한 모델 프리 참조 모델의 성능을 성공적으로 유지하였으며, 이를 통해 잠재 파이프라인의 생존 가능성을 검증하였다.
• 비정상 시나리오:
  • 시나리오 1 (인젝터 고장): 잠재 모델 기반 재튜닝은 성능을 빠르게 회복하였으며, 직접적인 모델 프리 재튜닝보다 유의미하게 우수하였다.
  • 시나리오 2 (누출): 가장 까다로운 사례(역학 및 보상 변화 동시 발생)였다. 최상의 모델 기반 변형 모델들은 양(+)의 높은 수익 체제로 회복한 반면, 직접적인 모델 프리 재튜닝은 여전히 낮은 성능에 머물렀다.
  • 시나리오 3 (연결성 변화): 모델 기반 적응이 직접적인 재튜닝보다 다시 한번 우수하였으나, 누출 시나리오보다는 격차가 작았다.
• 예산 효율성: 모델 기반 접근 방식은 사전 훈련된 잠재 구조와 상상된 롤아웃을 활용하여, 직접적인 모델 프리 방식과 동일한 시나리오별 실시간 시뮬레이터 상호작용 예산을 사용하면서도 이러한 이득을 달성하였다.

의의 및 주장
저자들은 제안된 프레임워크가 폐쇄 루프 CCS 제어를 위한 반복적인 온라인 히스토리 매칭 및 재최적화의 "시뮬레이터 예산 인식형(simulator-budget-aware)" 대안을 제공한다고 주장한다. 본 연구는 시간적 맥락이 명시적으로 모델링될 때, 공용 웰 레벨 정보를 통해 강력하고 배포 가능한 정책을 학습할 수 있음을 시사한다. 또한, 이러한 정책은 잠재 모델 기반 파이프라인을 통해 제어 인터페이스나 저류층 물리 법칙의 편차에 효과적으로 적응할 수 있다. 본 논문은 이 접근 방식이 반복적인 최적화를 위해 대규모 지질 모델 앙상블을 유지해야 하는 과도한 비용을 피하면서, 온라인 적응이 계산적으로 실행 가능해야 하는 설정에 대한 실질적인 솔루션임을 위치시킨다. 저자들은 결과가 시뮬레이터 예산이 통제된 비교임을 언급하며, 멀티 시드 변동성 및 더 풍부한 모니터링 스트림에 대한 향후 연구의 필요성을 인정하며 겸허히 마무리하였다.