기술 요약: 이산화탄소 포집 및 저장 (CCS) 응용을 위한 베이지안 최적화에서 치환 불변성 사전분포 유도

문제 정의

본 논문은 이산화탄소 포집 및 저장 (CCS) 프로젝트의 설계 및 운영 최적화, 특히 주입 및 생산 우물의 전략적 배치 문제를 해결하는 데 초점을 맞춥니다. 이러한 최적화는 각 평가에 계산 집약적인 고정밀 유동층 시뮬레이션이 필요한 고차원의 비용이 큰 블랙박스 목적 함수를 탐색하는 과정을 수반합니다.

이 문제의 핵심 구조적 특징은 **치환 불변성 (permutation invariance)**입니다. "그룹 제어" 전략 하에서 시뮬레이션 출력은 해당 그룹 내 좌표의 특정 순서가 아니라 주입 Well 좌표의 집합과 생산 Well 좌표의 집합에 의존합니다. 표준 가우시안 프로세스 (GP) 와 같은 표준 커널을 사용하는 기존 베이지안 최적화 (BO) 대리 모델은 입력을 순서 있는 벡터로 취급합니다. 결과적으로 동일한 물리적 Well 배치를 나타내는 서로 다른 치환을 동일한 설계로 인식하지 못합니다. 이러한 대칭성 부호화의 부재는 다음과 같은 결과를 초래합니다:

1. 중복 학습: 모델이 물리적으로 동일한 설계를 서로 다른 입력으로 취급합니다.
2. 왜곡된 사후 기하학: 대리 모델이 설계 공간을 올바르게 축소하지 못합니다.
3. 낮은 샘플 효율성: 최적화 과정이 수렴하기 위해 더 많은 비용이 드는 시뮬레이션을 필요로 하며, 이는 CCS 응용 분야에서 금지적입니다.

방법론

저자들은 학습된 불변성 기준선과 함께 대리 모델 내에서 직접 치환 불변성을 강제하는 새로운 접근법을 제안합니다.

1. GP-Perm: 발산 기반 치환 불변 커널

주요 기여는 커널 수준에서 치환 불변성을 인코딩하는 가우시안 프로세스 대리 모델인 GP-Perm입니다.

• 입력 구조: 설계 변수 $x$는 $(v_x, I_x, P_x)$로 구성되며, 여기서 $v_x$는 보조 연속 제어 (예: 그룹 목표 유량) 를 나타내고, $I_x$와 $P_x$는 각각 주입 및 생산 Well 좌표의 순서 없는 집합입니다.
• 복합 거리 척도: 커널은 다음을 집계하는 복합 제곱 거리 $D^2(x, x')$를 기반으로 구축됩니다.
  • 보조 벡터 $v_x$에 대한 표준 유클리드 거리.
  • Sinkhorn 발산 ($S_\epsilon$): 주입 집합 $I_x$, 생산 집합 $P_x$, 그리고 명시적으로 구성된 상호작용 집합 $R_x$에 적용된 안정적이고 엔트로피 기반의 최적 수송 발산.
  • 상호작용 집합 ($R_x$): 모든 주입 - 생산 쌍 ($p_b - i_a$) 간의 상대 벡터 집합으로 정의됩니다. 이는 CCS 성능에 중요하지만 집합을 독립적으로 취급할 경우 손실되는 교차 그룹 기하학적 관계 (간격 및 정렬) 를 명시적으로 포착합니다.
• 커널 구성: 최종 커널은 이 복합 거리에 적용된 Matérn 커널입니다: $k(x, x') = \sigma^2 \mathcal{M}_\nu(D(x, x'))$.
• 특성: Sinkhorn 발산이 집합의 유도된 경험적 측도에만 의존하기 때문에, 커널은 $I_x$ 또는 $P_x$ 내 요소의 임의의 치환에 대해 불변입니다. 저자들은 Cholesky 분해 중 안정성을 보장하기 위해 수치적 안전장치 (단계적 지터, 고유값 클램핑) 를 구현합니다.

2. DKL-DS: 학습된 불변성 기준선

명시적 커널 접근법을 벤치마크하기 위해 저자들은 DKL-DS(Deep Sets 를 사용한 딥 커널 학습) 를 구현합니다.

• 아키텍처: Deep Sets 인코더는 공유 요소별 매핑을 사용한 후 불변 풀링 (평균, 최대, 표준편차 및 거듭제곱 평균의 연결) 을 통해 입력 집합 ($I_x, P_x, R_x$) 을 처리합니다. 보조 벡터는 MLP 를 통해 처리됩니다.
• 잠재 공간: 융합된 임베딩은 잠재 표현 $z$를 형성하며, 그 위에 표준 GP 가 배치됩니다.
• 학습: 모델은 신경망과 GP 하이퍼파라미터를 모두 통해 기울기가 흐르도록 마진 로그 가능도를 최대화함으로써 엔드투엔드로 학습됩니다.

3. 평가 프로토콜

방법론은 다음을 통해 평가됩니다:

• 합성 벤치마크: 집합 추론 능력을 스트레스 테스트하기 위한 7 가지 치환 불변 목적 함수 (예: 최대 면적 커버리지, 분포 매칭).
• CCS 유사 합성 벤치마크: 주입 - 생산 기하학적 결합을 모방하는 맞춤형 두 집합 목적 함수.
• 현실적 사례 연구: OPM-Flow 유동층 시뮬레이터를 사용한 Johansen 지층의 Well 배치 최적화. 목적은 정규화된 순현재가치 (NPV) 를 최대화하는 것입니다.

주요 결과

합성 벤치마크

• 성능: 단일 대리 모델이 모든 벤치마크를 지배하지는 않았으며, 이는 유도 편향의 작업 의존성을 강조합니다. 그러나 GP-Perm은 "Facility Location"및 "Soft k-Medoids"벤치마크에서 가장 좋은 성능 (곡선 아래 면적 및 최종 최적 값 기준) 을 달성했습니다.
• 비교: 동일한 예산 하에서 치환 불변 대리 모델 (GP-Perm 및 DKL-DS) 은 일반적으로 비불변 기준선 (표준 GP 및 DKL) 보다 우수한 성과를 보였으며, 이는 대칭성 인코딩의 이점을 확인시켜 줍니다.

CCS 사례 연구 (Johansen 지층)

• 샘플 효율성: GP-Perm은 비불변 GP, 비불변 DKL, 그리고 공학적 집합 커널 기준선 (Double-Sum 및 Deep-Embedding 커널) 을 포함한 모든 기준선보다 일관되게 우수한 성과를 보였습니다.
• 지표: GP-Perm 은 엄격한 평가 예산 (10 회 반복, 배치 크기 2) 으로도 Johansen 연구에서 가장 높은 평균 곡선 아래 면적 (7.717) 과 최상의 최종 목적 함수 값 (0.387) 을 달성했습니다.
• 사후 진단: 사후 불확실성 및 획득 행동 분석 결과, DKL 기반 모델 (DKL-DS 포함) 은 과신 (overconfidence)(매우 작은 사후 표준 편차) 과 큰 표준화 잔차의 징후를 보였으며, 이는 소량 데이터 영역에서의 표현 드리프트를 시사합니다. 반면, GP-Perm 은 더 중도적인 불확실성 프로파일과 더 잘 보정된 잔차를 유지하여 기하학적 구별과 불확실성 수축 사이의 견고한 균형을 나타냈습니다.

중요성 및 주장

본 논문은 CCS Well 설계에서 효율적인 베이지안 최적화를 위해 치환 불변성을 명시적으로 인코딩하는 것이 중요하다고 주장합니다. 저자들은 다음과 같이 논합니다:

1. 대칭성 활용: 표준 대리 모델은 치환 간의 물리적으로 무의미한 구분을 모델링하는 데 용량을 낭비합니다. 불변성을 강제함으로써 대리 모델은 설계 공간을 축소하여 엄격한 예산 하에서 더 매끄러운 사후 분포와 더 신뢰할 수 있는 획득 결정을 이끌어냅니다.
2. 명시적 커널의 우위: 학습된 임베딩 (DKL-DS) 은 유연하지만, 작고 비 i.i.d 인 BO 데이터셋에서 반복적으로 재학습될 때 불안정성과 표현 드리프트를 겪을 수 있습니다. 안정적인 발산에 기반한 명시적 GP-Perm 커널은 기하학적 민감도가 최우선인 소량 데이터 영역에서 더 신뢰할 수 있는 기본값을 제공합니다.
3. 상호작용 집합의 중요성: GP-Perm 과 DKL-DS 모두에 상호작용 집합 ($R_x$) 을 포함시키는 것이 중요한 설계 선택으로 강조됩니다. 이는 압력 관리 및 CO2 재순환 위험과 같은 운영 결과에 필수적인 교차 그룹 기하학적 관계 (주입 - 생산 간격) 를 모델이 포착할 수 있게 합니다.

이 연구는 그룹 제어 Well 배치와 같은 정확한 교환성을 가진 문제의 경우, 치환 불변성 사전분포를 유도하는 것이 일반적으로 유익하다고 결론지었습니다. 그러나 저자들은 Well 이 특정 비교환성 제약을 갖는 경우 엄격한 불변성을 완화해야 한다고 지적합니다. 이 작업은 고정밀 물리 시뮬레이션에서 순서 없는 집합을 처리하는 실용적인 프레임워크를 제공하며, 복잡한 공학 시스템에서 더 효율적인 의사결정으로 이어지는 길을 제시합니다.