Optimizing Lithium Production Decisions under Geological, Demand, and Pricing Uncertainties: A POMDP Framework for Multi-Objective Decision Making

기술 요약: POMDP를 통한 불확실성 하의 리튬 생산 의사결정 최적화

문제 정의
리튬 생산 계획은 지질학적 특성, 시장 수요 및 가격의 깊은 불확실성이 특징인 복잡한 순차적 의사결정 문제입니다. 산업계는 전기차(EV) 및 에너지 저장 장치 분야의 급격한 성장으로 인해 발생하는 공급-수요 격면에 직면해 있으며, 수요는 2040년까지 706% 증가할 것으로 예상됩니다. 현재 공급망은 지리적으로 집중되어 있으며 광산 개발에 소요되는 긴 리드 타임(5~10년)으로 인해 제약을 받고 있습니다. 또한, 직접 리튬 추출(DLE) 기술의 등장은 지형을 변화시키고 있습니다. DLE는 더 빠른 처리 속도와 낮은 환경 발자국을 제공하지만, 전통적인 암석 채굴 방식과는 다른 자본 및 운영 비용 프로필을 가집니다.

기존의 최적화 모델은 이러한 불확실성 간의 상호작로를 고려하지 못하는 경우가 많으며, 추출 기술을 동질적인 것으로 취급하거나 미래 가격 및 매장 품질에 대한 완벽한 정보를 가정합니다. 이는 투자 타이밍의 부적절함, 비효율적인 자원 배분, 그리고 역동적인 시장 조건 하에서 경제적 수익성과 환경적 지속 가능성(특히 탄소 배출) 사이의 균형을 맞추지 못하는 결과로 이어집니다.

방법론: POMDP 프레임워크
저자들은 리튬 생산 문제를 **부분 관측 가능 마르코프 결정 과정(Partially Observable Markov Decision Process, POMDP)**으로 구성합니다. 완전 관측 가능한 MDP와 달리, 이 프레임워크는 정확한 매장량, 회수 가능한 매장량, 미래 가격과 같은 실제 시스템 상태를 알 수 없는 시나리오를 명시적으로 모델링합니다. 대신, 의사결정자는 가용 데이터가 확보됨에 따라 업데이트되는 확률적 신념(Belief)에 근거하여 행동합니다.

• 상태 공간 ($S$): 물리적 조건(네 곳의 서로 다른 사이트—두 곳의 DLE, 두 곳의 암석 채굴—의 리튬 톤수), 광산 생애 주기 단계(미개설, 생산 중, 고갈, 복구) 및 경제적 변수(리튬 탄산염 당량 가격 및 예상 수요)를 포함합니다.
• 행동 ($A$): 에이전트는 각 사이트에 대해 이산적인 생애 주기 행동을 선택합니다: 탐사(지질학적 불확실성 감소), 개설(CAPEX 투입, 생산 시작), 복구(폐쇄), 또는 아무것도 하지 않음.
• 관측 ($O$): 에이전트는 매장량 추정치, 시장 가격 및 수요에 대한 노이즈가 섞인 관측값을 받습니다. 관측 노이즈 수준은 수행된 행동에 따라 달라집니다(탐사 시 낮음, 생산 시 중간, 유휴 시 높음).
• 전이 역학 ($T$): 시스템은 매년 진화합니다. 생산은 결정론적으로 매장량을 고갈시키며, 가격과 수요는 확률적으로 진화합니다. 본 연구는 1994~2024년의 역사적 데이터를 바탕으로 피팅된 네 가지 가격 체계(정적, 선형, 지수형, 기하 브라운 운동(GBM))를 평가합니다.
• 보상 함수 ($R$): 경제적 이익과 환경 비용을 균형 있게 고려하는 다목적 함수입니다. 수익은 LCE 판매에서 발생합니다. 비용에는 탐사, CAPEX, OPEX 및 복구 비용이 포함됩니다. 최종 보상은 다음과 같이 가중 합산됩니다: $R = \alpha(\text{이익}) + (1-\alpha)(-\text{탄소배출비용})$. 여기서 $\alpha$는 재무적 수익과 지속 가능성 사이의 트레이드오프를 조절합니다.
• 신념 상태 업데이트: 에이전트는 상태 변수에 대해 가우시안 사후 분포를 유지합니다. 행동을 취하고 관측을 받으면, 베이즈 정리(Bayes' rule)를 재귀적으로 적용하는 **칼만 필터(Kalman Filter)**를 사용하여 매장량 규모와 시장 상황에 대한 추정치를 정교화하며 신념을 업데이트합니다.
• 솔버(Solver): 본 연구는 온라인 솔버인 POMCPOW(Partially Observable Monte Carlo Planning with Observation Widening)를 사용합니다. 모든 신념에 대해 정책을 미리 계산하는 오프라인 솔버(연속적인 영역에서는 계산이 불가능함)와 달리, POMCPOW는 현재의 신념으로부터 실시간으로 계획을 세우며, 미래의 궤적을 시뮬레이션하여 최적의 즉각적 행동을 선택합니다.

주요 기여

1. 불확실성을 위한 통합 프레임워크: 본 논문은 지질학적 불확실성, 다양한 가격 역학(GBM 포함), 수요 변동을 동시에 처리하면서 DLE와 암석 채굴 기술을 명시적으로 구분하는 새로운 POMDP 구성을 제시합니다.
2. 다목적 최적화: 이 프레임워크는 경제적 목표와 환경적 목표를 하나의 조절 가능한 보상 함수로 통합하여, 의사결정자가 $\alpha$ 파라미터를 통해 수익 극대화와 배출 최소화 사이의 파레토 최적해(Pareto frontier)를 탐색할 수 있게 합니다.
3. 동적 적응: 신념 기반 계획을 활용함으로써, 이 모델은 새로운 정보가 수집됨에 따라 전략을 동적으로 조정하는 능력을 보여주며, 이는 고정된 규칙에 의존하는 정적 휴리스틱과 대조됩니다.

결과
POMCPOW 솔버는 다섯 가지 가격 시나리오(정적, 선형, 지수형, GBM, 역사적 데이터)에 대해 7가지 인간 유래 휴리스틱(예: 무작위, 탐사 전용, 이익/배출 극대화, 일보 앞선 예측(One-Step Lookahead))과 벤치마킹되었습니다.

• 성능: POMCPOW는 모든 가격 모델에서 가장 높거나 높은 수준의 **할인된 보상(discounted reward)**을 일관되게 달려 성과를 냈습니다. 이는 탐사, 수익성 및 배출량 사이의 균형을 맞추는 데 탁월한 능력을 입증했습니다.
• 수요 충족: POMCOOW는 경쟁력 있는 배출량을 유지하면서도 더 높은 비율의 수요를 충족했습니다(예: 정적 가격 하에서 91.36% 충족 vs. 일보 앞선 예측의 89.18%).
• 전략적 행동:
  • 정적/선형 가격 체계 하에서, POMCPOW는 근시안적인 '일보 앞선 예측' 모델과 유사한 성능을 보였으나, 더 나은 설비 가동률과 낮은 톤당 비용을 달달성했습니다.
  • 지수형 가격 체계 하에서, POMCPOW는 투자 시점이 자본 지출을 정당화할 만큼 가격 궤적이 형성될 때까지 투자를 늦추는 법을 학습함으로써, 수요 상한선에 도달하기 전 조기 투입되는 것을 방지하며 휴리스틱 모델들을 크게 압도했습니다.
  • GBM(확률적) 가격 체계 하에서, 높은 변동성에도 불구하고 POMCPOW는 가장 신뢰할 수 있는 정책을 유지했습니다. 이는 과도하게 빠르게 투자하는 휴리스틱 전략과 달리, 가치를 포착하면서도 경직된 과잉 투입을 피하도록 전략을 적응시켰기 때문입니다.
• 신념 불확실성 감소: 신념 불확실성 그래프 분석 결과, POMCPOW는 무작위 탐사나 공격적인 자본 투입 대신 순차적이고 정보 중심적인 결정을 통해 지질학적 불확실성을 줄였습니다. 특히 불확실성이 충분히 해소될 때까지 저위험 DLE 사이트를 먼저 개설한 후 고액 CAPEX가 드는 암석 채굴 사이트를 개설하는 순서를 효과적으로 결정했습니다.
• 파레토 최적해: $\alpha$ 값을 변화시킴에 따라 매끄러운 경험적 파레토 최적해가 생성되었으며, 이는 본 프레임워크가 재무적 수익이나 환경적 지속 가능성 중 하나를 우선시하는 이해관계자들에게 맞춤형 전략을 제공할 수 있음을 입증합니다.

의의 및 주장
본 논문은 리튬 생산을 POMDP로 구성하는 것이 변동성이 큰 자원 시장에서 의사결정을 위한 견고한 토대를 제공한다고 주장합니다. 주요 의의는 **신념 인식 계획(belief-aware planning)**이 정보의 가치와 불확실성을 명시적으로 관리함으로써 전통적인 규칙 기반 휴리스틱보다 우수함을 입증했다는 점에 있습니다.

저자들은 이 프레임워크가 다음을 가능하게 한다고 주장합니다:

• 최적의 순서 결정: 고정된 예측이 아닌 진화하는 신념에 근거하여 탐사, 생산 및 기술 선택(DLE vs. 암석 채굴)의 정확한 타이밍을 결정합니다.
• 리스크 완화: 수요 상한에 도달하거나 가격이 예상치 못하게 변동할 때 발생하는 자본 오배분의 함정(조기 대규모 개설)을 피합니다.
• 전략적 유연성: 투자자와 정책 입안자가 경제적 또는 규제적 목표에 맞춰 최적성을 해치지 않으면서 운영 전략을 정렬할 수 있도록 조절 가능한 메커니즘($\alpha$)을 제공합니다.

본 연구는 몇 가지 한계점(예: 외생적 가격, 단순화된 수요 모델)이 존재하지만, POMDP 접근 방식이 리튬 분야의 용량 증설을 단계별로 진행하기 위한 투명하고 적응적이며 조절 가능한 전략을 제공하며, 이를 통해 데이터 확신과 시장 조건이 뒷받침될 때만 크고 되돌릴 수 없는 투자가 이루어지도록 보장한다고 결론짓습니다.