Computing an Optimal Control Policy for an Energy Storage

기술 요약: 에너지 저장 장치를 위한 최적 제어 정책 계산

문제 정의
본 논문은 재생 가능 에너지원, 특히 SEAREV 장치와 같은 해양 파력 에너지 변환기(WEC)의 전력 변동성을 관리하는 과제를 다룹다. 기존 발전 방식과 달리, 파력 에너지는 매우 확률적이고 급격하게 변동(예: 약 1.5초 주기)하므로 전력망의 안정성에 위험을 초래할 수 있다. 저자들은 이 문제를 최적 제어(Optimal Control) 과제로 설정하였다. 즉, 저장 용량($E_{sto}$)의 물리적 제약을 준수하면서 그리드에 주입되는 전력($P_{grid}$)을 평활화(smoothing)하기 위한 에너지 저장 시스템(ESS)의 제어 정책을 결정하는 것이다.

목표는 무한 시계(infinite horizon) 동안 주입된 전력의 평균 변동성(패널티)을 최소화하는 비용 함수 $J$를 최소화하는 것이다. 시스템은 각 타임 스텝에서의 결정이 저장된 에너지 상태에 의해 서로 결합되는 확률적 동적 최적화 문제로 모델링된다. 동적 계획법(Dynamic Programming, DP)을 적용하기 위한 핵심 전제 조건은 시스템 역학이 마르코프 성질(Markovian)을 가져야 한다는 것이지만, 가공되지 않은 파력 생산 시계열 데이터는 본질적으로 마르코프적이지 않으므로 입력 데이터의 변환이 필요하다.

방법론
저자들은 시계열 분석, 확률 모델링, 그리고 커스텀 Python 라이브러리를 통한 수치 최적화를 결합한 3단계 방법론을 제안한다.

1. 파력 생산의 확률적 모델링:

   • 전력($P_{prod}$)을 직접 모델링하는 것은 그 분포가 비가우시안(non-Gaussian)이기 때문에 어렵다. 대신, 저자들은 보다 가우시안 분포를 따르는 WEC 내부 진자의 회전 속도($\Omega$)를 모델링한다.
   • 이를 위해 $\Omega$의 역학을 포착하기 위해 2차 자기회귀(AR(2)) 모델을 채택한다.
   • 모델 피팅: 표준 조건부 최대 우도 추정법(CMLE)은 데이터의 단기 시차에서의 자기상관 함수(ACF)를 재현하는 데 부적절한 것으로 나타났다. 결과적으로, 저자들은 15초 범위 내에서 이론적 ACF와 경험적 ACF 사이의 제곱 차이를 최소화하는 "다중 시차 ACF 피팅(multi-lags ACF fitting)" 방법을 구현하였다.
   • 결과물인 AR(2) 모델은 속도($\Omega$)와 가속도($A$)를 상태 변수로 하고, 저장된 에너지($E_{sto}$)를 함께 사용하는 상태 공간 표현식으로 재구성된다. 이는 3차원 마르코프 상태 벡터 $x = (E_{sto}, \Omega, A)$를 생성한다.

2. StoDynProg 라이브러리:

   • 결과로 도출된 최적화 문제를 해결하기 위해, 저자들은 확률적 동적 계획법(SDP)을 위한 범용 Python 라이브러리인 StoDynProg을 개발하였다.
   • 아키텍처: 라이브러리는 시스템 역학 및 비용 함수를 정의하기 위해 SysDescription을 사용하며, 상태 공간의 이산화(discretization)를 관리하고 알고리즘을 실행하기 위해 DPSolver를 사용한다.
   • 알고리즘: 라이브러리는 **정책 반복(Policy Iteration)**을 구현하며, 이는 본 문제에서 가치 반복(Value Iteration)보다 훨씬 효율적인 것으로 나타났다. 정책 반복은 고정된 정책에 대한 선형 방정식을 푸는 *정책 평가(policy evaluation)*와 현재 가치 함수에 대한 최적 제어를 찾는 *정책 개선(policy improvement)*을 교대로 수행한다.
   • 보간(Interpolation): 격자점 사이의 가치 함수를 평가하기 위해, 직사각형 격자 상의 n차원 보간을 처리하는 커스텀 MultilinearInterpolator(Dolo 프로젝트에서 채택)의 사용이 핵심적인 구성 요소이다.

3. 최적화 실행:

   • 상태 공간은 에너지, 속도, 가속도에 대해 각각 $30 \times 60 \times 60$의 격자를 사용하여 약 110,000개의 점으로 이산화된다.
   • 알고리즘은 단순한 선형 휴리스틱 제어 법칙으로 초기화되며, 수렴할 때까지 반복된다(약 5회의 정책 반복 내에 수렴 달성).

주요 결과

• 수렴 및 효율성: 정책 반복 알고리즘은 표준 데스크톱 컴퓨터에서 약 3분 만에 수렴하였다. 반면, 가치 반복 접근 방식은 매 단계마다 최적화 비용이 발생하기 때문에 약 5시간이 소요되었을 것이며, 이는 100배 더 느린 수치이다.
• 제어 정책: 결과적인 최적 정책 $\mu(E_{sto}, \Omega, A)$는 상태 피드백 함수이다. 이는 저장된 에너지가 높을수록 그리드 주입량이 높아진다는 점을 확인시켜 주지만, 독특하게도 속도와 가속도를 통합하여 전력을 조절함으로써 기계적 에너지 변화를 효과적으로 예측한다.
• 성능 개선: SEAREV의 1000초 시뮬레이션 샘플에 적용했을 때:
  • 최적화된 정책은 선형 휴리스틱 정책에 비해 주입 전력의 표준 편차를 약 20% 감소시켰다(세 가지 샘플에서 각각 27%, 16%, 22% 감소).
  • 최적화된 정책은 높은 에너지 수준에서 저장 용량을 더 효과적으로 활용하여, 선형 방식보다 "피크와 밸리(peaks and valleys)"를 더 잘 평활화하였다.
• 한계점: 저자들은 급격한 가속(4 표준 편차 초과)이 발생하는 고생산 시나리오에서 선형 AR 모델이 WEC의 비선형 역학을 포착하지 못한다고 언급하였다. 결과적으로, 최적화된 정책은 이러한 특정 영역에서 "스파이크(spiky)" 형태의 출력을 생성하여, 해당 국소적 사례에서는 선형 휴리스틱보다 약간 낮은 성능을 보인다.

의의 및 주장
본 논문은 범용 오픈 소스 Python 도구를 사용하여 현실적인 에너지 관리 문제에 확률적 동적 계획법을 적용하는 실질적인 사례를 보여준다고 주장한다.

• 도구: 주요 기여는 상태 및 제어 공간의 임의 차원을 처리할 수 있도록 설계된 StoDynProg 라이브러리이며, 이는 저차 마르코프 모델을 강제함으로써 "차원의 저주(Curse of Dimensionality)"를 해결한다(상태 차원을 3 또는 4로 제한).
• 방법론적 엄밀성: 본 연구는 확률적 모델이 시스템의 상관 구조를 정확하게 반영하도록 하기 위해 적절한 모델 피팅(multi-lags ACF vs. CMLE)이 얼마나 중요한지를 강조한다. 이는 DP 솔루션에 있어 매우 결정적이다.
• 적용 가능성: 저자들은 본 사례가 파력 에너지 평활화이지만, 라이브러리와 방법론은 시스템을 관리 가능한 상태 차원을 가진 마르코프 과정으로 모델링할 수 있다면 전기 공학, 기계 공학 및 생명 과학의 다른 최적 제어 문제에도 범용적으로 적용될 수 있다고 단언한다.

저자들은 20%의 변동성 감소가 유의미하기는 하나, 이 개선의 경제적 가치는 그리드 코드 및 특정 패널티 기준(예: "플리커(flicker)")에 달려 있으며, 이는 향후 연구 과제라고 언급하며 겸허히 결론을 맺는다.