Comparative Evaluation of RL-TD3 PID Control against Hybrid and Conventional Optimizers in Renewable -Based Islanded Microgrids

기술 요약: 재생 에너지 기반 독립형 마이크로그리드에서 RL-TD3 PID 제어와 하이브리드 및 전통적 최적화 알고리즘의 비교 평가

문제 정의
재생 에너지원(RES)의 독립형 마이크로그리드(IMG) 통합은 부하 주파수 제어(LFC)에 상당한 과제를 제기한다. 이러한 과제는 주로 감소된 시스템 관성, 불안정한 발전 패턴, 그리고 예측 불가능한 부하 역학에서 기인한다. 고정 이득 비례-적분-미분(PID) 제어기나 지글러-니콜스(Ziegler–Nichols)와 같은 표준 튜닝 방식에 의존하는 전통적인 제어 시스템은 비표준 운전 조건 및 변화하는 시스템 파라미터 하에서 주파수 안정성을 유지하는 데 종종 실패한다. 가중치 최적화를 위해 메타휴리스틱 최적화 알고리즘(예: 유전 알고리즘, 입자 군집 최적화)이 PID 이득을 튜닝하기 위해 제안되어 왔으나, 이들은 무작위 부하 교란에 취약하며 하이퍼파라미터의 균형을 맞추기 위해 광범위한 계산 자원을 필요로 하는 경우가 많다. 따라서 재생 에너지 기반 독립형 마이크로그리드의 확률적 특성을 처리하기 위해 적응성, 강건성 및 실시간 데이터 기반 최적화를 제공할 수 있는 제어 전략이 절실히 필요하다.

연구 방법론
본 논문은 강화 학습(RL) 에이전트, 구체적으로는 트윈 지연 심층 결정론적 정책 경사(TD3) 알고리즘을 PID 제어기와 결합한 새로운 제어 프레임워크를 제안한다. TD3 에이전트는 사전 계산된 최적값에 의존하는 대신, 시스템 상호작용에 따라 실시간으로 PID 이득($K_p, K_i, K_d$)을 적응적으로 튜닝하도록 설계되었다.

• 시스템 모델링: 다양한 분산 발전(DG) 유닛(디젤 엔진 발전기, 태양광 발전, 풍력 터빈 발전기, 바이오가스 터빈, 연료 전지)과 에너지 저장 시스템(배터리, 플라이휠, 전기 자동차)을 포함하는 IMG의 동적 수학적 모델이 개발되었다. 이러한 구성 요소들은 자율 운전을 시뮬레이션하기 위해 1차 전달 함수와 스윙 방정식을 사용하여 모델링되었다.
• RL-TD3 프레임워크: 주파수 편차를 최소화하기 위해 액터-크리틱(actor-critic) 방법인 TD3 알고리즘이 채택되었다. 에이전트는 주파수 오차에 페널티를 주는 보상 함수를 사용하여 1,000 에피소드(각 90초) 동안 오프라인으로 훈련되었다. 훈련에는 리플레이 버퍼(replay buffer), 과대평가 오류를 줄이기 위한 이중 크리틱 네트워크, 그리고 안정성을 높이기 위한 타겟 정책 평활화(target policy smoothing)가 활용되었다.
• 비교 벤치마크: 제안된 RL-TD3-PID 제어기는 두 가지 메타휴리스틱 최적화 접근 방식과 비교되었다:
  1. COA-PID: 코아티 최적화 알고리즘(Coati Optimization Algorithm)을 사용하여 최적화됨.
  2. CS-GWO-PID: 회색 늑대 최적화(Grey Wolf Optimization)와 커쿠 섭식(Cuckoo Search)의 하이브리드 방식을 사용하여 최적화됨.
• 시뮬레이션 시나리오: MATLAB 환경에서 두 가지 시나리오로 성능을 평가하였다:
  1. 시나리오 I: 2단계 부하 변화 (0.06에서 0.075 p.u.).
  2. 시나리오 II: 0.02에서 0.09 p.u. 사이에서 변동하는 무작위 단계 부하 교란.
• 강건성 분석: 주요 시스템 파라미터(관성 상수 $M$, 댐핑 계수 $D$, 연료 전지 및 디젤 발전기의 시상수)를 단축(uniaxial) 및 다축(multiaxial) 구성 모두에서 ±25%씩 변화시키며 민감도 분석을 수행하였다.

주요 기여

1. 적응형 프레임워크 개발: 재생 에너지의 변동성과 부하 교란에 대응하기 위해 PID 파라미터를 적응적으로 제어할 수 있는 TD3 기반 RL 에이전트 프레임워크를 개발하였다.
2. 동적 시뮬레이션 모델: 제안된 제어기의 주파수 규제 능력을 검증하기 위해 포괄적인 IMG 동적 시뮬레이션 모델을 구축하였다.
3. 온라인 적응: 본 연구는 RL-TD3-PID 제어기가 환경의 고정된 수학적 모델을 요구하지 않고도 시스템 불확실성에 대해 강건성을 높일 수 있는 온라인 데이터 기반 적응 능력을 갖추고 있음을 입증한다.
4. 포괄적인 비교 연구: 제안된 RL 방식과 기존 메타휴리스틱 방법(COA 및 GWO-CS) 간의 구조적 비교를 통해 동적 응답, 교란 제거 및 파라미터 불확실성 측면에서의 성능을 평가하였다.

결과
시뮬레이션 결과, RL-TD3-PID 제어기는 동적 응답 및 교란 제거 측면에서 COA-PID 및 CS-GWO-PID 제어기보다 일반적으로 우수한 성능을 보였다.

• 성능 지표: 시나리오 I과 시나리오 II 모두에서 TD3-PID 제어기는 최적화 기반 제어기들에 비해 적분 성능 지수인 시간 가중 절대 오차 적분(ITAE) 및 시간 가중 제곱 오차 적분(ITSE)에서 더 낮은 값을 달면 달성하였다.
• 과도 응답: TD3-PID 제어기는 더 빠른 침강 시간(settling time)과 더 나은 주파수 진동 억제 능력을 보여주었다. 예를 들어, 시나리오 I에서 TD3-PID의 ITAE는 $2.65 \times 10^{-2}$로, CS-GWO-PID의 $7.09 \times 10^{-2}$ 및 COA-PID의 $8.40 \times 10^{-2}$보다 현저히 낮았다.
• 강건성: 파라미터 불확실성(±25% 변동) 하에서도 TD3-PID 제어기는 시간 영역 지표의 편차를 최소화하며 안정적인 운전을 유지하였다. 복잡한 다축 교란 하에서는 일부 오버슈트와 언더슈트 값이 증가했으나, 제어기는 일관되게 시스템을 낮은 정상 상태 오차를 가진 준정상 상태(quasi-steady state)로 복귀시켰다.
• 수렴성: 훈련 과정은 RL 에이전트가 안정적인 PID 이득 값으로 성공적으로 수렴했음을 보여주었으며, 보상 함수는 1,000 에피소드에 걸쳐 개선된 제어 성능을 나타냈다.

의의 및 주장
본 논문은 딥 강화 학습과 고전적 PID 제어의 결합이 재생 에너지 기반 독립형 마이크로그리드에서 신뢰할 수 있고 효율적인 주파수 규제를 위한 유망한 접근 방식임을 주장한다. 본 연구는 RL-TD3 방식이 정적 최적화 방법과 비교하여 시스템 불확실성 및 부하 변동에 대해 우수한 적응성을 제공한다는 점을 강조한다.

저자들은 본 연구가 저관성 시스템에서 기존 제어기 및 메타휴리스틱 튜닝 제어기의 한계를 해결하는 중요한 단계라고 위치시킨다. 그러나 논문은 결과가 시뮬레이션 연구에 기반하고 있으며 하드웨어 인 더 루프(HIL) 또는 실시간 실험적 구현을 통해 아직 검증되지 않았음을 인정하며 신중한 어조를 유지한다. 저자들은 제안된 방법이 대부분의 테스트 시나리오에서 우수한 성능을 보였음에도 불구하고, 특정 교란 사례에서는 선택된 최적화 알고리즘이 RL-TD3-PID의 성능을 약간 상회하기도 했다고 언급하였다. 향후 과제로 실험적 검증과 더 복잡한 마이크로그리드 토폴로지 및 통신 지연 환경으로의 프레임워크 확장이 필요함을 명시하였다.