Load frequency control framework of renewable integrated power systems in multi scenario disturbance conditions with the proximal policy optimization  

기술 요약: 근사 정책 최적화(PPO)를 이용한 재생에너지 통합 전력 시스템용 부하 주파수 제어 프레임워크

문제 정의
현대 전력 시스템에 재생 에너지원(풍력 및 태양광)의 급격한 통합은 시스템 동특성을 근본적으로 변화시켰으며, 주로 총 시스템 관성을 감소시키는 결과를 초래했다. 기계적 관성이 거의 없는 컨버터 인터페이스 기반 재생 에너지와 달리, 기존의 동기 발전기는 관성이 낮아 주파수 변화율(RoCoF)의 증가, 주파수 최저점(nadir)의 심화, 그리고 교란에 대한 취약성 증대를 야기한다. PI 제어기(고정 이득 또는 Ziegler-Nichols와 같은 휴리스틱 튜닝 적용)와 같은 전통적인 부하 주파수 제어(LFC) 전략은 이러한 동적이고 저관성인 조건 및 확률적인 재생 에너지 출력 하에서 안정성을 유지하는 데 종종 실패한다. 최근 연구들이 LFC를 위해 강화 학습(RL)을 탐색해 왔으나, 많은 기존 접근 방식은 RL을 단순히 사전 정의된 제어기(예: PID 또는 Fuzzy-PI)의 이득 조정 메커니즘으로만 활용하거나, 높은 계산 복잡도, 하이퍼파라미터 민감도 및 수렴 불안정성을 겪는 복잡한 심층 강화 학습 알고리즘(예: DDPG, TD3)을 사용한다. 보조 튜닝 계층 없이도 현실적인 다중 시나리오 교란을 처리할 수 있는 계산 효율적이고, 완전히 적응 가능하며, 구조적으로 단순화된 제어 프레임워크에 대한 공백이 존재한다.

방법론
본 논문은 제어 신호가 직접 Proximal Policy Optimization (PPO) 에이전트에 의해 생성되는 2차 LFC 프레임워크를 제안하며, 주파수 조절을 이득 스케줄링 작업이 아닌 연속 제어 결정 문제로 정식화한다.

• 시스템 모델링: 물리적 시스템은 스윙 방정식(swing equation)에 기반한 축소 차수 대리 모델(reduced-order surrogate dynamic model)을 사용하여 모델링된다. 이 모델은 재생 에너지 침투로 인한 유효 관성 감소, 액추에이터 지연, 램프 레이트(ramp-rate) 제약 및 주파수 평활화를 포함한다. 상태 벡터는 순시 주파수 편차($\Delta f$), 적분 주파수 편차($I_f$), 그리고 실현된 발전 명령($P_{act}$)을 포함한다.
• PPO 정식화: 제어기는 행동이 가우시안 분포에서 샘플링되는 확률적 정책 $\pi_\theta(a_t|s_t)$를 활용한다. 알고리즘은 클리핑된 대리 목적 함수(clipped surrogate objective function)를 사용하여 정책 업데이트를 제한함으로써, 안정적인 학습을 보장하고 크고 불안정한 단계적 변화를 방지한다.
• 보상 구조: 주파수 편차, 누적 적분 오차, 제어 노력, 작동 매끄러움 및 운영 비용(이차 연료 비용 함수로 모델링됨)에 대해 페널티를 부여하도록 설계된 통합 다목적 보상 함수를 사용한다. 결정적으로, 보상에는 주파수 안전 한계 위반 및 액추에이터 포화에 대한 페널티가 포함되어, 에이전트가 안전하고 경제적인 운용을 향하도록 유도한다.
• 교란 시나리오: 프레임워크는 다음 네 가지의 구체적이고 현실적인 교란 조건 하에서 평가된다:
  1. Case 1: 단계적 부하 교란과 배경 재생 에너지 진동의 결합.
  2. Case 2: 간헐적 펄스와 확률적 노이즈가 포함된 장기 주기적 교란.
  3. Case 3: 폭풍이나 구름에 의한 재생 에너지 변동성을 시뮬레이션하는 과도적 진동 스트레스.
  4. Case 4: 재생 에너지 탈락, 피크 부하, 단계적 복구가 포함된 현실적인 다중 이벤트 컨틴전시(contingency).

주요 기여

1. 직접 정책 기반 제어: RL을 이득 튜닝에 사용하는 연구들과 달리, 본 연구는 PPO 에이전트가 사전 정의된 제어 구조 없이 시스템 상태를 제어 동작으로 매핑하는 정책을 학습하는 직접적인 연속 제어 문제로 LFC를 정식화한다.
2. 포괄적인 다중 시나리오 검증: 프레임워크는 단순 단계 부하 테스트를 넘어 재생 에너지 간헐성, 장주기 변동 및 복합 컨틴전시를 포함하여 실제 그리드 스트레스를 모사하는 네 가지 복잡한 교란 시나리오에 대해 엄격하게 테스트되었다.
3. 성능 우월성: 제안된 PPO 제어기는 고전적 최적화 제어기(GA-PI, TS-Fuzzy-PI, GA-Fuzzy-PI) 및 고급 심층 RL 변형(DDPG, TD3, SAC)과 비교된다.
4. 경제적 통합: 보상 함수는 발전 비용을 명시적으로 통합하며, 이를 통해 학습된 정책이 주파수 안정성을 달성하는 동시에 운영 비용을 최소화함을 입증한다.

결과
최대 86,400초에 이르는 장기 시계열에 걸쳐 수행된 시뮬레이션 결과는 PPO 기반 제어기가 모든 벤치마크 대비 유의미한 성능 향상을 보여줌을 입증한다:

• Case 1 (단계 부하): PPO 제어기는 적분 제곱 오차(ISE)를 약 1060인 벤치마크 제어기들에 비해 획기적으로 개선된 0.45196으로 감소시켰다. 또한 0.0171 Hz의 오버슈트와 0.0010 Hz의 평균 절대 주파수 편차를 달성했다.
• Case 2 (주기적 교란): 장기 주기적 변동 하에서 PPO 제어기는 ISE를 0.031126으로, 평균 진폭 변화를 0.00043351 Hz로 줄였으나, 타 방법들은 약 0.3125 Hz의 편차를 보였다.
• Case 3 (진동 스트레스): 제어기는 주파수를 좁은 대역 내로 유지하며, 약 0.03의 ISE와 0.0005 Hz 미만의 평균 절대 오차를 달성했다.
• Case 4 (현실적 컨틴전시): 탈락 및 피크 부하가 포함된 가장 복잡한 시나리오에서, PPO 제어기는 0.10953의 ISE와 0.023203 Hz의 제한된 오버슈트를 달성했으며, 일부 벤치마크가 7,000초 이상 소요된 것에 비해 59초의 정착 시간을 기록했다.
• 경제적 효율성: 모든 케이스에서 다목적 보상 정식화는 베이스라인 방법 대비 총 발전 비용을 60–75% 감소시켰다.
• 안정성: 학습 과정은 과적합 없이 일관된 보상 개선과 수렴을 보여주며, 학습된 정책의 안정성을 입증했다.

의의 및 주장
저자들은 제안된 PPO 기반 프레임워크가 재생 에너지 중심의 전력 시스템에서 주파수 안정화를 위한 회복 탄력적이고, 적응 가능하며, 비용 효율적인 솔루션을 제공한다고 주장한다. 본 연구는 이 방법이 전통적인 제어기(적응성 부족)와 복잡한 심층 RL 방법(계산 부담 및 불안정성)의 한계를 성공적으로 해결했음을 단언한다. 직접적인 제어 정책을 학습함으로써, 이 프레임워크는 휴리스틱 튜닝이나 하이브리드 아키텍처의 필요성을 제거하여 구조적으로 단순하면서도 매우 효과적인 접근 방식을 제공한다. 연구 결과는 정책 경사(policy-gradient) 강화 학습, 특히 PPO가 적절한 보상 구조와 제약 조건이 설정될 경우 저관성 전력 시스템에서 고전적 및 고급 액터-크리틱 제어 기술을 대체할 수 있는 강력한 대안이 될 수 있음을 시사한다. 본 논문은 이 접근 방식이 실시간 적용에 적합하며 향후 연구에서 다지역 시스템으로 확장 가능하다고 결론짓는다.