Probabilistic Reachability Analysis of Multi-scale Voltage Dynamics Using Reinforcement Learning

1. 연구 배경 및 문제 정의 (Problem)

현대 전력 시스템은 재생에너지와 인버터 기반 자원의 증가로 인해 **다중 시간 스케일 (Multi-scale)**의 동역학이 복잡하게 결합되어 있습니다.

• 기존 방법의 한계:
  • 시간 스케일 분리 (Time-scale separation): 기존의 안정도 분석은 빠른 동역학 (전압 조정기, 발전기 응답) 과 느린 동역학 (LTC, 부하 변화) 을 분리하여 분석하거나, 준정적 (Quasi-static) 근사를 사용합니다. 그러나 이러한 단순화는 느린 동역학이 빠른 동역학의 불안정을 유발하는 결합된 불안정 메커니즘을 간과할 수 있습니다.
  • 불확실성 처리의 어려움: 부하 변동, 재생에너지 출력 등 운영 조건의 불확실성을 고려할 때, 몬테카를로 시뮬레이션과 같은 확률적 방법은 계산 비용이 너무 높아 고차원 모델이나 다중 스케일 동역학 분석에 적용하기 어렵습니다.
  • 정적 마진의 부재: 정적 안정도 마진이나 기존 시뮬레이션만으로는 장기 동역학이 단기 동역학의 불안정을 유발하는 경우 (전압 붕괴) 를 탐지하지 못합니다.

2. 제안된 방법론 (Methodology)

이 논문은 **강화학습 (Reinforcement Learning, RL)**을 기반으로 한 확률적 도달성 (Probabilistic Reachability) 분석 프레임워크를 제안합니다.

A. RL 기반 확률적 도달성 (RL-Based Probabilistic Reachability)

• 개념: 시스템 궤적이 정의된 '안전 집합 (Safe Set)' 내에 머무를 확률을 최대화하거나, '불안전 집합 (Unsafe Set)'에 도달할 확률 (위험도) 을 정량화하는 문제입니다.
• 상태 확장 (Augmented State): 기존 RL 의 가산적 보상 구조와 확률적 도달성의 승법적 (Multiplicative) 구조를 일치시키기 위해, 남은 시간 ($h$) 을 상태 벡터에 포함시킵니다.
  • 상태 $s_k = [h_k, z_k]^\top$로 정의하며, 시간이 소모되거나 불안전 상태에 진입하면 '흡수 상태 (Absorbing State)'로 전이되도록 설계합니다.
• 보상 함수: 안전 집합 내에 머무는 동안 시간 단계당 보상을 부여하여, 가치 함수 (Value Function) 를 최대 안전 확률로 학습하도록 유도합니다.

B. 메커니즘별 분석 프레임워크 (Mechanism-Specific Analysis)

• 다중 메커니즘 모델링: 다양한 불안정 메커니즘 (예: 발전기 불안정, 모터 불안정 등) 을 각각 별도의 **흡수 상태 (Absorbing State)**로 정의합니다.
• 멀티-크리틱 아키텍처 (Multi-Critic Architecture):
  • 각 불안정 메커니즘 $m$에 대해 별도의 크리틱 (Critic) 네트워크 $Q^{(m)}$를 학습시킵니다.
  • 공유된 액터 (Actor) 는 모든 크리틱이 예측하는 위험도 중 **최악의 경우 (Minimum)**를 최대화하도록 최적화됩니다.
  • 이를 통해 단일 프레임워크 내에서 여러 불안정 유형의 위험 확률을 일관되게 학습하고, 각 메커니즘이 전체 전압 붕괴 위험에 기여하는 정도를 정량화할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 다중 스케일 전압 동역학을 위한 RL 기반 프레임워크: 기존 RL 기반 도달성 분석을 전력 시스템의 여러 불안정 메커니즘이 동시에 발생할 수 있는 상황에 확장했습니다.
2. 메커니즘별 위험 정량화: 단일 모델이 다양한 불안정 원인 (예: 발전기 OXL 한계 도달, 모터 정지 등) 을 구분하여 각각의 발생 확률을 추정할 수 있게 하여, 전압 붕괴의 주된 원인을 해석 가능하게 (Interpretable) 만듭니다.
3. 불확실성 하의 효율적 분석: 몬테카를로 시뮬레이션의 높은 계산 비용을 극복하면서도, 비선형적이고 불확실성이 포함된 다중 스케일 동역학의 위험을 실시간에 가깝게 평가할 수 있는 방법을 제시했습니다.
4. 실증 연구: 4 버스 시스템 (LTC, OXL, AVR 포함) 을 대상으로 한 수치 실험을 통해 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 테스트 시스템: [10] 에서 제안된 4 버스 시스템을 사용하며, LTC(부하 탭 체인저) 와 OXL(과여자 한계기) 의 느린 동역학과 발전기/모터의 빠른 동역학이 결합된 모델을 적용했습니다.
• 시나리오: 송전선로 1 회선 차단으로 인한 전압 강하 후, LTC 가 전압을 복구하려 하면서 발전기 자여가 OXL 한계에 도달하고 전압이 붕괴되는 S-LT1 유형의 불안정을 시뮬레이션했습니다.
• 학습 결과:
  • 위험도 경향성: 시간 구간 (Horizon) 이 길어질수록, 그리고 발전기 출력 ($P_g$) 이 증가할수록 전압 붕괴 위험 확률이 증가하는 것을 정확히 포착했습니다.
  • 제어 효과: LTC 기준 전압 ($V_{ref}$) 을 조정하는 제어 동작을 학습시켰을 때, 위험 확률이 유의미하게 감소함을 확인했습니다.
  • 메커니즘 분리: 모터 동역학을 포함했을 때, 발전기 출력 증가는 발전기 불안정 위험을, 모터 부하 비율 증가는 모터 정지 (Stall) 로 인한 불안정 위험을 각각 정량적으로 구분해냈습니다. 이는 단일 위험 지표만으로는 불가능했던 분석입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 의의: 결정론적 도달성 분석을 넘어, 확률적 도달성을 전력 시스템 분석에 최초로 적용하여 불확실성 하의 위험을 직접 정량화했습니다.
• 실무적 의의: 복잡한 다중 스케일 동역학에서 발생하는 전압 불안정의 원인을 명확히 식별하고, 그 확률을 계산함으로써 운영자에게 **정보에 기반한 의사결정 (Informed Decision Making)**을 지원합니다.
• 미래 전망: 이 프레임워크는 재생에너지가 대량으로 통합된 대규모 시스템과 더 다양한 불안정 유형 (S-LT2, S-LT3 등) 으로 확장될 수 있으며, 실시간 안정도 평가 및 예방 제어에 활용될 잠재력이 큽니다.

요약하자면, 이 논문은 강화학습을 활용하여 전력 시스템의 복잡한 다중 시간 스케일 동역학과 불확실성을 동시에 고려한 정밀한 위험 분석 도구를 개발하고, 이를 통해 전압 붕괴의 구체적인 원인을 규명하고 제어 전략을 수립할 수 있음을 증명했습니다.