Physics Informed Reinforcement Learning with Gibbs Priors for Topology Control in Power Grids

1. 문제 정의 (Problem)

전력망 토폴로지 제어 (Topology Control) 는 발전과 수요의 변동성 증가, 전송량 증대 등으로 인해 전력망이 열적 및 보안 한계에 근접하여 운영되는 현대 전력 시스템에서 중요한 순차적 의사결정 문제입니다.

• 핵심 난제:
  • 결합적 행동 공간 (Combinatorial Action Space): 그리드 크기와 변전소 복잡도가 커질수록 가능한 토폴로지 구성 (회선 차단, 재배선 등) 의 수가 기하급수적으로 증가하여 탐색이 매우 어렵습니다.
  • 높은 계산 비용: 각 행동의 안전성을 평가하기 위해 전력 흐름 (Power Flow) 시뮬레이션을 수행해야 하는데, 이는 계산 비용이 매우 높고 실시간 의사결정에는 부적합합니다.
  • 기존 RL 의 한계: 단순한 강화학습 (RL) 은 탐색 비효율성이 크며, 온라인 시뮬레이션을 통한 행동 평가는 시간이 많이 소요되어 안전성과 실시간성 사이의 트레이드오프를 발생시킵니다.

2. 제안 방법론 (Methodology)

저자들은 물리 정보 기반 강화학습 (Physics-Informed RL) 프레임워크를 제안하며, 이는 **반 마르코프 결정 과정 (Semi-MDP)**과 **깁스 사전 확률 (Gibbs Prior)**을 결합한 구조를 가집니다.

A. 위험 게이트형 반 마르코프 결정 과정 (Hazard-gated Semi-MDP)

• 개념: 전력망이 정상 상태일 때는 개입하지 않고, 시스템이 위험한 상태 (과부하 임계치 초과 등) 에 진입했을 때만 에이전트가 개입하도록 설계합니다.
• 효과: 불필요한 의사결정 횟수를 줄이고, 계산 자원을 실제 위험이 발생하는 시점에 집중시킵니다.

B. 그래프 신경망 (GNN) 기반 위험 예측 대리 모델 (Surrogate)

• 구조: 전력망을 그래프 (노드: 버스바, 엣지: 회선) 로 표현하고, GNN 을 사용하여 현재 상태와 특정 행동 적용 후의 **과부하 위험 (Overload Risk)**을 1 단계ahead 로 예측합니다.
• 학습: 시뮬레이션 롤아웃 데이터를 기반으로 행동 조건부 위험을 예측하는 파라미터적 대리 모델 ($\hat{Risk}_\phi$) 을 학습합니다.

C. 물리 정보 기반 깁스 사전 확률 (Physics-Informed Gibbs Prior)

• 행동 선별 (Top-K Selection): 학습된 위험 예측 모델을 바탕으로, 각 상태 ($G_t$) 에서 예측 위험이 가장 낮은 $K$개의 유효한 행동 (Feasible Actions) 만을 후보 집합 ($A^K_t$) 으로 선별합니다. 이는 행동 공간을 상태 의존적으로 크게 축소합니다.
• 정책 재가중 (Reweighting): 학습된 RL 정책 (Policy Logits) 에 물리 기반의 위험 점수 (Physics Score) 를 더하여 최종 행동 확률 분포를 형성합니다.
  • 수식: $\tilde{\ell}(a) = \ell_\theta(a) + \beta \cdot s_\phi(a)$
  • 여기서 $\beta$는 물리 사전 확률의 강도를 조절합니다.

D. 학습 프로세스

1. 1 단계 위험 예측 모델 학습: 시뮬레이션 데이터를 사용하여 GNN 기반 위험 예측기를 학습하고 고정 (Freeze) 합니다.
2. 정책 학습 (PPO): 위험이 감지된 시점 (Macro-step) 에서만 축소된 행동 집합 ($A^K_t$) 내에서 PPO(Proximal Policy Optimization) 를 사용하여 정책을 학습합니다.

3. 주요 기여 (Key Contributions)

1. 확장성 있는 행동 공간 축소: 물리 법칙을 반영한 위험 예측을 통해 대규모 이산 행동 공간에서 상태 의존적인 소수의 유효 행동 집합을 자동으로 선별하여 확장성을 확보했습니다.
2. 알고리즘 무관한 정책 규칙: 학습된 에이전트의 행동 점수에 환경의 물리 정보를 반영한 사전 확률을 재가중하는 알고리즘 무관한 (Algorithm-agnostic) 규칙을 제안했습니다.
3. 실제 환경에서의 검증: 다양한 규모의 전력망 환경 (L2RPN 벤치마크) 에서 제안된 방법이 제어 품질과 계산 효율성 사이의 최적 균형을 달성함을 입증했습니다.

4. 실험 결과 (Experimental Results)

저자들은 **L2RPN (Learning to Run a Power Network)**의 세 가지 벤치마크 환경 (Case14, Case36, Case118) 에서 실험을 수행했습니다.

환경	주요 결과
Case14 (소규모)	오라클 (Greedy Oracle) 수준 성능 달성: 오라클과 거의 동일한 보상 (127,822.5 vs 127,822.8) 과 생존 단계 수를 기록했으나, 결정 시간은 약 6 배 더 빠름 (0.032ms vs 0.190ms).
Case36 (중규모)	오라클 대비 94.6% 성능, 200 배 빠른 속도: PPO 대비 보상 24.4% 향상. 오라클의 성능에 근접하면서도 결정 시간이 약 200 배 감소 (0.924ms vs 184.199ms).
Case118 (대규모)	PPO 대비 압도적 개선: 보상 255%, 생존 단계 284% 향상. 전문 엔지니어링 기반선 (LJN) 대비는 성능이 낮지만, 결정 시간은 2.5 배 더 빠름 (32.405ms vs 81.495ms).

• 종합: 제안된 방법은 PPO 보다 훨씬 강력한 성능을 내면서도, 완전한 탐색 (Oracle) 에 비해 계산 비용을 획기적으로 줄여 실시간 적용 가능성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 안전성과 효율성의 균형: 전력망 제어에서 가장 중요한 '안전성 (과부하 방지)'과 '실시간성 (빠른 의사결정)'을 동시에 만족시키는 아키텍처를 제시했습니다.
• 물리 지식의 통합: 순수 데이터 기반 RL 의 한계를 극복하기 위해 물리 법칙 (전력 흐름, 과부하 위험) 을 사전 확률 (Prior) 로 통합하여 탐색을 가이드하고, 불필요한 시뮬레이션을 제거했습니다.
• 실무 적용 가능성: 복잡한 대규모 전력망에서도 실시간으로 토폴로지 제어를 수행할 수 있는 효율적인 메커니즘을 제공하며, 향후 더 큰 규모의 그리드나 연속 행동 공간으로의 확장을 위한 기초를 마련했습니다.

이 논문은 전력망 운영의 복잡성을 해결하기 위해 물리 기반의 지능형 의사결정 시스템이 기존 RL 접근법보다 우월한 성능과 효율성을 가질 수 있음을 강력하게 증명했습니다.