기술 요약: HetGPS

문제 정의

주거용 전기차(EV) 충전 조율은 **확장성(scalability)**과 **네트워크 안전성(network safety)**이라는 이중 과제를 안고 있습니다. 비협력적 충전은 에이전트 간의 전기적 결합을 무시하여 전압 위반을 초래하는 반면, 중앙 집중식 조율은 플릿(fleet) 규모와 네트워크 토폴로지가 커짐에 따라 계산적으로 다루기 불가능해집니다. 기존의 그래프 기반 다중 에이전트 강화학습(MARL) 접근 방식은 파라미터 공유를 통해 확장성을 제공하지만, 동적인 수요와 발전 조건 하에서 모든 실현된 결합 행동(joint action)이 물리적 제약 조건을 만족하도록 보장하는 데는 종종 실패합니다. 또한, 표준적인 안전 개입(예: 고정된 제한 또는 학습 시 페널티 부여)은 위험도가 높은 시나리오를 처리할 유연성이 부족하거나, 양호한 조건에서는 유용한 행동을 불필요하게 왜곡합니다. 핵심 문제는, 에이전트 수에 따라 모델 크기가 늘어나지 않으면서도, 작업 지향적 결정을 무시하지 않고 공유된 네트워크 제약(특히 버스 전압)을 보호할 수 있는 확장 가능한 학습 정책을 어떻게 배포하느냐 하는 것입니다.

방법론: HetGPS 프레임워크

저자들은 HetGPS라는 하이브리드 그래프 제어 프레임워크를 제안하며, 이는 안전 개입의 *크기(magnitude)*와 *방향(direction)*을 분리합니다. 이 시스템은 학습된 MARL 정책과 물리적 그리드 구동 사이에서 안전 필터 계층으로 작동합니다.

1. 하이브리드 안전 필터 인수분해 (Hybrid Safety Filter Factorization)

핵심 혁신은 두 가지 역할의 분리입니다:

• 학습된 그래프 리스크 (권한 스케줄링): 그래프 기반 모델이 현재 상태와 제안된 행동을 바탕으로 전압 위반의 위험을 예측합니다. 이 모델은 행동을 어떻게 수정할지를 결정하는 것이 아니라, 상태 의존적인 개입 권한(intervention authority)($\Delta_t$)을 스케줄링합니다. 이는 제안된 EV 행동에 허용되는 최대 변화량을 정의합니다.
• 물리 기반 방향 (Physics-Anchored Direction): 선형화된 전력 흐름 모델(LinDistFlow)이 방향을 결정합니다. 이는 EV 전력 주입에 따른 버스 전압의 물리적 민감도를 계산합니다. 필터는 학습된 정책의 제안을 물리적 민감도와 학습된 권한 예산(authority budget)으로 정의된 가용 집합 위로 투영(projection)합니다.

2. 확장 가능한 그래프 MARL 아키텍처

• 이종 그래프 (Heterogeneous Graph): 시스템은 배전망을 버스 노드(전압 및 총 전력을 노출)와 EV 에이전트 노드(충전 상태(SoC) 및 출발 시간과 같은 개인 상태 보유)를 가진 이종 그래프로 모델링합니다.
• 파라미터 공유: 모든 에이전트에 대해 공유된 Soft Actor-Critic (SAC) 정책과 공유된 그래프 인코더가 사용됩니다. 그래프 인코더는 중앙 집중식 크리틱(critic)으로 개인 EV 상태를 통합하지 않고도, 운영자 측의 토폴로지 인식 전기적 맥락을 집계합니다.
• 행동 조건부 잔차 모델 (Action-Conditioned Residual Model): 학습 과정에서 잔차 헤드(residual head)는 전력 흐름 라벨에 의해 감독되어 전압 결과를 예측합니다. 배포 시, 이 모델은 리스크 추정기로서 작동하여 안전 필터를 트리거합니다.

3. 실행 파이프라인

1. 제안 (Proposal): 공유된 그래프 정책이 결합된 EV 행동($a^{RL}_t$)을 제안합니다.
2. 리스크 평가 (Risk Assessment): 잔차 모델이 전압 결과를 예측합니다. 예측된 리스크가 임계값을 초 exceed하면, 권한 예산 $\Delta_t$가 계산됩니다.
3. 투영 (Projection): 트리거된 경우, 순차적 투영 스윕(sequential projection sweeps)을 통해 해결되는 볼록 이차 계획법(convex quadratic program)이 행동을 조정합니다. 수정 방향은 물리 모델($J_t$)에 의해 엄격히 결정되는 반면, 크기는 $\Delta_t$에 의해 제한됩니다.
4. 서비스 맵 (Service Map): 최종 행동은 가용성, SoC 제한 및 출발 규칙을 강제하는 결정론적 서비스 맵($G_{svc}$)을 통과합니다.

주요 기여

1. 하이브리드 안전 필터 인수분해: 저자들은 학습된 그래프 리스크 모델이 상태 의존적 개입 권한을 스케줄링하고, 물리 모델이 교정 방향을 결정하는 새로운 인수분해 방식을 도입했습니다. 이는 하나의 모델이 크기와 방향을 모두 추론해야 하는 문제를 피합니다.
2. 확장 가능한 파라미터 공유 아키텍처: HetGPS는 파라미터 공유 그래프 MARL 정책과 행동 조건부 전압 잔차 모델을 사용하여 이 원칙을 구현합니다. 결정적으로, 학습된 파라미터 수는 EV 규모에 관계없이 고정되어 있습니다(예: 200개와 3,218개 EV 모두 383,702개의 파라미터). 이는 매칭된 중앙 집중식 SAC 액터가 선형적으로 증가하여 약 6,500만 개의 파라미터에 도달하는 것과 대조적입니다.
3. 제로샷 토폴로지 전이 (Zero-Shot Topology Transfer): 본 프레임워크는 작은 네트워크(예: 1,236개 EV)에서 학습된 정책을 더 크고 보지 못한 토폴로지(예: 3,218개 EV) 및 다른 피더 패밀리(IEEE 33)로 전이할 수 있음을 입증하며, 높은 안전성과 서비스 수준을 유지합니다.

실험 결과

본 프레임워크는 5개의 중첩된 CRE21 배전 네트워크(200~3,218개 EV)와 3개의 IEEE 피더에 대해 100일간의 평가 기간 동안 평가되었습니다.

• 안전 성능: 적응형 권한(Adaptive Authority)은 필터링이 없을 때 **3.93–7.74%**였던 버스 단계 전압 위반을 **0.52–3.44%**로 감소시키는 동시에, **99.06–100%**의 출발 성공률을 유지했습니다.
• 보상-안전 트레이드오프: 고정 권한 물리 투영과 비교했을 때, 적응형 스케줄러는 5개 CRE21 네트워크 모두에서 평균 보상을 개선하고 4개 네트워크에서 평균 안전 점수를 낮추었습니다.
• 확장성: 가장 큰 규모(3,218개 EV)에서 HetGPS 배포 모델은 완전히 중앙 집중화된 SAC 액터보다 약 170배 더 작습니다.
• 전이 가능성: 8개 변압기 시스템(1,236개 EV)에서 학습된 정책은 16개 및 32개 변압기 시스템으로 제로샷 전이되어, 0.57–0.75%의 위반율과 최소 99.99%의 출발 성공률을 달erm했습니다.

의의 및 주장

본 논문은 학습된 그래프 리스크가 대규모 환경에서 개입 권한을 효과적으로 할당할 수 있으며, 피더의 물리학이 교정 행동을 고정한다고 주장합니다. 이 접근 방식은 공유된 제약을 보호하는 것과 유용한 학습된 조율을 보존하는 것 사이의 긴장을 해결합니다.

저자들은 자신들의 근거가 **경험적(empirical)**임을 강조합니다. 그들은 균형 잡힌 전력 흐름 근사치의 사용과 인증된 모델 오차 마진의 부재로 인해, 모든 확률적 실현에 대해 점별(pointwise) 실행 가능성을 보장한다고 주장하지 않습니다. 대신, 학습된 모델이 가변적인 크기의 네트워크 상태를 압축하고 개입 권한을 할당하는 한편, 물리 모델이 교정 방향이 물리적으로 근거가 있음을 보장하는 실용적인 프레임워크를 제시합니다. 저자들은 이러한 인수분해가 협력형 인버터/저장 장치 제어 및 지역 난방과 같이 첫 번째 차수의 행동-제약 민감도가 다룰 수 있는 다른 그래프 결합 시스템으로 확장될 수 있다고 제안하지만, 교차 도메인 검증 및 인증된 마진은 향후 과제로 남겨두었습니다.