⚡ electrical engineering

Deep Reinforcement Learning-Based Adaptive Coordination of DC Reactor Fault Current Limiters for Protection of Hybrid AC/DC Microgrids with High Renewable Penetration

본 논문은 재생 에너지 침투율이 높은 하이브리드 AC/DC 마이크로그리드에서 임피던스와 스위칭 시퀀스를 동적으로 최적화함으로써, 고정된 기존 전략에 비해 고장 전류 감소, 전압 복구 및 보호 선택성 측면에서 성능을 크게 향상시킨 DC 리액터 고장 전류 제한기를 위한 심층 Q-네트워크 기반의 적응형 협조 프레임워크를 제안한다.

원저자: B. Venkata Ramana¹, Sridhar Savarapu²

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: B. Venkata Ramana¹, Sridhar Savarapu²

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

하이브리드 AC/DC 마이크로그리드를 교류(AC)와 직류(DC)라는 두 종류의 전력 고속도로가 달리는 활기차고 첨단 기술이 집약된 도시라고 상상해 보십시오. 이 도시는 전통적인 발전기와 더불어 풍력 터빈, 태양광 패널과 같은 재생 에너지원의 범람으로부터 전력을 공급받습니다. 문제는 무엇일까요? "교통사고"(단락 또는 고장)가 발생했을 때, 기존의 "교통 경찰"(보호 계전기)들이 혼란에 빠진다는 점입니다. 재생 에너지원은 예측 불가능하고 전력을 이상한 방향으로 보낼 수 있기 때문에, 사고를 막기 위한 기존의 규칙들이 작동하지 않습니다. 교통 체증은 악화되고, 엉뚱한 거리들이 폐쇄됩니다.

오랫동안 엔지니어들은 "결함 전류 제한기(Fault Current Limit-er, FCL)"라는 "스마트 장벽"을 사용하여 이를 해결하려고 노력했습니다. 이것은 사고가 감지되었을 때 전기 서지를 늦추기 위해 튀어나오는 자동 과속 방지턱과 같습니다. 하지만 이 논문은 이러한 장벽을 사용하는 기존 방식—즉, 고정된 높이로 설정하거나 단순한 사전 정의된 규칙을 사용하는 것—이 마치 1990년대 지도를 가지고 포뮬러 1 자동차를 운전하려는 것과 같다고 주장합니다. 그리드 모드가 바뀌거나(예: 메인 전력망에 연결된 상태에서 독립 운전 모드로 전환될 때), 태양광이나 바람의 출력이 변할 때와 같이 도로 상황이 변하면 제대로 작동하지 않기 때문입니다.

논문의 핵심 아이디어: 전력망을 위한 비디오 게임 AI

저자들은 새로운 초지능형 솔루션인 심층 강화 학습(Deep Reinforcement Learning, DRL) 에이전트를 제안합니다. 기존의 보호 시스템이 규칙 책이라면, 이 새로운 시스템은 놀면서 배우는 비디오 게임 AI와 같습니다.

실제 시뮬레이션에서의 작동 방식은 다음과 같습니다:

훈련장: 연구진은 MATLAB/Simulink라는 컴퓨터 프로그램을 사용하여 하이브리드 마이크로그리드의 상세한 디지털 트윈을 구축했습니다. 그들은 단순히 한 번 테스트하는 데 그치지 않고, AI "플레이어"가 다양한 시나리오 속에서 5,000번의 충돌을 경험하게 했습니다. 그들은 다양한 유형의 전기적 고장, 다양한 위치, 그리고 재생 에너지 수준(총 전력의 20%에서 80%까지)을 포함하여 모든 것을 던져주었습니다.
학습 과정: AI(구체적으로는 심층 Q-네트워크, DQN)는 "속도 방지턱"(DC 리액터 FCL)을 실시간으로 조정하는 법을 배웠습니다. AI는 때때로 거대한 서지를 막기 위해 장벽을 매우 높게 세워야 하는 반면, 다른 때에는 전압을 안정시켜 불이 깜빡거리지 않도록 장벽을 낮게 유지해야 한다는 것을 배웠습니다. AI는 수백만 번의 조합을 시도하며, 그리드를 안전하게 유지하면 "점수(보상)"를 얻고, 그리드가 혼란에 빠지거나 전압이 너무 낮아지면 "점수를 잃는(벌점)" 방식을 통해 완벽한 균형을 찾아냈습니다.
2단계 방어 체계: 이 시스템은 두 단계의 반응 계획을 가지고 있습니다.
- 1단계 (반사 신경): 고장이 감지되는 즉시(0~10밀리초 이내), 로컬 하드웨어가 자동으로 작동하여 최대 장벽을 설치합니다. 이는 AI가 생각을 마치기도 전에 일어나는 빠르고 반사적인 움직임입니다.
- 2단계 (두뇌): 아주 짧은 시간 후(10밀리초 이후), AI가 주도권을 잡습니다. AI는 도시 전체를 살펴보고, 각 장벽에 대한 가장 적절한 설정값을 계산하여 명령을 내립니다. AI는 5밀리초마다 이 작업을 수행하며, 상황이 변함에 따라 보호 기능을 지속적으로 미세 조정합니다.

무엇이 효과적이고 무엇이 효과적이지 않은가

이 논문은 무엇이 작동하지 않는지에 대해 매우 명확하게 밝히고 있습니다. 논문은 높은 재생 에너지 비중을 가진 현대적 그리드에서 장벽의 단일 고정 설정이 통하지 않는다는 아이디어를 명시적으로 배제합니다. 또한, 그리드 모드가 바뀔 때(예: 그리드 연결 모드에서 독립 운전 모드로 전환 시) 변하지 않는 사전 계산된 규칙에만 의존하는 것에 대해서도 반박합니다. 저자들은 시뮬레이션에서 이러한 기존 방식들이 "오협조(miscoordination)"를 일으켜, 고장이 여전히 진행 중임에도 불구하고 멀쩡한 부분의 차단기가 작동하여 도시의 건강한 구역들을 암흑 속에 빠뜨린다는 것을 보여주었습니다.

반면, AI 기반 접근 방식은 시뮬레이션에서 놀라운 결과를 보여주었습니다:

혼란 제로: 20가지 테스트 시나리오에서 AI 시스템은 오협조 이벤트가 0건이었습니다. 기존의 고정 방식은 3건, 또 다른 적응형 방식은 2건의 오협조가 발생했습니다.
더 나은 전압: 고장이 발생했을 때, AI는 전압을 0.87 pu로 유지한 반면, 가장 우수했던 기존 방식은 0.50 pu밖에 유지하지 못했습니다. 이는 불빛이 훨씬 더 밝게 유지되고 장비가 더 안전하다는 것을 의미합니다.
더 빠른 응답: AI는 고장을 더 빠르게 해결하여, 기존 고정 시스템의 400ms에 비해 312ms의 주 차단기 동작 시간을 기록했습니다.
전류 감소: AI는 메인 접속 지점의 피크 고장 전류를 제한 장치가 없을 때와 비교하여 47.9% 감소시킨 1.98 kA까지 성공적으로 줄였습니다.

얼마나 확실한가?

이 인상적인 수치들이 시뮬레이션에서 나왔다는 점을 유의하는 것이 중요합니다. 저자들은 실제 물리적인 전력망이 아닌 컴퓨터 모델에서 테스트를 수행했습니다. 저자들은 수학적 논리에 매우 자신감을 가지고 있으며, AI가 3상 고장부터 지락 고장에 이르기까지, 그리고 재생 에너지 침투율이 **70%**에 달할 때까지도 이를 처리하는 법을 배웠음을 입증했습니다.

논문은 이 작업이 큰 진전이지만, 다음 단계는 이를 실제 하드웨어에서 증명하는 것이라고 결론짓습니다. 저자들은 "하드웨어 인 더 루프(hardware-in-the-loop)" 시스템(AI가 실제 장비와 연결된 실시간 시뮬레이터를 제어하는 방식)에서 테스트를 진행하여, 통신 지연이나 사이버 공격에 어떻게 대응하는지 확인할 계획입니다. 하지만 현재로서, 디지털 세계의 시뮬레이션 안에서 이 AI "교통 경찰"은 기존의 규칙 책이 결코 해낼 수 없었던 방식으로 하이브리드 도시를 안전하고, 빠르고, 안정적으로 지키는 법을 배웠습니다.

기술 요약: 하이브리드 AC/DC 마이크로그리드 내 DC 리액터 고장 전류 제한기를 위한 딥 강화 학습 기반 적응형 협조 제어

문제 정의
재생 에너지원(RES) 및 분산 전원(DG)의 하이브리드 AC/DC 마이크로그리드 통합이 증가함에 따라, 이는 양방향 전력 흐름과 동적 임피던스 프로파일을 도입하여 고장 전류 특성을 근본적으로 변화시켰다. 이러한 변화는 기존의 보호 협조 체계, 특히 방향성 과전류 계전기(DOCR) 및 거리 계전기에 심각한 교란을 일으킨다. DG 유닛으로부터 발생하는 "인피드 효과(infeed effect)"는 종종 계전기의 오동작(과도달 또는 미달)을 유발하여 협조 실패를 초래한다. 고장 전류 제한기(FCL), 특히 DC 리액터 FCL(DCR-FCL)은 고장 전류를 제한하는 하드웨어 솔루션을 제공하지만, 기존의 협조 전략은 고정된 임피던스 임계값이나 오프라인 최적화 기법(예: 유전 알고리즘, 입자 군집 최적화)에 의존한다. 이러한 정적 접근 방식은 마이크로그리드의 급격하고 확률적인 토폴로지 변화, 아이랜딩 전환, 가변적인 RES 침투율에 적응하지 못하며, 이로 인해 사전 계산된 설정값이 실시간 시나리오에서 최적성을 잃거나 무효해지는 문제를 겪는다.

방법론
본 논문은 DCR-FCL의 적응형 협조를 달 수 있도록 심층 Q-네트워크(DQN) 에이전트를 활용하는 딥 강화 학습(DRL) 프레임워크를 제안한다. 방법론은 다음과 같이 구성된다:

시스템 모델링: 11 kV AC 서브 네트워크와 800 V DC 서브 네트워크가 양방향 인터링킹 컨버터에 의해 상호 연결된 하이브리드 AC/DC 마이크로그리드 테스트 시스템을 MATLAB/Simulink로 모델링하였다. 시스템에는 풍력 터빈, 태양광(PV) 유닛, 배터리 저장 장치 및 디젤 발전기가 포함된다. DCR-FCL 유닛은 공통 결합점(PCC), DG 단자 및 주요 선로 구간에 전략적으로 배치된다.
DRL 정식화 (MDP): 협조 문제는 다음과 같은 마르코프 결정 과정(MDP)으로 정식화된다:
- 상태 공간 ( $S$ ): 버스 전압, 선로 전류, DG 전류, 추정된 고장 위치, 고장 유형, 총 RES 발전량 및 운전 모드(계통 연계형 vs. 독립 운전형)를 포함한다.
- 동작 공간 ( $A$ ): 각 DCR-FCL 유닛 내의 IGBT 스위치에 대한 이산적 듀티 사이클 설정( $D \in \{0, 0.1, \dots, 1.0\}$ )이며, 이는 유효 제한 임피던스( $Z_{FCL}$ )를 직접 제어한다.
- 보상 함수 ( $R$ ): 선로 전류를 범위 내로 유지하고, 버스 전압을 안정적으로 유지하며(0.85–1.05 pu), 올바른 주/예비 계전기 협조를 보장하고, 선택성(고장 구역만을 격리)을 유지하기 위한 가중 합산 보상이다.
2단계 협조 체계:
- 1단계 (로컬 자율 응답): 고장 감지 시(0–10 ms), 로컬 컨트롤러는 통신 지연과 무관하게 초기 고장 전류 피크를 억제하기 위해 즉시 최대 제한 임피던스를 적용한다.
- 2단계 (DRL 글로벌 협조): 초기 시간 창 이후, 훈련된 DQN 에이전트를 호스팅하는 중앙 의사결정 센터(DMC)가 IoT 레이어를 통해 전체 시스템 상태를 수신한다. 에이전트는 모든 FCL에 대한 최적의 듀티 사이클을 계산하고, 동시에 최적의 보호 협조(OPC)를 보장하도록 DOCR 설정을 업데이트한다. 이 과정은 5 ms마다 반복된다.
훈련: DQN 에이전트는 다양한 고장 유형(LG, LL, LLG, 3Φ), 고장 위치, 저항값 및 RES 침투율(20–80%)을 포함하는 확률적 환경에서 5,000 에피소드 동안 훈련된다.

주요 기여
본 논문은 다음과 같은 구체적인 기여를 주장한다:

DRL의 첫 적용: 정적 최적화를 넘어 DCR-FCL의 적응형 협조를 위해 심층 Q-네트워크를 적용한 최초의 사례를 제시한다.
통합 2단계 프레임워크: FCL 임피던스 제어를 DOCR 설정 최적화와 직접 통합하여, 고장 전류 억제, 전압 지원 및 계전기 협조 사이의 균형을 동적으로 맞추는 통합 프레임워크를 구축하였다.
하이브리드 토폴로지로의 확장: 기존의 다중 FCL 협조 개념(본래 방사형 AC 시스템용)을 인터링킹 컨버터 역학 및 DC 측 고장 특성을 포함하는 복잡한 하이브리드 AC/DC 마이크로그리드로 확장하였다.
포괄적 벤치마킹: 다양한 고장 시나리오 및 RES 침투율에 대해 제안된 DRL 방식과 고정형 DCR-FCL 전략 및 적응형 가상 임피던스(VI-FCL) 방식을 비교함으로써 통합된 성능 벤치마크를 제공한다.

결과
시뮬레이션 결과, 제안된 DRL 기반 방식이 기존 및 규칙 기반 적응형 전략보다 성능이 크게 우수함을 입증하였다:

계전기 협조: DRL 방식은 20개의 테스트 케이스 전반에서 제로(0)의 미협조 이벤트를 달성한 반면, 고정형 FCL 및 적응형 VI-FCL 방식은 각각 3회 및 2회의 미협조 이벤트를 경험했다.
고장 전류 감소: DRL 방식은 PCC에서의 피크 고장 전류를 47.9% (1.98 kA까지) 감소시켜, 고정형(44.7%) 및 적응형 VI(47.4%) 방식보다 약간 더 우수한 성능을 보였다.
전압 안정성: 고장 발생 시, DRL 방식은 최소 버스 전압을 0.87 pu로 유지하였으며, 이는 기존 최선 방식이 달성한 0.50 pu에 비해 현저한 개선이다. 이는 전류 제한과 전압 지원 사이의 균형을 맞추는 탁월한 능력을 나타낸다.
속도: DRL 방식 적용 시 주 계전기 동작 시간은 312 ms로 단축되었으며, 이는 고정형 FCL의 400 ms와 비교하여 더 빠른 고장 제거를 가능하게 한다.
적응성: 에이전트는 재훈련 없이도 아이랜딩 운전 모드 및 높은 RES 침투율(70%)에 성공적으로 적응하였으나, 정적 방식들은 이러한 동적 조건에서 실패하거나 성능이 저하되었다.
실시간 적용 가능성: DQN 추론 시간은 0.8 ms로 측정되어 5 ms의 의사결정 간격 내에 충분히 들어왔으며, 이는 실시간 적용 가능성을 확인시켜 준다.

의의 및 주장
저자들은 본 연구를 FCL 기술을 단일 장치 적용에서 지능형 AI 기반 실시간 협조 제어로 체계적으로 발전시킨 연구 프로그램의 결실로 규정한다. 본 논문은 제안된 프레임워크가 현대적 마이크로그리드의 동적이고 불확실한 운전 조건에 적응하지 못하는 기존 보호 전략의 근본적인 한계를 해결한다고 주장한다. DRL을 활용함으로써 시스템은 전체 네트워크 상태를 인지하고, 고장 전류 억제, 전압 복구 및 계전기 협조 무결성을 동시에 최적화하는 최적의 정책을 학습할 수 있다. 저자들은 이 접근 방식이 재생 에너지 침투율이 높은 하이브리드 AC/DC 마이크로그리드를 보호하기 위한 포괄적인 솔루션을 제공하며, 스마트 그리드 보호 신뢰성을 향상시키는 중요한 진전이라고 확언한다.

저자들이 밝힌 향후 과제로는 하드웨어 인 더 루프(HIL) 검증, 더 큰 네트워크를 위한 멀티 에이전트 DRL 확장, 통신 지연 및 사이버 위협에 대한 강건성 분석, 그리고 훈련 데이터 요구량을 줄이기 위한 모델 기반 RL 연구 등이 포함된다.

유사한 논문