⚡ electrical engineering

Forecast-Assisted Deep Reinforcement Learning for Energy Management of Hydrogen-Enabled Community Microgrids

이 논문은 불완전한 다중 시계열 커뮤니티 부하 예측을 근사 정책 최적화(PPO) 제어기에 통합하는 것이, 예측의 낮은 정확도와 측정 가능한 회복력 개선의 부재에도 불구하고, 학습 수렴을 가속화하고 완만한 경제적 이득 및 재생 에너지 활용도 향상을 가져온다는 것을 입증한다.

원저자: Mohamed Atef, Sanath Alahakoon, Umme Mumtahina, Peter Wolfs, Tamer Khatib, Moslem Uddin

게시일 2026-07-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohamed Atef, Sanath Alahakoon, Umme Mumtahina, Peter Wolfs, Tamer Khatib, Moslem Uddin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

모든 집이 지붕 위의 태양광 패널이나 작은 풍력 터빈처럼 자신만의 작은 발전소를 가진 동네를 상상해 보세요. 이제 이 전력을 단순히 메인 전력망에 연결하는 대신, 이 동네가 마치 하나의 작은 독립 도시처럼 스스로 운영된다고 상상해 봅시다. 이것을 "마이크로그리드(microgrid)"라고 부릅니다. 큰 과제는 무엇일까요? 태양은 항상 빛나지 않고, 바람은 항상 불지 않으며, 사람들은 항상 동시에 전기를 사용하지도 않는다는 점입니다. 때로는 전력이 너무 많기도 하고, 때로는 너무 부족하기도 합니다. 이를 해결하기 위해 이 동네에서는 "배터리"(거대한 휴대폰 충전기 같은 것)를 사용하여 남는 전력을 나중에 쓰기 위해 저장합니다. 하지만 배터리는 비싸고 금방 소모됩니다. 그래서 과학자들은 새로운 기술인 "수소"를 시도하고 있습니다. 수소를 아주 강력한 배서터리라고 생각하면 됩니다. 수소는 에너지를 몇 주 또는 몇 달 동안 보관할 수 있습니다. 남는 전기를 수소 가스로 바꾸어 탱크에 저장했다가, 필요할 때 다시 전기로 바꾸는 것입니다. 큰 질문은 이것입니다. 어떻게 이 모든 움직이는 부품들—태양, 바람, 배터리, 수소, 그리고 메인 그리드—을 돈을 낭비하거나 전력이 끊기지 않게 관리할 수 있을까요?

이 논문은 컴퓨터 "두뇌"(인공지능)에게 이러한 동네의 똑똑한 관리자가 되는 법을 가르치는 것에 관한 것입니다. 연구진은 이 AI에게 "수정구슬"(예측치)을 주어 미래에 동네의 전력 수요가 어떻게 될지 예측하게 한다면, 이 AI가 더 나은 관리자가 될 수 있을지 알아보고 싶었습니다. 그들은 호주 록햄튼(Rockhampton)의 태양광, 풍력, 배터리, 수소가 혼합된 1,000가구의 가상 동네를 대상으로 이를 테스트했습니다.

다음은 그들이 발견한 이야기입니다.

수정구슬 문제

연구진은 "심층 강화 학습(Deep Reinforcement Learning)"이라는 방법을 사용하여 특별한 AI 관리자를 만들었습니다. 이 AI를 무언가를 시도하며 배우는 비디오 게임 캐릭터라고 생각하면 됩니다. 만약 좋은 움직임(예: 돈을 아끼는 것)을 하면 점수를 얻고, 나쁜 움직임(예: 에너지를 낭비하는 것)을 하면 점수를 잃습니다. 시간이 지나면서 최선의 전략을 배우게 됩니다.

보통 이 AI는 지금 당장 일어나고 있는 일만 봅니다. 태양이 빛나고 있고 배터리가 가득 차 있는 것을 보고 결정을 내립니다. 하지만 연구진은 궁금했습니다. 만약 우리에게 예측치를 준다면 어떨까? 만약 1시간, 6시간, 12시간, 또는 심지어 24시간 뒤의 날씨와 동네의 전력 수요를 볼 수 있다면 어떨까? 그러면 이 AI가 천재적인 관리자가 될 수 있을까?

그들은 미래를 예측하기 위해 "트랜스포머(Transformer)"(일부 챗봇에 사용되는 것과 같은 종류의 기술)라는 정교한 유형의 AI를 사용했습니다. 하지만 반전이 있습니다. 이 수정구슬은 완벽하지 않았습니다. 사실, 꽤 엉망이었습니다.

다음 1시간 동안의 예측은 괜찮았지만, 아주 훌륭하지는 않았습니다.
6시간 및 12시간 뒤의 미래에 대해서는, 예측이 평균값을 추측하는 것보다 오히려 더 나빴습니다! 수학적으로 모델이 혼란을 겪고 있음을 보여주었습니다.
24시간 뒤의 경우, 12시간 예측보다는 약간 나았지만, 여전히 완벽과는 거리가 멀었습니다.

놀라운 결과: 불완전해도 유용하다

여러분은 "수정구슬이 고장 났다면 왜 굳이 하는 거지?"라고 생각할 수도 있습니다. 하지만 이 논문의 마법은 이것입니다: 불완전한 수정구슬조차도 AI 관리자가 돈을 아끼는 데 도움을 주었습니다.

연구진이 이 불완전한 예측치를 사용하도록 허용했을 때, AI는 현재 상황만 바라보는 AI보다 더 빨리 배우고 더 나은 결정을 내렸습니다.

학습 속도: 예측치를 가진 AI는 약 14.3% 더 빠르게 전략을 배웠습니다 (35회의 훈련 세션 대신 약 30회의 훈련 세션 만에 최상의 성능에 도달했습니다).
절약된 금액: 1년 전체를 기준으로, "불완전한 예측치"를 가진 AI를 사용하는 동네는 A $2,765.83**를 절약했습니다. 예측치가 없는 동네는 **A$ 2,439.86만을 절약했습니다. 단지 조금 더 나은 미래 예측을 가졌을 뿐인데 주머니에 A$325.97가 더 들어온 것입니다.
친환경 에너지: 이 동네는 자체 태양광 및 풍력 에너지를 조금 더 많이 사용했습니다 (35.3%에서 36.4%로 증가).

AI가 한 일 (그리고 하지 못한 일)

AI는 모든 정전을 막거나 모든 낭비를 없애는 슈퍼히어로가 되지는 못했습니다.

좋았던 점: 타이밍을 맞추는 능력이 좋아졌습니다. 언제 배터리를 충전해야 할지, 그리고 언제 가장 좋은 가격에 전력을 다시 판매해야 할지를 알았습니다. 마치 내일 세일이 올 것을 알고 미리 구매를 기다리는 똑똑한 쇼핑객처럼 행동했습니다.
아쉬운 점: 예측치는 큰 비상 상황에는 큰 도움이 되지 않았습니다. 연구진이 전력 정전(그리드 실패)을 시뮬레이션했을 때, 예측치를 가진 AI는 예측치가 없는 AI와 정확히 똑같이 행동했습니다. 이 테스트에서 "수정구슬"은 동네를 재난으로부터 더 회복력 있게 만들어주지는 않았습니다. 그것은 예측치와 상관없이 배터리와 수소 탱크가 수행한 역할이었습니다.
한계점: 예측치는 동네에서 발생하는 전력 낭비(커테일먼트, curtailment)를 막지 못했으며, 피크 전력 사용량을 크게 낮추지도 못했습니다. 주요 성과는 순수하게 경제적인 것이었습니다. 즉, 타이밍을 잘 맞춰 몇 달러를 아끼는 것이었습니다.

결론

이 논문은 스마트 에너지의 미래에 대해 귀중한 교훈을 줍니다: 더 나은 결과를 얻기 위해 완벽한 예측이 필요한 것은 아닙니다. 여러분의 날씨 앱이 가끔 틀리더라도, 미래에 대해 무언가를 아는 것은 오늘 더 현명한 선택을 하는 데 도움이 됩니다.

연구진은 이러한 "불완전한" 예측치를 AI 관리자에게 추가함으로써, 약간의 추가적인 절약과 효율성을 끌어낼 수 있음을 보여주었습니다. 하지만 그들은 이것이 모든 문제를 해결하는 마법의 해결책은 아니라는 점을 매우 신중하게 밝히고 있습니다. 예측치는 여전히 꽤 부정확했으며, 시스템이 모든 문제(폭풍우 동안 그리드를 깨지지 않게 만드는 것과 같은)를 해결하지는 못했습니다. 하지만 이는 미래에 대한 불확실한 추측이라 할지라도, 아무것도 모르는 것보다는 훨씬 낫다는 것을 증명합니다. 이는 마치 약간 흐릿한 지도를 가지고 운전하는 것과 같습니다. 길을 잃을 수는 있겠지만, 눈을 가리고 운전하는 것보다는 목적지에 더 빨리, 그리고 연료를 덜 쓰고 도착할 수 있을 것입니다.

기술 요약: 수소 기반 커뮤니티 마이크로그리드의 에너지 관리를 위한 예측 보조 심층 강화 학습

1. 문제 정의

수소 저장 장치를 통합한 커뮤니티 마이크로그리드는 재생 에너지 활용도와 지역 회복력을 높이는 경로를 제공한다. 그러나 이들의 운영은 불확실한 주거용 수요, 가변적인 재생 에너지 발전량, 동적인 전력 가격, 그리고 단기 배터리 저장과 장기 수소 저장의 결합된 역학 관계로 인해 복잡하다.

기존의 에너지 관리 시스템(EMS)은 대개 규칙 기반 제어나 결정론적 최적화에 의존하며, 이는 재생 에너지 생산과 수요의 급격한 변화에 적응하는 데 어려움을 겪는다. 심층 강화 학습(DRL), 특히 근사 정책 최적화(PPO)가 이러한 시스템에 적용되어 왔으나, 이전의 사례(예: [12])는 미래의 부하 정보를 명시적으로 포함하지 않고 즉각적인 관측값에 기반하여 반응적으로 작동했다. 본 논문은 다중 시계열 부하 예측을 DRL 상태 공간에 통합하여 경제적 급전 및 학습 효율을 개선하는 예측 제어 프레-임워크를 개발함으로써 발생하는 격차를 해결하고자 하며, 특히 수소 기반 커뮤니티 마이크로그리드 맥락에 초점을 맞춘다.

2. 방법론

2.1. 시스템 아키텍처

본 연구는 호주 록컴튼(Rockhampton)의 1,000가구 주거용 마이크로그리드를 평가하며, 다음과 같은 특징을 갖는다:

발전: 태양광(PV) 어레이 및 풍력 터빈.
저장: 단기 균형을 위한 배터리 에너지 저장 시스템(BESS) 및 장기 자율성을 위한 수소 서브시스템(전해조, 저장 탱크, 연료 전지).
그리드 상호작용: 유틸리티 그리드와의 전력 수출입 능력.
수학적 모델: 발전, 저장, 수소 변환 및 그리드 교환을 결합하는 전력 균형 방정식을 갖춘 이산 시간 모델로 모델링된다.

2.2. 예측 프레임워크

커뮤니티 부하를 다중 시계열( $H \in \{1, 6, 12, 24, 48, 72\}$ 시간)로 예측하기 위해 트랜스포머(Transformer) 기반 예측 모델이 사용된다.

입력 특징: 과거 부하, 일사량, 주변 온도, 풍속, 전력 가격 및 시간적 지표.
아키텍처: 모델은 장거리 시간적 의존성을 포착하기 위해 입력 임베딩, 위치 인코딩 및 멀티 헤드 셀프 어텐션(multi-head self-attention) 메커니즘을 활용한다.
성능: 모델은 독립적으로 학습된 후 고정(frozen)되어 EMS에 통합된다. 평가 지표로는 RMSE, MAE, MAPE, $R^2$ 및 상관계수가 사용된다.

2.3. 예측 에너지 관리 시스템 (EMS)

핵심 기여는 PPO 기반 제어기를 예측 보조(forecast-assisted) 프레임워크로 확장한 것이다.

상태 공간 확장: 표준 PPO 상태(배터리 SOC, 수소 레벨, 현재 가격 등)는 다중 시계별 부하 예측 벡터( $\hat{P}_{L, t+1:t+H}$ )로 확장된다.
행동 공간: 배터리 충전/방전, 디젤 발전기 가동(정전 시), 수소 생산/소비에 대한 연속적 행동.
보상 함수: 운영 비용(그리드 수입/수출, 열화, 미충족 수요)을 최소화하는 동시에 저장 장치의 극한 운용에 대해 페널티를 부여하도록 설계되었다.
학습: PPO 에이전트는 할인된 누적 보상을 최대화하도록 학습된다. 연구에서는 네 가지 시나리오를 비교한다:
1. 배터리 없음 (물리적 베이스라인).
2. 예측 없는 PPO (반응적).
3. 불완전한 예측을 포함한 PPO (제안된 방식).
4. 완벽한 예측을 포함한 PPO (이론적 상한선).

3. 주요 기여

다중 시계열 예측 평가: 트랜스포머 구조를 사용하여 1, 6, 12, 24, 48, 72시간 시계열에 대한 커뮤니티 부하 예측에 대한 종합적인 평가를 수행하였다.
예측 강화 PPO 제어기: 미래의 부하 기대치가 DRL 상태에 직접 임베딩되어 정책이 수요 피크와 가격 변화를 예측할 수 있도록 하는 예측형 EMS를 개발하였다.
예측 가치의 정량적 격리: 비예측형 PPO 및 완벽한 예측 벤치마크와 대조함으로써 예측 정보의 운영 가치를 엄격하게 격리하여 평가하였다.
전체적 평가: 경제적, 운영적, 환경적 및 회복력 측면의 영향을 보고하였으며, 예측 정확도 및 특정 구성 요소의 궤적에 관한 한계를 명시적으로 인정하였다.

4. 결과

4.1. 예측 정확도

예측 성능은 혼합되었으며 시계열에 따라 차이를 보였다:

1시간 시계열: RMSE 239.32 kW, $R^2 = 0.201$ 로 가장 좋은 성능을 보였다.
중간 시계열 (6h, 12h): 음수의 $R^2$ 값($-0.757 $및$ -1.914$)을 기록하며 저조한 성능을 보였으며, 이는 평균값 예측자보다 못한 성능을 나타낸다.
24시간 시계열: RMSE 249.79 kW, MAPE 62.52%, $R^2 = 0.126$ 을 기록하였다.
장기 시계열 (48h, 72h): RMSE는 246~247 kW 부근에서 안정화되었으며, $R^2$ 값은 0.1을 약간 상회하였다.

4.2. 학습 및 경제적 성능

제한된 예측 정확도에도 불구하고, 예측 보조 PPO는 상당한 이점을 보여주었다:

수렴: 예측 보조 제어기는 비예측 제어기보다 약 14.3% 더 빨리(에피소드 30 vs 35) 수렴하였다.
보상 개선: 최종 보상은 비예측 베이스라인 대비 8.3% 증가하였다.
연간 절감액:
- 예측 없음: A$2,439.86.
- 예측 포함: A$2,765.83.
- 증분 이득: A$325.97 (13.4% 증가).
- 구현된 모델은 완벽한 예측으로 달성 가능한 절감액의 약 90.5%를 포착하였다.
재생 에너지 활용도: 예측 없음(35.3%)에서 예측 포함 시(36.4%)로 증가하였다.
그리드 수입: 비예측 방식 대비 170.15 kWh 감소하였다.

4.3. 운영 및 회복력 결과

피크 부하 및 출력 제한(Curtailment): 예측은 순 부하 피크를 크게 줄이지 못했으며(단 0.65 kW 감소), 출력 제한 또한 줄이지 못했다. 오히려 예측 시 출력 제한이 약간 더 높았다. 주요 가치는 피크 쉐이빙보다는 경제적 타이밍에 있었다.
회복력: 그리드 정전 시나리오에서 배터리/제어기 구성은 배터리가 없는 경우와 비교하여 20.1%의 보호 가치를 제공하였다. 그러나 예측 보조와 비예측 제어기 간의 측정 가능한 회복력 개선은 관찰되지 않았다. 즉, 테스트된 스트레스 시나리오에서 예측이 정전 대응 능력을 향상시키지는 못했다.
환경적 영향: 예측은 비예측 방식에 비해 그리드 수입 관련 배출량을 추가로 85.08 kg CO2 감소시켰다. 보고된 큰 규모의 배출 감소는 직접적인 물리적 배출 삭감보다는 수출 크레딧 회계에 의해 주도되었다.

5. 의의 및 주장

본 논문은 불완전한 예측이라 할지라도 (예측 정확도( $R^2$ )가 낮거나 특정 시계열에서 음수일 때조차) DRL 학습과 경제적 급전을 개선할 수 있음을 결론짓는다. 제어기는 저장 스케줄링과 그리드 거래를 최적화하기 위해 예측으로부터 유용한 시간적 구조를 성공적으로 추출하였다.

그러나 저자들은 광범위한 적용 가능성에 대해 신중한 입장을 유지한다:

제한된 범위: 본 결과는 우수한 예측 정확도, 주요 피크 부하 감소 또는 예측 기반의 회복력 향상에 대한 주장을 뒷받침하지 않는다.
특정한 가치: 예측의 가치는 물리적 그리드 안정성이나 피크 감소보다는 주로 경제적(비용 절감) 측면과 학습 효율성(빠른 수렴)에 있다.
향후 과제: 더 넓은 배포 주장을 하기 전에, 예측 보정이, 더 긴 기간의 정전 연구, 그리고 예측이 장기 저장 관리에 어떻게 영향을 미치는지 검증하기 위한 구성 요소 수준의 궤적(특히 수소 전해조 및 연료 전지 운용) 보고에 대한 추가 연구가 필요함을 강조한다.

본 연구는 다중 시계열 예측을 DRL 상태 공간에 통합하는 것이, 기반이 되는 예측 모델이 매우 정확하지 않더라도 복잡한 수소 기반 마이크로그리드에서 실질적인 경제적 이득을 가져올 수 있다는 것을 보여주는 개념 증명(Proof-of-concept) 역할을 한다.