Deep Reinforcement Learning-Based Energy Management for Hydrogen-Enabled Community Microgrids Under Uncertainty

기술 요약: 불확inc성 하의 수소 기반 커뮤니티 마이크로그리드를 위한 심층 강화 학습 기반 에너지 관리

1. 문제 정의

수소 저장 장치를 통합한 커뮤니티 마이크로그리드는 재생 에너지 활용도와 공급 회복 탄력성을 높일 수 있는 잠재력을 가지고 있습니다. 그러나 실시간 운영은 다양한 불확실성으로 인해 복잡합니다: 변동성이 큰 재생 에너지 발전량(태양광 및 풍력), 가변적인 가구 수요, 변화하는 전기 요금, 그리고 간헐적인 그리드 가용성 등이 있습니다. 또한, 이러한 시스템은 서로 매우 다른 응답 시간을 가진 구성 요소들을 포함합니다: 배터리는 급격한 불균형을 처리하는 반면, 수소 경로(수전해 장치, 저장 탱크, 연료 전지)는 더 긴 기간에 걸쳐 작동합니다.

기존의 제어 전략은 한계에 직면해 있습니다. 규칙 기반(Rule-based) 배분 방식은 급격한 가격 및 가용성 변화에 대한 적응력이 부족합니다. 결정론적 및 메타휴리스틱 최적화 기법(예: 입자 군집 최적화, PSO)은 새로운 시나리오가 발생할 때마다 최적화 문제를 반복적으로 풀어야 하며, 정확한 예측에 크게 의존하므로 복잡한 다중 구성 요소 시스템에 대해 계산 부하가 큽니다. 문헌상에는 주거 지역을 위해 배터리, 디젤 발전기, 그리고 전체 수소 경로(수전해에서 연료 전지까지)를 공동으로 스케줄링하면서 동시에 확률적인 재생 에너지, 부하, 요금 및 정전 조건에 대응할 수 있는 학습 기반 에너지 관리 시스템(EMS)에 대한 구체적인 공백이 존재합니다.

2. 방법론

본 연구는 배분 과업을 마르코프 결정 과정(MDP)으로 정식화하고, 심층 강화 학습 알고리즘인 **근사 정책 최적화(Proximal Policy Optimization, PPO)**를 사용하여 해결합니다.

• 시스템 구성: 이 마이크로그리드는 호주 록햄프턴(Rockhampton)의 1,000가구를 대상으로 합니다. 구성 요소는 다음과 같습니다:
  • 발전: 태양광(PV) 및 풍력 터빈.
  • 저장: 5.3 MWh 배터리 에너지 저장 시스템(BESS) 및 수소 체인(수전해 장치, 1,370 kg 탱크, 연료 전지).
  • 예비 전력: 180 kW 디젤 발전기.
  • 그리드: 양방향 유틸리티 연결 (정전 확률의 영향을 받음).
• 상태 공간 (관측값): 에이전트는 정규화된 배터리 충전 상태(SOC), 수소 재고, 시간대(사인/코사인으로 인코딩됨), 스케일링된 재생 에너지 가용성, 커뮤니티 수요, 전기 가격(수입/수출), 그리고 그리드 가용성 여부를 나타내는 이진 상태를 포함한 11차원 벡터를 관측합니다.
• 행동 공간: 에이전트는 세 가지 연속적인 명령을 출력합니다:
  1. 배터리 전력 (충전/방전, 530 kW로 제한).
  2. 디젤 발전기 출력 (0에서 180 kW 사이, 그리드 정전 시에만 활성화).
  3. 수소 경로의 방향 및 크기 (양수는 수전해, 음수는 연료 전지를 의미).
  • 참고: 그리드 수입/수출은 명시적인 행동이 아니라, 노드 균형 방정식을 만족시키기 위해 필요한 잔여 전력 불균형 값으로 계산됩니다.
• 보상 설계: 보상 함수는 운영 비용(수입 비용, 디젤 연료, 수소 생산/소비 비용)과 미공급 수요에 대해 벌점을 부여합니다. 또한, 균형 잡힌 운영을 장려하기 위해 중간 범위의 저장 수준에서 벗어나는 것에 대해서도 페널티를 포함합니다.
• 훈련 설정: 모델은 각 에피소드가 전체 1년(8,760시간)을 나타내는 300 에피소드 동안 훈련되었습니다. 환경은 확률적인 그리드 정전(기초 확률 1%)을 포함하여 시간당 전이 과정을 시뮬레이션합니다.

3. 주요 기여

본 논문은 다음과 같은 구체적인 기여를 제시합니다:

• 연속 제어 PPO EMS: 변동하는 재생 에너지 발전, 수요, 요금 및 그리드 가용성을 처리할 수 있는 수소 통합 마이크로그리드용 PPO 기반 제어기를 개발했습니다.
• 혼합 지속 시간 저장 장치를 위한 통합 정책: 단일 정책을 통해 빠르게 반응하는 배터리와 느리게 반응하는 수소 자원을 조정하며, 배터리, 디젤, 수소 운영을 관리하는 세 가지 별도의 행동 채널을 운용합니다.
• 포괄적인 관측 벡터: 물리적 장치 제한과 함께 저장 상태, 시간적 지표, 시장 가격, 정전 상태를 아우르는 풍부한 11개 변수의 관측 세트를 통합했습니다.
• 확장 가능한 사례 연구: 호주의 1,000가구 커뮤니티에 제어기를 적용하여, 기존의 계획 및 실시간 연구를 정책 기반 운영 단계로 진전시켰습니다.
• 다차원 성능 평가: 정상 조건 및 정전 빈도 증가와 수소 비용 상승을 포함한 스트레스 시나리오 하에서 시스템을 평가하여 경제적, 운영적, 환경적, 회복 탄력성 지표를 분석했습니다.

4. 결과

학습된 정책은 다음 시나리오들에 대해 평가되었습니다:

• 기본 성능 (정상 조건):
  • 경제성: 주로 11.415 GWh의 재생 에너지를 그리드로 수출함으로써 A$195,690.67의 순 연간 운영 수익을 달성했습니다.
  • 신뢰성: 9.25 MWh의 미공급 수요만 발생하였으며, **99.77%**의 수요 충족률을 기록했습니다.
  • 환경성: 재생 에너지 비율 **91.2%**와 탄소 집약도 0.085 kg CO2/kWh를 달로성했습니다 (가정된 그리드 계수보다 81.1% 낮음).
• 스트레스 시나리오: 빈번한 정전 (시간당 확률 5%):
  • 수익은 A$169,892.21로 감소했습니다 (13.2% 감소).
  • 수요 충족률은 **98.79%**로 약간 하락했습니다.
  • 자원 대응: 시스템은 배터리와 디젤 발전기에 크게 의존했습니다. 배터리 방전은 412.9%, 디젤 발전은 429.4% 증가했습니다. 반면, 수소 경로 사용량(연료 전지 출력)은 **7.7%**만 증가했는데, 이는 짧고 독립적인 정전 상황에서는 배터리와 디젤이 주요 대응책임을 나타냅니다.
  • 재생 에너지 출력 제한(Curtailment)은 정전 중 잉여 전력을 수출할 수 없는 능력 때문에 103.76 MWh에서 578.00 MWh로 크게 증가했습니다.
• 스트ress 시나리오: 높은 수소 비용:
  • 수익은 A$165,621.89(기본 대비 15.4% 낮음)로 감소했습니다.
  • 정책은 높은 비용에 적응하여 행동을 변경하지 못했는데, 이는 수소 가격이 관측 벡터에 포함되지 않았기 때문이며, 현재의 보상/관측 설계의 한계를 보여줍니다.
• 훈련 역학: 훈련 과정에서 불안정성이 나타났으며, 에피소드 97과 115 사이에서 상당한 보상 붕괴(reward collapse)가 발생한 후 회복되었습니다. 최종 정책은 안정적이었으나 최적의 체크포인트(에피소드 95)보다는 열등했으며, 이는 업데이트 크기에 대한 민감도와 검증 기반 모델 선택의 필요성을 시사합니다.

5. 의의 및 주장

본 논문은 PPO가 복잡하고 불확실한 마이크로그리드 환경 내에서 혼합 지속 시간 저장 자산(배터리 및 수소)을 효과적으로 조정할 수 있다고 주장합니다. 본 연구는 단일 학습 정책이 경제적 수익, 신뢰성 및 환경적 영향 사이의 절충안을 관리할 수 있음을 입증합니다.

그러나 저자들은 결론의 범위에 대해 다음과 같이 신중한 입장을 유지합니다:

• 운영 vs 라이프사이클: 재무적 결과는 자본 지출, 교체 비용 및 상세한 열화 모델링을 제외한 운영 수익만을 나타냅니다.
• 정전 모델링: 현재의 베르누이 정전 프로세스(독립적인 시간당 확률)는 짧은 중단을 테스트하지만, 연료 전지의 역할이 더 중요할 수 있는 장기적인 수일간의 정전 상황에서의 수소 가치를 완전히 검증하지는 못합니다.
• 벤치마킹: 본 연구는 동일한 조건 하에서 다른 제어기(예: 규칙 기반, PSO 또는 다른 DRL 방법)와 직접적인 비교 벤치마크를 제공하지 않으며, 결정적인 성능 순위를 매기기 위해서는 그러한 비교가 필요함을 언급합니다.
• 민감도: 결과는 재생 에너지 프로필 구축, 정책 훈련 안정성, 그리고 환경 지표에 사용된 특정 회계 경계에 대한 시스템의 민감도를 강조합니다.

결론적으로, 본 연구는 수소 기반 마이크로그리드를 위한 PPO의 타당성을 확립하는 동시에, 더 안정적인 훈련 프로토콜, 지속적인 정전 모델링, 그리고 라이프사이클 경제학의 통합을 포함한 향후 연구의 명확한 우선순위를 식별합니다.