Multi-market value-stacking: Battery control for combined imbalance participation and non-uniform FCR bidding

기술 요약: 비균일 FCR 입찰을 통한 다중 시장 가치 중첩

문제 제기
유럽 전력 시스템 내 재생에너지원 (RES) 의 보급 확대는 주파수 편차와 시스템 불균형을 심화시켜, 주파수 유지 예비력 (FCR) 과 같은 견고한 보조 서비스의 필요성을 증대시켰다. 배터리 에너지 저장 시스템 (BESS) 은 빠른 응답 속도로 인해 이러한 서비스에 이상적이지만, 제한된 에너지 자원 (LER) 으로 분류된다. 이 분류는 상향 및 하향 FCR 활성화에 대한 지속적인 가용성을 보장하기 위해 에너지 상태 (SoE) 의 엄격한 관리를 요구한다.

기존 연구는 일반적으로 제어 기간 내내 정적 (static) 으로 유지되는 균일 FCR 입찰을 사용한다. 이러한 정적 접근 방식은 FCR 공급을 위해 에너지를 확보하는 것과 불균형 차익 거래를 위해 그 에너지를 활용하는 것 사이의 균형을 동적으로 조정하지 않기 때문에 BESS 의 유연성을 완전히 활용하지 못한다. 심층 강화 학습 (DRL) 은 실시간 불균형 제어에 적용되어 왔으나, 대부분 이러한 정적이고 균일한 입찰 제약 하에서 운영되었다. 반면, 비균일 입찰 (시간에 따라 변하는 의무) 은 결정론적 환경에서 유망한 결과를 보였으나, 고해상도 확률적 실시간 제어와 효과적으로 통합되지는 못했다. 본 논문은 다음과 같은 격차를 해소한다: 비균일 FCR 입찰과 실시간 불균형 제어를 결합함으로써 추가 수익을 창출할 수 있는가?

방법론
저자들은 유럽 맥락에 맞춰 장기 입찰 결정과 빠른 실시간 제어를 분리하도록 설계된 2 단계 제어 프레임워크를 제안한다:

1. 1 단계: 데이터 기반 비균일 FCR 입찰 최적화

   • 목표: 실시간 계층에 대한 완벽한 예지 (perfect foresight) 에 의존하지 않고 기대 수익을 극대화하는 시간별 FCR 입찰 시퀀스 (4 시간 블록 단위) 를 도출한다.
   • 접근 방식: 실현된 주파수 및 가격 데이터를 사용하여 사후 (ex-post) 데이터 기반 몬테카를로 (MC) 최적화를 수행한다. 각 4 시간 블록에 대해 시스템은 이산적 후보 입찰 (0 에서 $P_{nom}-1$ MW 까지) 을 평가한다.
   • 시뮬레이션: 각 후보 입찰은 과거 FCR 활성화 및 금융 정산 데이터를 포함하는 1 초 해상도의 50 회 MC 시뮬레이션을 통해 테스트된다.
   • 휴리스틱 제어: 간단한 규칙 기반 휴리스틱이 시뮬레이션 중 SoE 를 관리하여 FCR 제약 조건을 준수하면서도 불균형 수익을 확보하도록 한다.
   • 조정: 블록 종료 시 SoE 수준으로 인한 편향을 방지하기 위해, 후속 블록의 잔여 에너지 기회 비용을 고려한 수익 지표에 말단 가치 조정이 적용된다. 가장 높은 기대 조정 수익을 보이는 입찰이 해당 블록에 선택된다.

2. 2 단계: DRL 기반 실시간 불균형 제어

   • 목표: SoE 실현 가능성을 유지하면서 실시간 불균형 거래를 위해 잔여 유연성 (정격 전력과 1 단계 입찰 간의 차이) 을 활용한다.
   • 에이전트: 이중 심층 Q-네트워크 (DDQN) 가 불균형 가격 신호 업데이트와 정렬된 1 분 간격으로 작동한다.
   • 상태 공간: 에이전트는 시장 신호 (불균형 가격, 시간 특징), 물리적 상태 (SoE, 누적 사이클 사용량), 그리고 제약 컨텍스트 (SoE 한계까지의 거리, 현재/향후 FCR 의무) 를 관찰한다.
   • 행동 공간: 사용 가능한 잔여 유연성에 매핑된 이산적 충전, 유휴, 또는 방전 결정.
   • 안전 메커니즘: 준수를 보장하는 2 단계 안전 계층: (i) 제약 위반 가능성이 높은 설정값을 필터링하는 액션 마스크, 그리고 (ii) 확률적 FCR 활성화가 SoE 를 한계를 벗어나게 할 경우 행동을 수정하는 반응형 오버라이드.
   • 보상 함수: 순 불균형 수익, 운영 안전 (SoE 근접/위반에 대한 패널티), 그리고 배터리 건강 (과도한 일일 사이클 처리량에 대한 패널티) 을 균형 있게 조정하는 다목적 함수.

주요 기여

• 새로운 프레임워크: 기존 문헌의 정적 입찰 한계를 해결하기 위해 비균일 FCR 입찰과 DRL 기반 실시간 제어를 통합하는 2 단계 아키텍처 도입.
• 개념 증명: 데이터 기반 MC 최적화를 통해 시간별 입찰 전략을 도출하여 실시간 제어기를 위한 동적 "실현 가능성 영역 (feasibility envelope)"을 생성할 수 있음을 입증.
• 알고리즘 구현: 시간별 제약 하에서 FCR 준수와 불균형 차익 거래 간의 복잡한 균형을 관리하기 위해 DDQN 을 적용하고, 배터리 열화를 관리하기 위한 특정 보상 구조를 활용.

결과
이 프레임워크는 2022 년 전체를 대상으로 벨기에 시장에서 10 MW/20 MWh BESS 를 사용하여 고해상도 주파수 및 시장 데이터를 통해 평가되었다.

• 수익 증가: 제안된 비균일 전략은 총 순 수익이 306 만 유로에 달하여, 가장 성능이 좋은 균일 기준선 (284 만 유로) 대비 7.56% 증가를 기록했다.
• 수익 구성: 비균일 전략과 최상위 균일 전략 간 FCR 특정 수익은 유사하게 유지되어, 최적화기가 FCR 가격 피크 기간 동안 용량을 효과적으로 할당했음을 시사한다. 주요 증가분 (약 7.5%) 은 증가된 불균형 차익 거래에서 비롯되었다.
• 운영 역학: 높은 불균형 변동성 기간 동안 FCR 의무를 동적으로 감소시킴으로써 비균일 전략은 운영 SoE 마진을 확장했다. 이는 정적 입찰 하에서는 제한되었을 더 공격적인 차익 거래 전략을 DRL 에이전트가 실행할 수 있게 했다.
• 자산 건강: 균일 기준선보다 충전 사이클 수가 더 많았음에도 불구하고, 에이전트는 총 처리량을 지정된 일일 사이클 한도 ($C_{max}$) 내에 유지하여 수명 제약 조건을 위반하지 않으면서 사용 가능한 여유 공간을 효과적으로 활용함을 입증했다.
• 입찰 행동: 최적화기는 FCR 가격이 높을 때 더 큰 FCR 입찰을 선택하고 불균형 가격 변동성이 증가할 때 입찰을 줄여, FCR 용량과 불균형 유연성 사이에 대각선 전환 패턴을 생성했다.

의의 및 주장
본 논문은 비균일 입찰이 빠르게 변화하는 불균형 기회와 예비 의무를 더 효과적으로 정렬함으로써 추가 가치를 창출한다고 주장한다. 연구는 "입찰 후 잔여 유연성 제어" 아키텍처가 시간 의존적 제약 (예: aFRR, 하이브리드 PV-BESS) 이 포함된 다른 가치 중첩 시나리오에 대해 재사용 가능한 추상화를 제공한다고 제시한다.

저자들은 현재 구현에 대해 다음과 같이 겸손한 입장을 견지한다:

• 1 단계 최적화는 사후 (ex-post) 데이터에 의존하므로, 배포 가능한 예측 도구라기보다는 개념 증명 및 상한 기준선으로 기능한다.
• DDQN 의 사용은 RL 알고리즘을 최첨단 대안과 비교하기 위한 것이 아니라, 입찰 전략의 영향을 분리하기 위한 안정적인 기준선으로 제시된다.
• 향후 작업은 예측 기반 입찰 선택을 통합하고 더 견고한 RL 아키텍처를 탐색하는 것이 필요하다고 식별된다.

결과들은 정적이고 균일한 의무를 넘어선 이동이 BESS 운영자가 보조 서비스 요구 사항을 엄격히 준수하면서도 다중 시장 환경에서 상당한 추가 수익을 확보할 수 있음을 시사한다.