💻 computer science

MARS-DA: A Hierarchical Reinforcement Learning Framework for Risk-Aware Multi-Agent Bidding in Power Grids

본 논문은 변동성이 큰 재생에너지 시장에서 우수한 위험 조정 수익과 견고한 성과를 달성하기 위해 고충실도 PJM 기반 이중 정산 전력 시장 환경 내에서 '안전 에이전트'와 '투기 에이전트'를 결합한 계층적 강화 학습 프레임워크인 MARS-DA 를 소개합니다.

원저자: Jiayi Chen, Xuan Zhang, Guiling Wang

게시일 2026-05-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiayi Chen, Xuan Zhang, Guiling Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

전력 판매를 시도하는 발전소 소유자가 되어 상상해 보세요. 당신은 서로 다른 시간에 발생하는 두 가지 다른 "시장"과 얽힌 까다로운 게임을 마주하게 됩니다:

전일 시장 (The "Safe Bet" - 안전한 베팅): 당신은 24 시간 전인 내일 판매할 전력량을 약속해야 합니다. 가격은 고정됩니다. 한 달 전에 비행기 표를 예약하는 것과 같습니다. 가격을 알지만, 나중에 가격이 하락하면 기회를 놓칠 수 있습니다.
실시간 시장 (The "Wild Card" - 변수): 이것이 바로 지금 실제 거래가 이루어지는 곳입니다. 날씨, 바람, 그리고 사람들이 실제로 사용하는 전력량에 따라 가격이 극심하게 요동칩니다. 분 단위로 주식 시장에 도박을 하는 것과 같습니다.

문제점:
입찰을 돕기 위해 노력하는 전통적인 컴퓨터 프로그램은 고속도로에서 안전하게 운전하면서도 동시에 흙길에서 경주를 해야 하는 단일 운전자와 같습니다. 그들은 종종 혼란에 빠집니다. 너무 안전하려 하면 큰 수익을 놓치고, 너무 공격적이면 시장이 미쳐 돌아갈 때 추락하여 돈을 잃게 됩니다.

해결책: MARS-DA
저자들은 MARS-DA라는 새로운 시스템을 구축했습니다. 이를 단일 운전자가 아닌, 스마트한 관리자가 이끄는 전문가 팀으로 생각하세요.

팀 구조

안전 에이전트 (The "Safe Agent" - 보수적 운전사):
- 역할: 이 에이전트는 오직 전일 시장만을 신경 씁니다. 그 목표는 위험을 감수하지 않고 안정적이고 신뢰할 수 있는 수익을 확보하는 것입니다. 항상 속도 제한을 준수하고 절대 지름길을 가지 않는 트럭 운전사와 같습니다.
- 훈련: 이 에이전트는 그 시장이 수익성이 있어 보이더라도 완전히 무시하도록 훈련되었습니다. 안전에 집중할 수 있도록 실시간 시장의 혼란을 완전히 배제하도록 가르쳤습니다.
투기 에이전트 (The "Speculator Agent" - 레이서):
- 역할: 이 에이전트는 실시간 시장을 위해 살아갑니다. 가격이 급등하는 순간을 찾아 빠른 공격적인 베팅을 통해 수익을 내려고 합니다. 언제 추월해야 할지 정확히 아는 포뮬러 1 드라이버와 같습니다.
- 훈련: 이 에이전트는 전일 시장을 무시하고 고변동성 파도를 포착하는 데만 집중하도록 훈련되었습니다.
메타 컨트롤러 (The "Meta-Controller" - 레이스 매니저):
- 역할: 이것이 보스입니다. 날씨, 교통 상황, 그리고 시장 분위기를 감시합니다. 매초마다 안전 운전사와 레이싱 드라이버 중 어느 쪽에 더 무게를 둘지 결정합니다.
- 마법: 시장이 차분하면 매니저는 "레이싱 드라이버가 핸들을 잡고 추가 수익을 내게 하라"고 말할 수 있습니다. 하지만 시장이 폭풍우처럼 변하거나 예측 불가능해지면 매니저는 즉시 "정지! 안전 운전사에게 즉시 핸들을 넘겨라"고 말합니다.

테스트 방법

연구자들은 이것이 작동할 것이라고 단순히 추측하지 않았습니다. 대신 미국의 거대한 전력망인 PJM 인터커넥션의 실제 데이터를 기반으로 한 초현실적인 비디오 게임 시뮬레이터를 구축했습니다.

데이터: 그들은 팀을 훈련시키기 위해 5 년 간의 실제 역사적 데이터 (2018–2022) 를 시스템에 입력했습니다.
테스트: 그 후 팀을 팀이 한 번도 본 적이 없는 다른 연도 (2022 년 및 2024–2025 년) 의 데이터로 구성된 두 가지 "최종 시험"에 투입했습니다. 이러한 테스트에는 갑작스러운 가격 폭락이나 거대한 급등과 같은 극심한 시장 변동성이 포함되었습니다.

결과

결과는 숙련된 레이싱 팀이 솔로 드라이버 그룹을 꺾는 것을 보는 것과 같았습니다:

더 나은 수익: MARS-DA 는 다른 방법들보다 전체적으로 더 많은 돈을 벌었습니다.
덜 많은 추락: 시장이 미쳐 돌아갔을 때 ("극심한 변동성" 테스트), 다른 시스템들은 막대한 금액을 잃었습니다 (일부는 가치의 50% 이상을 잃었습니다). 반면 MARS-DA 는 거의 동요하지 않았으며 손실을 매우 작게 유지했습니다.
"회로 차단기" 효과: 분석 결과, 매니저가 교묘한 트릭을 배웠음이 드러났습니다. 가격이 너무 미쳐 돌아갈 때, 단순히 안전 운전사로 전환하는 것이 아니라 공격적인 투기 에이전트를 적극적으로 억제했습니다. 이는 재앙을 일으키기 전에 위험한 행동을 차단하는 자동 회로 차단기처럼 작동했습니다.

한 줄 요약

MARS-DA 는 하나의 "완벽한" 전략이 되려고 애쓰지 않는 스마트한 계층적 시스템입니다. 대신, 한 명은 안전하고 한 명은 위험한 두 명의 전문가를 고용하고, 도로 상황에 따라 누가 운전할지 결정하는 스마트한 관리자를 임명합니다. 이를 통해 전력 생산자는 폭풍우 동안 안전을 유지하면서도 도로가 맑을 때는 속도를 높여 더 많은 수익을 얻고 재정적 재앙을 줄일 수 있습니다.

기술 요약: MARS-DA

문제 정의

재생 에너지의 보급 확대는 도매 전력 시장에 상당한 변동성을 초래하여 발전사의 최적 입찰 전략을 복잡하게 만들었습니다. 전통적인 모델 기반 접근법 (확률론적 또는 강건 최적화) 은 동적 전략 환경에서 확장성과 적응성에 어려움을 겪습니다. 반면, 표준 심층 강화 학습 (DRL) 방법은 종종 평면적 구조와 고정된 정책을 사용하여 과적합에 취약하며, 특히 시장 체제 전환 시 수익 극대화와 위험 관리 간의 균형을 맞추지 못합니다.

식별된 핵심 과제는 위험 통제를 위한 보수적인 당일 (Day-Ahead, DA) 의무 확보와 변동성을 포착하기 위한 기회주의적 실시간 (Real-Time, RT) 차익 거래 간의 긴장 관계입니다. 기존 방법들은 불확실성 하에서 이러한 상충되는 목표를 적응적으로 조정하기 위해 필요한 계층적이며 위험 인식적인 구조가 부족합니다.

방법론: MARS-DA 프레임워크

저자들은 2 단계 정산 전력 시장에서 입찰을 최적화하도록 설계된 계층적 강화 학습 프레임워크인 MARS-DA(Day-Ahead 시장을 위한 다중 에이전트 체제 전환) 를 제안합니다. 이 프레임워크는 "관리자 - 작업자 (Manager-Worker)" 아키텍처를 사용하여 전략 학습과 체제 적응을 분리하며, 근접 정책 최적화 (PPO) 를 통해 훈련됩니다.

1. 계층적 아키텍처

기반 에이전트 (작업자): 두 가지 전문 에이전트가 "대학 단계 (University Phase)"에서 사전 훈련되어 서로 다른 시장 역할을 마스터합니다.
- 안전 에이전트 (Safe Agent): 안정적인 DA 할당을 최적화합니다. 보상 함수는 DA 할당 비율로 수익을 스케일링하고 RT 시장 활용을 강력하게 패널티하여 보수적이고 위험 회피적인 태도를 강제합니다.
- 투기 에이전트 (Speculator Agent): 변동성이 큰 RT 차익 거래를 최적화합니다. 보상 함수는 RT 할당 비율로 수익을 스케일링하고 DA 고정 (locking) 을 패널티하여 가격 차이를 포착하기 위한 공격적인 전략을 장려합니다.
메타 컨트롤러 (관리자): 시장 상태를 관찰하고 고정된 기반 에이전트의 행동을 결합하기 위해 혼합 가중치 ( $w_{safe}, w_{spec}$ ) 를 동적으로 생성하는 최상위 정책 네트워크입니다. 이를 통해 시스템은 하위 정책을 재훈련하지 않고도 보수적 태도와 공격적 태도 사이를 원활하게 전환할 수 있습니다.

2. 위험 인식 목표

메타 컨트롤러는 원시 수익이 아닌 위험 조정 수익을 최대화하도록 훈련됩니다. 보상 함수는 오목한 유틸리티 형태를 적용합니다:
$r_{meta} = \frac{\pi_t}{S_{linear}} - \lambda_{risk} \cdot \frac{1}{2} \left( \frac{\pi_t}{S_{var}} \right)^2$
이 수식은 실현된 수익의 제곱 크기에 패널티를 부과하여 치명적인 하방 위험을 수반하는 "대박 추구" 전략을 억제하고 일관성 있고 안정적인 수익을 장려합니다.

3. 고정밀 시뮬레이션 환경

본 논문은 PJM 인터커넥션 (2018–2025) 의 실증 데이터를 기반으로 한 오픈 소스 Gymnasium 호환 환경인 StrategicBiddingEnv를 소개합니다.

데이터: DA 및 RT 위치 한계 가격 (LMP), 부하 예측, 기상 데이터, 천연가스 가격을 통합합니다.
메커니즘: 미할당 DA 용량 ( $q_{RT} = P_{max} - q_{DA}$ ) 이 자동으로 RT 시장에서 정산되는 2 단계 정산 구조를 명시적으로 모델링합니다. 또한 한계 연료 비용, 기동 비용, 운영 패널티 (램핑 제한, 최소 가동/정지 시간) 를 고려합니다.

주요 기여

오픈 소스 환경: 2 단계 정산 시장 구조와 DA 의무 및 RT 편차 간의 결합을 포착하는 고정밀 시뮬레이션 환경 개발로, 일반적이고 위험 민감한 에이전트를 위한 표준화된 테스트베드를 제공합니다.
계층적 프레임워크: 적응형 위험 인식 정책 혼합을 활용하는 MARS-DA 프레임워크 제안. 메타 컨트롤러를 통해 이질적인 에이전트 (안전 대 투기) 를 조율하여 시장 불확실성을 탐색합니다.
실증 검증: 극심한 시장 변동성 기간을 포함한 최첨단 베이스라인에 비해 MARS-DA 가 우수한 위험 조정 성과와 안정성을 달성함을 보여주는 광범위한 실험.

실험 결과

프레임워크는 2022 년 (고연료 가격, 팬데믹 이후 회복) 과 2024–2025 년 (고변동성, 재생 에너지 보급 확대) 의 두 테스트 기간에 걸친 PJM 데이터로 평가되었습니다.

성과 지표: MARS-DA 는 Vanilla PPO, Soft Actor-Critic (SAC), CVaR-PPO, 그리고 Rolling Horizon MPC 휴리스틱을 포함한 베이스라인을 능가했습니다.
- 테스트 기간 1 (2022 년): 최고 샤프 비율 (0.978) 과 최저 최대 낙폭 (2.84%) 을 달성했습니다.
- 테스트 기간 2 (2024–2025 년): 변동성이 훨씬 더 컸음에도 불구하고 MARS-DA 는 샤프 비율 0.270 과 최대 낙폭 8.12% 를 유지한 반면, 베이스라인 에이전트는 55% 를 초과하는 낙폭을 겪었습니다.
체제 정렬: 메타 컨트롤러 분석은 "반대성 (contrarian)" 헤지 행동을 보여주었습니다. 극심한 변동성 급등 시 컨트롤러는 투기 에이전트의 가중치를 동적으로 감소시켜 치명적인 낙폭을 피하는 자동화된 "회로 차단기" 역할을 했습니다.
절제 연구 (Ablation Studies):
- 이질성: 이질적 앙상블 (안전 + 투기) 은 동질적 베이스라인보다 현저히 우수한 성과를 거두어 기능적 역할의 전문화가 성과를 주도함을 확인했습니다.
- 동적 가중치: 학습된 메타 컨트롤러를 고정된 50/50 가중치로 대체한 경우 위험 조정 수익이 악화되었습니다 (샤프 0.458 대 0.920). 이는 상태 의존적 전환의 필요성을 입증합니다.
- 앙상블 크기: 세 번째 "중립" 에이전트를 추가하면 성능이 저하되어, 2 에이전트 구성이 다양성과 훈련 안정성 간의 최적 균형을 제공함을 시사합니다.

의의 및 주장

본 논문은 MARS-DA 가 전략 학습과 체제 적응을 분리함으로써 단일 RL 정책과 경직된 최적화 모델의 취약성을 해결한다고 주장합니다. 이 프레임워크의 주요 의의는 분포 외 (out-of-distribution) 스트레스 테스트에 일반화될 수 있는 능력에 있으며, 이 과정에서 치명적인 손실을 피한 유일한 에이전트였습니다.

저자들은 메타 컨트롤러가 학습한 "반대성" 헤지 전략—극심한 변동성 동안 투기적 노출을 자동으로 감소시키는 것—이 점점 더 변동성이 크고 재생 에너지가 주류가 되는 전력 시장에서 자율적이고 안전하며 수익성 있는 참여를 위한 실현 가능한 길을 확립한다고 주장합니다. 이 연구는 전력 시장의 위험 관리가 보수적 의무와 기회주의적 차익 거래 간의 균형을 잡을 수 있는 동적이며 계층적인 구조를 필요로 함을 강조합니다.