기술적 요약: 공동 배치된 확률적 공급을 가진 지연 가능 수요와 비지연 가능 수요의 통합 스케줄링

1. 문제 공식화

본 논문은 공동 배치된 확률적 공급 (예: 옥상 태양광) 과 계통에서 수입된 전력을 갖춘 에너지 시스템 내에서 두 가지 구별되는 유형의 전기 수요에 대한 최적 스케줄링을 다룬다.该系统은 유한 시간 범위, 이산 시간, 연속 상태가 제약된 마르코프 결정 과정 (MDP) 으로 모델링된다.

두 가지 수요 유형은 다음과 같다:

• 지연 가능 수요 (Deferrable Demand): 무작위로 도착하며 (예: 전기차 충전) 특정 기한까지 완료되어야 한다. 공급되는 양은 지연될 수 있으나, 기한에 미공급된 수요는 엄격하게 증가하는 볼록한 페널티를 부과받는다.
• 비지연 가능 수요 (Nondeferrable Demand): 항상 존재하며 (예: HVAC, 조명) 즉시 공급되어야 한다. 그러나 공급되는 양은 가격 반응적이며, 알려진 미분 가능한 오목한 효용 함수에 의해 결정된다.

시스템은 규제된 순 에너지 미터링 (NEM) 요금제 하에서 운영되며, 이 요금제는 결정론적이고 시간에 따라 변하며 구간별 선형이다. 이 요금제는 수입 요금 ($\pi^+_t$) 과 수출 요금 ($\pi^-_t$) 을 구분하며, 여기서 $\pi^+_t \ge \pi^-_t$이다. 목표는 스케줄링 기간 동안 기대 경제 잉여 (소비의 총 효용에서 전력 비용과 완료 페널티를 뺀 값) 를 최대화하는 것이다.

핵심적인 과제는 연속 상태 변수 (잔여 지연 가능 수요 및 확률적 발전) 와 연속 행동 변수 (두 수요 유형의 공급률) 로 인해 발생하는 무한 차원의 정책 공간과 NEM 가격 구조의 비선형성이 결합된 데 있다.

2. 방법론 및 이론적 분석

지연의 원칙 (The Principle of Procrastination)

저자들은 최적 스케줄링 정책이 "지연의 원칙"을 따른다는 것을 확립한다. 이 원칙은 기한을 충족하기 위해 엄격하게 필요할 때까지 계통으로부터 전력을 구매하는 것을 지연해야 하며, 반대로 지역 재생 에너지 발전은 미래의 가격 및 발전 위험에 따라 즉시 소비하거나 수출하는 것을 우선시해야 함을 규정한다.

최적 정책의 구조적 특성화

벨만 방정식에 대한 엄밀한 분석을 통해, 본 논문은 최적 정책이 무한 차원 공간에서 각 시간 단계 $t$에 대한 세 가지 지연 매개변수 (임계값) 로 정의된 유한 차원 유클리드 공간으로 축소될 수 있음을 증명한다:

1. $\theta^-_t(g_t)$: 잔여 지연 가능 수요에 대한 하한 임계값. 이 값 이하에서는 시스템이 부하를 더 지연시키더라도 지연 가능 수요를 공급하는 것보다 지역 발전의 수출을 우선시한다.
2. $\theta^+_t(g_t)$: 상한 임계값. 이 값 이상에서는 시스템이 완료 페널티를 피하기 위해 지역 발전과 계통 구매를 모두 사용하여 지연 가능 수요를 공격적으로 공급해야 한다.
3. $\theta^0_t(g_t)$: 가정이 수입도 수출도 하지 않는 "순 제로 (net-zero)" 영역을 지배하는 매개변수.

이러한 임계값들은 상태 공간을 세 가지 구별되는 운영 모드로 분할한다:

• 순 생산 (Net-Producing): 지역 발전이 수요를 초과하며, 잉여분은 수출된다.
• 순 소비 (Net-Consuming): 수요가 지역 발전을 초과하며, 계통 전력을 구매한다.
• 순 제로 (Net-Zero): 지역 발전이 수요와 정확히 일치하며, 계통과의 상호작용이 없다.

이 영역들 내에서 정책은 비지연 가능 수요, 지연 가능 수요, 수출 간에 지역 발전을 할당하기 위한 우선순위 구조를 정의한다. 예를 들어, "순 제로" 영역에서 정책은 특정 임계값 값에 의해 결정되는 비지연 가능 장치의 한계 효용과 지연 가능 부하를 공급하는 한계 가치 간에 균형을 맞춘다.

지연 임계값 강화 학습 (PTRL)

기저 확률 분포가 알려져 있지 않을 때 MDP 를 해결하기 위해, 저자들은 구조화된 강화 학습 (RL) 알고리즘인 PTRL을 제안한다.

• 차원 축소: 연속적인 $(K+1)$차원 공간 (여기서 $K$는 비지연 가능 장치의 수) 에 대한 전체 행동 정책을 학습하는 대신, PTRL 은 세 가지 지연 임계값 ($\theta_t$) 만 학습한다.
• 알고리즘 아키텍처: PTRL 은 Soft Actor-Critic (SAC) 프레임워크를 활용한다. "Actor" 네트워크는 현재 상태를 기반으로 지연 임계값의 평균과 공분산을 출력한다. "Critic" 네트워크는 상태 - 임계값 쌍의 가치 (Q-함수) 를 추정한다.
• 정책 실행: Actor 가 임계값을 생성하면, 실제 스케줄링 행동 (공급률) 은 정리 2 에서 유도된 구조적 규칙을 사용하여 결정론적으로 계산된다.

3. 주요 결과

이론적 기여

• 지연의 최적성: 본 논문은 시간 불변 및 시간 가변 NEM 요금제 모두에 대해 최적 정책이 세 가지 지연 임계값으로 특징지어진다는 것을 공식적으로 증명한다. 이는 스케줄링 문제의 복잡성을 크게 감소시킨다.
• 선형 시간 의존성: 시간 독립적 발전 모델의 경우, 본 논문은 지연 임계값이 선형 시간 의존성 ($\theta^+_t = \theta^+_{t+1} + \bar{v}$) 을 만족함을 보여 학습해야 할 매개변수의 수를 추가로 줄인다.

수치적 성능

실험은 전기차 수요를 위한 적응형 충전 네트워크 (ACN) 의 실세계 데이터 추적과 태양광 발전 및 가정용 소비를 위한 Pecan Street 데이터셋을 사용하여 수행되었다.

• 수렴: PTRL 은 독립 모델의 경우 약 800 에피소드, 마르코프 모델의 경우 2,000 에피소드에서 수렴하여, 각각 약 6,000 에피소드와 2,000 에피소드가 필요한 SAC 및 DDPG 와 같은 표준 벤치마크에 비해 훨씬 빠르게 수렴했다.
• 최적성 격차: 훈련 분포와 일치하는 합성 테스트 데이터 하에서 PTRL 은 최적 정책 대비 격차를 **3.34%**로 달성했으며, 이는 SAC 의 36.76% 와 DDPG 의 25.91% 에 비해 월등히 우수했다.
• 현장 데이터 견고성: 표본 외 현장 데이터에서 테스트되었을 때, PTRL 은 모든 벤치마크 (SAC, DDPG, 모델 예측 제어) 를 압도적인 마진으로 능가했다 (예: SAC 대비 약 107% 개선). 이는 알고리즘이 모델 불일치와 실세계의 확률성에 대해 견고함을 입증한다.
• 계산 효율성: PTRL 은 모델 예측 제어 (MPC) 대비 계산상 상당한 우위를 보였으며, 평가 시간이 약 19 배 빨라 온라인 구현에 적합하다.
• 에너지원 활용: PTRL 은 수출 가격이 낮은 비피크 시간대에 재생 에너지를 소비하는 것을 우선시하고, 고가치 피크 시간대 재생 에너지를 수출을 위해 저장하는 방법을 효과적으로 학습했으며, 이는 표준 벤치마크가 그렇게 효과적으로 재현하지 못한 전략이다.

4. 중요성 및 주장

본 논문은 복잡하고 실세계적인 에너지 스케줄링 문제에 대한 최적 정책의 구조적 특성화를 주요 기여로 주장한다. "지연의 원칙"을 식별함으로써 저자들은 처리 불가능한 무한 차원 MDP 를 저차원 매개변수 추정 문제로 변환한다.

이 연구의 중요성은 다음과 같다:

1. 이론과 실전의 연결: 이는 표준 RL 과 전통적인 제어 방법 (MPC) 모두를 능가하는 고효율 데이터 기반 학습 알고리즘 (PTRL) 의 개발을 가능하게 하는 이론적 기반 (임계값 정책) 을 제공한다.
2. 비선형 가격 처리: 종래의 연구들이 종종 선형 도매 가격을 가정하는 것과 달리, 본 논문은 주거 및 상업 환경의 실용적 배포에 필수적인 규제된 소매 NEM 요금제의 구간별 선형적이고 시간에 따라 변하는 특성을 다룬다.
3. 통합 최적화: 이는 공동 배치된 확률적 공급을 가진 지연 가능 및 비지연 가능 수요를 통합적으로 스케줄링하는 첫 번째 작업으로, 현대 프로슈머 시스템에 내재된 시간 간격 의존성과 경제적 트레이드오프를 포착한다.

저자들은 향후 확장에 대해 겸손하게 언급하며, 현재 프레임워크는 비지연 가능 수요에 대한 알려진 효용 함수와 단일 지연 가능 작업 유형을 가정한다고 밝혔다. 그들은 향후 작업이 효용을 학습하기 위한 온라인 역최적화 통합과 여러 동시 지연 가능 작업으로의 프레임워크 확장을 포함할 수 있음을 제안한다.