Addressing Terminal Constraints in Data-Driven Demand Response Scheduling

기술 요약: 데이터 기반 수요 반응 일정에 종단 제약 조건 대응

문제 제기
공기 분리 장치 (ASU) 와 같은 전기화학적 공정은 변동하는 전력 시장을 활용하기 위해 수요 반응 (DR) 제도에 참여하도록 점점 더 많은 인센티브를 받고 있습니다. 이는 고가 기간 동안 생산을 줄이고 저장된 재고를 활용하여 수요를 충족하는 유연한 운영을 요구하면서도 엄격한 운영 제약 조건을 준수해야 함을 의미합니다. 이 분야의 핵심 과제는 후속 기간의 동적 안정성을 유지하기 위해 일정 기간 종료 시 종단 제약 조건(예: 일정 기간 종료 시 최소 제품 저장량 보장) 을 충족하는 것입니다.

전통적인 모델 기반 최적화 방법 (예: 비선형 MPC) 은 1 차원 모델의 복잡성으로 인해 계산 비용이 많이 들고 유지 보수가 어렵습니다. 반면, 강화 학습 (RL) 은 낮은 온라인 계산 비용으로 데이터 기반 대안을 제공하지만, 모델 없는 RL 알고리즘은 장기적 신용 할당에 어려움을 겪습니다. 구체적으로, 희소하고 지연된 보상 신호 (예: 최종 시간 단계에서만 부과되는 패널티) 를 통해 종단 제약 조건이 강제될 때, 에이전트는 초기 제어 행동을 먼 결과와 연결하지 못합니다. 이는 종종 에이전트가 즉각적인 비용을 최소화하기 위해 저장고를 고갈시키고, 종단 제약 조건을 위반하며 공정을 불안정하게 만드는 단시적 행동으로 이어집니다.

방법론
저자들은 장기적 신용 할당을 해결하기 위해 **Goal-Space Planning(GSP)**을 Deep Deterministic Policy Gradient(DDPG) 알고리즘과 통합하는 하이브리드 프레임워크를 제안합니다. 이 접근법은 고수준 RL 에이전트가 최적 설정점을 계산하고, 저수준 선형 모델 예측 제어기 (LMPC) 가 이러한 설정점을 추적하는 계층적 제어 구조를 기반으로 합니다.

핵심 방법론적 기여는 다음과 같습니다:

1. 목표 수립: 종단 제약 조건을 단순히 제약 최적화 문제로 취급하는 대신, 저자들은 이를 바람직한 목표 상태로 인코딩합니다. ASU 의 경우, 목표 공간 ($G$) 은 제품 저장 수준과 시간 구간을 이산화하여 정의됩니다. 이 추상화는 불순물 및 온도 등을 포함한 고차원 상태 공간을 제약 변수 (저장량) 에 초점을 맞춘 저차원 표현으로 축소합니다.
2. 시간적 추상 모델: 시스템은 두 가지 유형의 모델을 학습합니다.
   • 상태 - 목표 모델: 현재 상태에서 도달 가능한 하위 목표까지의 할인된 반환 (discounted return) 과 할인 요인을 추정하는 신경망 ($r_\gamma, \Gamma$).
   • 목표 - 목표 모델: 관찰된 궤적에서 구축된 목표 공간 내 인접 시간 구간 간의 학습된 전이 ($\tilde{r}, \tilde{\Gamma}$).
3. 잠재 기반 보상 형성: 확장된 시간 범위에 걸쳐 가치를 전파하기 위해 저자들은 잠재 기반 보상 형성 업데이트를 사용합니다. 즉각적인 보상은 잠재 값 ($\Phi$) 의 차이로 증분되는데, 여기서 잠재 함수는 가장 가치 있는 도달 가능한 하위 목표의 예측된 가치에서 유도됩니다. 이는 최적 정책을 변경하지 않으면서 에이전트를 종단 목표로 이끄는 밀집된 단계별 학습 신호를 제공합니다.
4. 그래프 가지치기: 목표 공간 계획의 유효성을 보장하기 위해, 목표 전이 방향 비순환 그래프 (DAG) 에 2 단계 가지치기 메커니즘 (전방 및 후방 너비 우선 탐색) 을 적용합니다. 이는 종단 집합에 도달할 수 없는 연결되지 않은 노드나 막다른 골목을 제거하여 가치 반복이 연결된 부분 그래프에서 작동하도록 보장합니다.

주요 기여

• GSP 와 DDPG 의 통합: 본 논문은 GSP 가 종단 제약 조건이 있는 장기 일정 문제를 해결하기 위해 표준 액터 - 크리틱 RL 알고리즘과 어떻게 통합될 수 있는지를 보여줍니다.
• 샘플 효율성: 시간적 추상 모델을 활용함으로써, 이 방법은 가치 전파를 고주파 동역학으로부터 분리하여 종단 가치를 초기 상태로 전파하는 데 필요한 벨만 백업 횟수를 크게 줄입니다.
• 단시성 완화: 이 접근법은 모델 없는 RL 의 신용 할당 격차를 명시적으로 해결하여, 에이전트가 단기 비용 절감을 위해 장기적 안정성을 희생하는 것을 방지합니다.

결과
제안된 방법은 시간 변동 전력 가격을 가진 72 시간 시간 범위의 시뮬레이션된 ASU 벤치마크에서 평가되었습니다.

• 학습 곡선: "Online GSP"(학습 중 모델 학습) 변형과 "Offline GSP"(사전 훈련된 모델 사용) 모두 표준 DDPG 보다 우수한 샘플 효율성을 보여주었습니다. Online GSP 는 1,000 단계까지 최적 성능에 근접했고, Offline GSP 는 500 단계 이내에 수렴한 반면, 표준 DDPG 는 동일한 시간 범위 내에서 효과적으로 수렴하는 데 어려움을 겪었습니다.
• 제약 조건 충족: 표준 DDPG 정책은 단시적 행동을 보이며 일정 기간 초기에 저장고를 고갈시키고 종단 저장 제약 조건을 크게 미달하는 경향을 보였습니다. 반면, GSP 기반 정책은 저장 수준을 높게 유지하고 가격 신호에 전략적으로 대응하여 종단 제약 조건을 일관되게 충족했습니다.
• 절차 연구: 상태 - 목표 투영을 제거한 것 (투영 없는 Online GSP) 은 성능 저하를 초래하여, 상태로부터 추상적 목표로의 세밀한 매핑이 효과적인 신용 할당을 위해 필수적임을 확인시켰습니다.
• 계산 오버헤드: Online GSP 의 계산 비용은 modest 했으며, 그래프 재구성과 가치 반복으로 인해 에피소드당 월시 (wall-clock) 시간이 약 15% 증가했고, Offline GSP 는 5% 미만을 추가했습니다.

의의 및 주장
본 논문은 Goal-Space Planning 이 주요 제약 변수와 정렬된 목표 공간을 구축함으로써 모델 없는 RL 에 도메인 지식을 주입하는 효과적인 메커니즘을 제공한다고 주장합니다. 저자들은 이 접근법이 에이전트가 시간적 트레이드오프에 대한 해석 가능한 표현을 습득하게 하여, 일반적으로 데이터 기반 방법의 공정 시스템 적용을 제한하는 장기적 신용 할당 문제를 해결한다고 주장합니다. 결과는 목표 기반 추상화가 종단 또는 경로 제약 조건이 중요한 다른 제어 문제를 해결하는 유망한 경로이며, 데이터 기반 방법의 유연성과 산업 공정의 안정성 요구 사항 사이의 균형을 제공함을 시사합니다.