Efficient reformulations of ReLU deep neural networks for surrogate modelling in power system optimisation

기술 요약: 전력 시스템 최적화를 위한 대리 모델링용 ReLU 심층 신경망의 효율적인 재정식화

문제 정의
전력 시스템의 탈탄소화는 분산 에너지 자원에 의해 유도되는 복잡하고 비선형적인 상호작용을 도입하였으며, 이는 기존의 최적화 모델로는 포착하기 어렵습니다. ReLU(Rectified Linear Unit) 심층 신경망(DNN)을 사용하는 머신러닝(ML) 기반 대리 모델링은 이러한 거동을 표현하는 유망한 솔루션을 제공하지만, ReLU DNN을 최적화 프레임워크에 직접 통합하는 데에는 상당한 어려움이 따릅니다. 이진 변수를 모든 뉴런마다 도입하는 표준적인 혼합 정수 프로그래밍(MIP) 재정식화 방식(예: Big-M 제약 조건)은 네트워크의 깊이와 너비가 증가함에 따라 계산 불가능한 복잡성을 초き합니다. 반대로, PCAR(Penalised Convex Area Relaxation) 및 PCTAR(Penalised Convex Triangle Area Relaxation)과 같은 기존의 선형 계획법(LP) 완화 기법은 계산 효율성은 높이지만, 휴리스틱한 페널티 항에 크게 의존합니다. 이러한 페널티 기반 방식은 엄격한 타이트함(tightness)과 강건성을 보장하지 못하며, 결과적으로 하이퍼파라미터 튜닝에 대한 민감도와 솔루션 품질 저하를 초래합니다.

방법론
본 논문은 볼록화된(cvxd) ReLU DNN이라 명명된 특정 클래스의 ReLU DNN을 위한 새로운 LP 재정식화 방법을 제안합니다. 핵심적인 수학적 통찰은 정리 2.1에 근거합니다. 이 정리는 만약 ReLU DNN의 출력이 최적화 문제 내에서 최소화된다면, 두 번째 레이어부터의 모든 가중치 행렬이 요소별로 비음수($W_l \geq 0$ for $l \geq 2$)로 제약될 경우, 해당 레이어들의 비볼록 ReLU 활성화 함수를 타이트함을 잃지 않고 선형 부등식으로 대체할 수 있음을 입증합니다.

구체적으로:

1. 볼록화(Convexification): 이 방법은 은닉층(레이어 $k$부터 출력까지)의 가중치 행렬을 비음수로 제한합니다. 이러한 구조적 제약은 최적화 목적 함수가 네트워크를 통해 전파되도록 보장하여, $\max(\cdot, 0)$ 제약 조건을 선형 부등식($h_l \geq W_l h_{l-1} + b_l$ 및 $h_l \geq 0$)으로 대체할 수 있게 합니다.
2. 적용 맥락: 이 방법은 제약 학습이 포함된 최적화(OCL) 프레임워크 내에서 적용됩니다. 저자들은 프로슈머의 반응 함수(비선형, 비볼록 포화 곡선)를 ReLU DNN을 사용하여 학습시키고, 이를 덴마크의 tertiary capacity market(mFRR)을 위한 에너지 애그리게이터의 이익 극대화 문제에 삽입합니다.
3. 벤치마킹: 제안된 재정식화는 다음과 같은 최첨단(SOTA) 대안들과 비교 평가됩니다:
   • MIP 기반: Gurobi ML 패키지를 사용한 표준 Big-M 재정식화.
   • LP 기반: PCAR 및 PCTAR 완화 기법.
   • 전통적 방식: 구간 선형화(Piecewise Linearisation, PWL).

주요 기여

• 계산 가능한 LP 재정식화: 본 논문은 첫 번째 레이어 이후의 가중치를 비음수로 강제함으로써 ReLU DNN을 타이트한 LP 형식으로 변환하는 방법을 소개합니다. 이는 이진 변수의 필요성을 제거하여, MIP 접근 방식에 비해 계산 복잡성을 크게 줄여줍니다.
• 보장된 타이트함(Guaranteed Tightness): 페널티 기반 완화 기법(PCAR/PCTAR)과 달리, 제안된 방법은 최소화 및 비음수 가중치 조건이 충족되는 한 다양한 네트워크 구조와 입력 조건에 대해 타이트함과 정확성을 보장합니다.
• 체계적인 평가: 연구는 다양한 너비와 깊이를 가진 신경망 구조 및 다양한 시장 가격 시나리오(저, 중, 고)에 걸친 종합적인 벤치마킹을 제공하여, 제안된 방식의 확장성과 신뢰성을 입증합니다.

결과
평가는 30,000개의 훈련 데이터 포인트와 30개의 시장 시나리오 테스트를 활용하여 덴마크 mFRR 시장에 입찰하는 애그리게이터의 케이스 스터디를 통해 수행되었습니다.

• 계산 성능: 제안된 LP 재정식화는 속도 측면에서 MIP 기반(Gurobi ML) 및 PWL 방식을 크게 앞질렀습니다. Gurobi ML과 PWL은 종종 수 초에서 수 시간에 걸쳐 시간이 소요되거나 넓은 네트워크에 대해 수렴에 실패한 반면, 제안된 방법은 밀리초 단위(예: 고가격 시나리오에서 34ms, 기타 시나리오에서 1~3초)로 문제를 해결했습니다.
• 솔루션 품질: 제안된 방법은 모든 시나리오에서 최고 성능을 보인 방법들(PWL 및 MIP)과 유사한 실현 이익을 달est했으며, 일반적으로 최상위 성능자의 1% 이내의 차이를 보였습니다. 반면, PCAR와 PCTAR는 페널티 중심 구조로 인해 유연성 비용을 오측정하여, 특히 저가격 시나리오에서 경제적 손실을 빈번하게 초래했습니다.
• 확장성: 제안된 방법은 네트워크의 너비와 깊이가 증가함에 따라 일관된 성능과 타이트함을 유지했습니다. 이와 대조적으로, Gurovi ML은 실행 시간이 급증하고 넓은 네트워크(예: 뉴런 400개)에서 MIP 갭이 크게 벌어지는 등 심각한 확장성 문제를 보였습니다. PCAR와 PCTAR는 일관되지 않은 정확도와 페널티 파라미터 튜닝에 대한 높은 민감도를 나타냈습니다.
• 정확도: 제안된 모델은 기초가 되는 cvxd DNN의 훈련 RMSE와 매우 근접한 RMSE 값을 지속적으로 달성하여, 재정식화의 타이트함을 확인시켜 주었습니다.

의의 및 주장
본 논문은 볼록화된 ReLU DNN이 제안된 LP 재정식화와 결합될 때, 학습된 대리 모델을 전력 시스템 최적화에 통합하기 위한 확장 가능하고 신뢰할 수 있는 방법론을 제공한다고 주장합니다. 그 의의는 딥러닝의 표현력과 대규모 최적화의 계산 요구 사항 사이의 간극을 메우는 데 있습니다.

저자들은 이 방법이 출력을 최소화해야 하고 가중치에 비음수 제약을 부과해야 한다는 점(학습 가능한 함수의 클래스를 볼록하고 단조 증가하는 관계로 제한함)을 강조하지만, 테스트된 케이스 스터디에서 복잡한 유연성 비용 함수를 성공적으로 포착했음을 밝힙니다. 본 연구는 기존의 LP 완화 기법이 가진 휴리스틱한 튜닝 및 타이트함 보장의 부재를 피하는 일반적인 방법론적 발전을 지향하며, 이는 발전기 비용 모델링, CO2 배출량 추정, 그리고 목적 함수가 최소화를 포함하는 확률 제약 공식화와 같은 응용 분야에 적합합니다. 저자들은 본 연구의 일차적인 초점이 특정 애그리게이터 응용 프로그램보다는 재정식화의 특성을 입증하는 데 있음을 명시합니다.