⚡ electrical engineering

Permutation-Equivariant Deep Equilibrium Networks for Real-Time Single-Bus DER Dispatch with O(1) Parameter Scaling

본 논문은 시장 청산 및 KKT 조건을 기반으로 한 비지도 학습 및 레이블 없는 학습 과정을 통해 경쟁 균형과 청산 가격을 학습함으로써, 수천 개의 이질적인 분산 에너지 자원을 배분하기 위한 O(1) 파라미터 스케일링과 실시간 추론을 달성하는 순열 불변 트랜스포머 딥 이퀄리브리엄 네트워크(DERDEQN)를 제안한다.

원저자: Jiang Zhan, Guofeng Liang, SiQi Chen, Tong Su, Fanrong Feng

게시일 2026-07-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiang Zhan, Guofeng Liang, SiQi Chen, Tong Su, Fanrong Feng

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 거대한 오케스트라 지휘하기

전력망을 하나의 거대한 오케스트라라고 상상해 보세요. 음악가 대신 전기차(EV), 가정용 배터리, 에어컨과 같은 유연한 가전제품 등 수천 개의 서로 다른 장치들이 '연주자' 역할을 합니다. 지휘자는 **실시간 가격(Real-Time Price)**이며, 이 가격은 15분마다 변하며 모두에게 언제 연주할지(에너지를 사용할지)와 언제 휴식할지(에너지를 아낄지)를 알려줍니다.

목표는 이 모든 장치가 서로 완벽하게 협력하여, 누군가 배터리가 바닥나거나 마감 시간을 놓치는 일 없이 총 에너지 사용량이 총 가용 에너지와 일치하도록 만드는 것입니다.

문제점:
연주자가 몇 명뿐일 때는 지휘자가 각자에게 무엇을 할지 쉽게 지시할 수 있습니다. 하지만 연주자가 5,000명이라면, 전통적인 수학 방식을 사용하여 모든 이에게 개별적인 지침을 내리는 것은 마치 백만 개의 조각이 있는 퍼즐을 풀면서 마라톤을 하는 것과 같습니다. 너무 오래 걸리고(실시간 대응에 너무 느림), 플레이어가 늘어날수록 컴퓨터의 두뇌도 더 크고 무거워져야 합니다.

해결책: 마법 같은 기억력을 가진 "스마트한" 지휘자

저자들은 **순열 불변 딥 이퀄리브리엄 네트워크(Permutation-Equivariant Deep Equilibrium Network, DER-DEQN)**라는 새로운 유형의 AI를 개발했습니다. 이것은 특별한 기술을 익힌 초스마트 지휘자를 생각하면 쉽습니다. 이 지휘자는 모든 바이올리니스트의 이름을 외울 필요가 없습니다. 그저 악기의 종류와 오케스트라의 섹션만 알면 됩니다.

이들의 솔루션이 어떻게 작동하는지 세 가지 주요 초능력으로 나누어 설명하겠습니다.

1. "O(1)"의 두뇌 (평탄한 메모리 기술)

기존 방식 (MLP): 전통적인 AI를 모든 장치마다 고유한 설명서를 작성해야 하는 학생이라고 상상해 보세요. 전기차가 100대 추가되면 학생은 100페이지를 더 써야 합니다. 설명서는 거대해지고 학생은 과부하가 걸립니다.
새로운 방식 (Transformer): 저자들의 AI는 단 하나의 완벽한 레시피를 가진 숙련된 요리사와 같습니다. 50인분을 요리하든 5,000인분을 요리하든 레시피 북의 크기는 똑같습니다. 그저 새로운 재료에 동일한 규칙을 적용할 뿐입니다.
결과: AI의 "두뇌 크기"(파라미터 수)는 장치가 추가되어도 아주 작고 일정하게 유지됩니다. 이 AI는 50대의 장치를 다룰 때와 똑같은 정신적 노력만으로 5,000대의 장치를 처리할 수 있습니다.

2. "대칭" 규칙 (똑같이 생긴 쌍둥이 비유)

개념: 배터리 잔량과 마감 시간이 동일한 두 대의 똑같은 전기차가 있다면, 두 차량은 정확히 똑같은 지침을 받아야 합니다.
기존 방식: 전통적인 AI는 종종 혼란을 겪습니다. 두 자동차의 이름을 서로 바꾸면, AI가 서로 다른 지침을 내릴 수도 있는데 이는 불공정하고 비효식적입니다.
새로운 방식: 이 AI는 "순열 불변(Permutation Equivariant)" 성질을 가집니다. 즉, 똑같이 생긴 쌍둥이를 서로 바꾼다 해도 지침도 그들과 함께 바뀌어야 한다는 것을 이해합니다. 이 AI는 동일한 장치를 동일하게 취급합니다. 논문은 이 방식이 이 특정 규칙에 대해 거의 완벽한 정밀도로 작동함을 보여줍니다.

3. 선생님 없이 배우기 ("자기 교정" 루프)

도전 과제: 보통 AI를 가르치려면 완벽한 정답(레이블된 데이터)을 보여주는 "선생님"이 필요합니다. 하지만 5,000대의 장치에 대한 완벽한 정답을 찾는 것은 너무 어려워서 even 선생님조차 아직 정답을 모를 수 있습니다.
기술: 이 AI는 자신의 숙제를 스스로 검토하며 학습합니다. 선생님이 필요하지 않습니다. 대신, AI는 일련의 규칙("평형 조건")을 가지고 있습니다:
1. 전력 균형이 맞는가? (공급 = 수요)
2. 장치들이 만족하는가? (배터리에 최선의 거래를 했는가?)
3. 제약 조건이 충족되었는가? (차가 제시간에 충전되었는가?)
AI는 추측을 하고, 이 규칙들을 확인하며, 어디서 틀렸는지 보고 스스로를 조정합니다. "오차(residual)"가 아주 작아질 때까지 이 과정을 반복합니다. 이는 마치 음악가가 지휘자 없이도 완벽하게 연주할 수 있을 때까지 혼자 연습하는 것과 같습니다.

결과: 속도와 규모

저자들은 두 개의 강력한 그래픽 카드(고성능 게이밍 컴퓨터와 같은 것)를 사용하여 테스트를 진행했습니다.

속도: 장치가 5,000대일 때, 기존 방식(복잡한 수학 방정식을 푸는 방식)은 몇 분 또는 몇 시간까지 걸립니다. 이 새로운 AI는 의사 결정을 내리는 데 단 8.8 밀리초가 걸립니다. 이는 사람의 눈 깜빡임보다 빠릅니다. 이는 실시간, 초 단위의 배치를 수행하기에 충분히 빠릅니다.
규모: 이 AI는 5,000대의 장치에 대해서도 완벽하게 작동합니다. 기존 방식은 이 정도 규모에서 충돌하거나 시간이 너무 오래 걸릴 것입니다.
정확도: AI는 "큰 그림"을 정확히 파악합니다(시장이 청산되고 제약 조건이 충족됨). 다만, 저자들은 한 가지 작은 결점을 인정합니다. 일반적인 가격은 잘 맞추지만, 모든 개별 장치에 대해 이론적으로 완벽한 수익을 100% 달성하지는 못한다는 점입니다. 즉, "현실 세계에서 사용하기에 충분히 좋은" 수준이지, 모든 미세한 부분까지 수학적으로 완벽한 것은 아닙니다.

요약

이 논문은 수천 개의 에너지 장치를 즉각적으로 관리할 수 있는 새로운 AI 지휘자를 소개합니다.

효율적입니다: 군중이 커져도 두뇌 크기가 늘어나지 않습니다.
공정합니다: 동일한 장치를 동일하게 취급합니다.
빠릅니다: 10밀리초 미만으로 의사 결정을 내립니다.
자기 주도적입니다: 정답을 보여주는 선생님 대신 스스로의 규칙을 검토하며 학습합니다.

이를 통해 전력망은 이전에는 컴퓨터가 처리하기에 너무 느리고 복잡했던 대규모 전기차 및 배터리 함대를 실시간으로 관리할 수 있게 됩니다.

기술 요약: 실시간 단일 모선 DER 배분을 위한 순열 불변 딥 이퀄리브리엄 네트워크 (Permutation-Equivariant Deep Equilibrium Networks)

1. 문제 정의

본 논문은 단일 모선 실시간 가격 체계 하에서 이질적인 분산 에너지 자원(DER)—구체적으로 전기차(EV), 가구 내 배터리 저장 장치(ST), 유연한 수요 반응 부하(DR)—의 실시간 배분(dispatch) 문제를 다룹니다.

핵심 난제는 매 배분 간격(예: 15분마다)마다 **고차원 제약 균형(high-dimensional constrained equilibrium)**을 해결하는 것입니다. 이 환경에서:

장치 역학(Device Dynamics): 각 장치는 물리적 제약(충전 상태(SoC) 제한, 충전 윈도우, 전력 정격) 및 장치별 파라미터(예: EV의 긴급도, DR의 탄력성)를 준수하며 시간적 에너지 사용을 최적화합니다.
시장 청산(Market Clearing): 단일 실시간 가격 $\lambda(t)$ 는 모든 $N$ 개의 장치를 결합하는 총 전력 수급 균형을 해소해야 합니다.
확장성 병목 현상:
1. 차원의 저주: 중앙 집중식 혼합 정수 또는 볼록 최적화 프로그램은 $N$ 이 수천 개로 증가함에 따라 계산 속도가 지나치게 느려집니다.
2. 장치 간 상호작용: 장치들은 오직 총합 균형과 가격을 통해서만 결합되며, 표준적인 완전 연결 구조(fully connected architectures)는 이러한 구조를 효율적으로 활용하지 못합니다.
3. 실시간 지연 시간: 대규모 플릿(fleet)에 대해 5~15분의 엄격한 지연 시간 예산을 충족하기 위해 매 간격마다 최적화 문제를 재해결하는 것은 불가능합니다.

기존의 학습 기반 접근 방식은 일반적으로 지도 학습 방식이며, 오프라인 솔버로부터 생성된 값비싼 라벨 데이터가 필요하고, $N$ 이 커짐에 따라 확장성이 떨어지는 문제가 있습니다.

2. 방법론: DER-Transformer-DEQN

저자들은 **순열 불변 트랜스포머 딥 이퀄리브리엄 네트워크(Permutation-Equivariant Transformer Deep Equilibrium Network, DER-DEQN)**를 제안합니다. 이 방식은 배분 문제를 경쟁 균형(competitive equilibrium)으로 간주하며, 라벨 데이터 없이 정책과 청산 가격을 동시에 학습합니다.

A. 경쟁 균형 정식화

문제는 다음과 같이 경쟁 균형으로 모델링됩니다:

장치들은 가격 수용자(price-takers)로서 주어진 $\lambda(t)$ 에 대해 시간적 가치를 극대화합니다.
가격 $\lambda(t)$ 는 시장 청산 제약의 쌍대 변수(dual variable)입니다.
이 구조는 원래의 DEQN 방식이 해결했던 이질적 에이전트 채권 시장 균형과 유사하지만, 이를 전력 시스템에 맞게 조정한 것입니다.

B. 아키텍처: $O(1)$ 파라미터 스케일링

네트워크는 트랜스포머 아키텍처를 사용하여 장치의 수 $N$ 과 독립적인 파라미터 효율성을 달달합니다:

토큰화(Tokenization): 상태는 집계된 컨텍스트 벡터 $g(t)$ 와 $N$ 개의 개별 장치 토큰 $h_i$ 로 직렬화됩니다.
가중치 공유: 입력/출력 층의 너비가 $N$ 에 따라 변하는 MLP와 달리, 트랜스포머는 모든 장치 토큰에 대해 가중치를 공유합니다. 따라서 파라미터 수는 장치 규모와 관계없이 $O(1)$ 을 유지합니다.
복합 위치 인코딩(Composite Positional Encoding): 순열 불변성을 유지하면서 필요한 물리적 구조를 주입하기 위해 다음과 같은 복합 위치 인코딩이 추가됩니다:
$PE_i = \text{TypeEmbed}(\tau_i) \oplus \text{WindowEmbed}(w_i) \oplus \text{FeederEmbed}(f_i) \oplus \text{SinRank}(r_i)$
이는 장치 유형, 가용 윈도우, 피더 클래스 및 사인 함수 형태의 랭크(tie-breaker)를 인코딩하여, 물리적 정체성이 요구되는 경우에만 대칭성을 깨뜨립니다.

C. 비지도 균형 손실(Unsupervised Equilibrium Loss)

모델은 최적 배분 라벨 없이 균형 조건의 잔차(residual)를 최소화하도록 학습됩니다. 손실 함수 $L$ 은 다섯 가지 구성 요소로 이루어집 حالا:

시간적 한계-가치(FOC): 오일러 방정식과 유사하게, 저장 장치, EV, DR에 대해 한계 가치가 가격과 일치하도록 보장합니다.
KKT Power-Box: 전력 제한에 대한 상보성 조건입니다.
KKT SoC-Bounds: 충전 상태(SoC) 제한에 대한 상보성 조건입니다.
KKT EV-Deadline: 출발 시점까지 목표 충전을 달성하기 위한 조건입니다.
시장 청산: 실시간 가격을 결정하는 총 전력 수급 방정식의 잔차입니다.

손식은 스케일 불변성을 확보하고 안정적인 학습을 위해 상대적 바닥값 정규화(relative-floor normalization)를 사용합니다.

3. 주요 기여

문제 정식화: 실시간 단일 모선 DER 배분을 이질적 에이전트 거시경제 모델과 구조적으로 유사한 경쟁 균형으로 정의했습니다.
아키텍처 설계: 표준 MLP 베이스라인의 $O(N)$ 스케일링과 대조되는, $O(1)$ 파라미터 스케일링을 갖춘 순열 불변 트랜스포머-DEQN을 도입했습니다.
대칭성 주입: 장치 유형, 시간 윈도우, 피더 사전 정보를 유일한 대칭성 파괴 항으로 포함하도록 위치 인코딩을 재설계했습니다.
라벨 프리 학습: (오일러 유사성, KKT 상보성 및 시장 청산을 포함한) 균형 잔차에 기반한 비지도 손실 함수를 설계하여 최적 배분 라벨 없이도 학습이 가능하게 했습니다.
경험적 검증: 두 가지 규모에서 방법론의 특성을 입증했습니다:
- 아키텍처 규모 ( $N=5000$ ): 파라미터 효율성과 지연 시간을 검증했습니다.
- 균형 품질 ( $N=50$ ): 잔차의 수렴 및 후생(welfare) 비교를 검증했습니다.

4. 실험 결과

실험은 두 대의 NVIDIA RTX 3090 GPU에서 수행되었습니다.

A. 파라미터 스케일링 및 효율성

파라미터: 트랜스포머 모델은 모든 플릿 규모( $N=50$ 에서 $5000$)에서 119,142개의 일정한 파라미터를 유지합니다. 반면, MLP 베이스라인은 $N=5000$ 일 때 $8.60 \times 10^7$ 개까지 증가하여 (MLP는 $1.87 \times 10^6$ 에서 시작), 720배의 격차를 보였습니다.
순열 불변성: 트랜스포머는 순열에 대해 기계 정밀도 수준의 불변성( $\sim 2 \times 10^{-6}$ 오차)을 달성한 반면, MLP는 $N$ 에 따라 선형적으로 증가하는 오차를 보였습니다.

B. 실시간 지연 시간

학습된 정책은 $N=5000$ 일 때 8.8 ms(중앙값) 내에 실행되며, 이는 5~15분의 배분 예산 내에 충분히 들어오는 수치입니다.
이는 중앙 집중식 솔버(CVXPY/CLARABEL)보다 두 자릿수 배(two orders of magnitude) 더 빠르며, 대규모 $N$ 에 대해 계산이 불가능해지는 혼합 정수 선형 계획법(MILP) 방식보다 훨씬 빠릅니다.

C. 균형 품질 및 후생

잔차 수렴: $N=50$ 에서 시장 청산 및 KKT 잔차가 $\sim 10^{-4}$ 로 수렴하여, 안정적인 비지도 학습이 이루어졌음을 보여줍니다.
후생 비교: 학습된 배분은 중앙 집중식 볼록 최적해와 경쟁적인 후생을 달성합니다. 그러나 시간적 한계-가치(FOC) 잔차는 0이 아닌 특정 바닥값( $\sim 0.6$ )에 머뭅니다.
한계점: 이 FOC 바닥값과 앵커링되지 않은 가격 척도(Proposition 1)로 인해, 배분은 근사적으로는 최적이지만 정확히는 후생 최적(welfare-optimal)은 아닙니다. 논문은 정책의 가격 경로가 중앙 집중식 솔버의 쌍대 가격 형상을 완벽하게 추적하지 못한다고 언급하며, 이 격차가 단순한 스케일 불일치보다는 FOC 잔차에 의해 발생함을 시사합니다.

D. 학습 제약 사항

파라미터는 $O(1)$ 로 스케일링되지만, 어텐션 활성화 메모리는 $O(N^2)$ 로 스케일링됩니다. $[B, H, N, N]$ 어텐션 행렬로 인해 $N=5000$ 인 전체 배치 학습은 GPU 메모리(24 GB)를 초과합니다. 따라서 현재의 학습 예산 하에서 수렴 가능한 가장 큰 규모인 $N=50$ 에서 균형 품질 결과가 보고되었습니다.

5. 의의 및 주장

본 논문은 이 연구가 계산 경제학과 전력 시스템 운영 사이의 간극을 메워, 범용 하드웨어에서 실시간 플릿 규모 배분을 가능하게 한다고 주장합니다.

확장성: $O(1)$ 파라미터 스적 스케일링을 통해 고정된 용량의 단일 네트워크가 어떤 규모의 플릿도 서비스할 수 있게 하여, 장치가 그리드에 참여하거나 떠날 때 모델을 재학습하거나 크기를 조정할 필요를 없앴습니다.
실시간 실현 가능성: 10ms 미만의 추론 시간은 중앙 집중식 최적화가 실패하는 배분 주기에서도 이 방법론이 실행 가능함을 입증합니다.
이론적 정렬: 균형 조건을 직접 만족함으로써, 이 방법은 오프라인 솔버를 모방하는 지도 학습에 의존하지 않고 경제적 구조(가격에 의한 조정)를 존중합니다.

인정된 제한 사항:
저자들은 FOC 잔차가 0이 아닌 바닥값을 가짐에 따라 중앙 집중식 솔버와의 정확한 후생 일치를 달ato하는 것이 여전히 과제로 남아 있음을 명시했습니다. 또한, 현재의 $O(N^2)$ 메모리 병목 현상은 향후 선형 또는 플래시 어텐션(flash-attention) 변형을 도입해야만 최대 규모에서 잠재력을 완전히 실현할 수 있음을 시사합니다. 현재 연구는 네트워크 제약이 없는 단일 모선 모델에 국한되어 있습니다.