💻 computer science

PatchMamS2S: A Mamba-based Multivariate Time Series Forecasting Model in Power Domain with Patch Mining via Prior-based Weight Fusion

본 논문은 패치 마이닝(patch mining), 물리적 사전 지식 기반 가중치 융합(physical prior-guided weight fusion), 그리고 효율적인 Seq2Seq 아키텍처를 결합하여 기존 범용 모델들의 정확도-자원 간의 절충 문제를 극복하도록 전력 도메인에 특화된 경량 Mamba-2 기반 다변량 시계열 예측 모델인 PatchMamS2S를 제안한다.

원저자: Yuhan Lin, Haoyuan Ouyang, Hongyu Chen, Liping Xiong, Zhiyong Hong, Zhishuang Wang

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuhan Lin, Haoyuan Ouyang, Hongyu Chen, Liping Xiong, Zhiyong Hong, Zhishuang Wang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미래를 예측하려고 노력하고 있다고 상상해 보세요. 하지만 날씨나 주식 시장을 추측하는 대신, 다음 주에 도시 전체가 얼마나 많은 전기를 필요로 할지 추측하는 것입니다. 이것이 바로 **다변량 시계열 예측(Multivariate Time Series Forecasting)**의 세계입니다. 이것을 모든 악기(기온, 태양광 발전, 공장 일정, 인간의 습관)가 각기 다른 곡을 연주하는 혼란스러운 오케스트라의 소리를 듣는 것이라고 생각해보세요. 당신은 이 전체 교향곡의 다음 음표를 예측해야 합니다. 오랫동안 과학자들은 어떤 곳에서든, 얼마나 복잡하든 상관없이 어떠한 오케스트라도 들을 수 있는 하나의 '슈퍼 브레인' 모델을 구축하려고 노력해 왔습니다. 하지만 여기 함정이 있습니다. 이 슈퍼 브레인들은 너무 무겁고 컴퓨터 자원을 많이 잡아먹어서 실제 전력망 안에 들어있는 작고 저렴한 컴퓨터에는 들어갈 수 없다는 점입니다. 이는 마치 할리우드 블록버스터 영화를 장난감 계산기에서 실행하려는 것과 같습니다.

여기 **맘바(Mamba)**가 등장합니다. 맘바는 초효율적이고 가벼운 러너와 같은 새로운 유형의 AI 아키텍처입니다. 기존의 무거운 모델들이 노래가 길어질수록 점점 더 느려지는 것과 달리, 맘바는 처리해야 할 데이터가 아무리 많아져도 빠르고 날렵함을 유지합니다. 하지만 이 가벼운 러너에게도 짐은 있습니다. 때때로 층(layer)을 너무 많이 쌓아서 다시 무거워지기도 하고, 오케스트라의 서로 다른 악기들이 어떻게 서로 영향을 미치는지 이해하는 데 어려움을 겪기도 합니다. 큰 질문은 이것입니다. 아주 작은 전력망 컴퓨터에서도 실행될 수 있을 만큼 가볍고, 전기의 특정한 리듬을 이해할 수 있을 만큼 똑똑하며, 불을 계속 밝힐 수 있을 만큼 정확한 모델을 만들 수 있을까요?

이 논문은 전력 산업을 위해 특별히 설계된 영리한 새로운 솔루션인 **패치맘에스투에스(PatchMamS2S)**를 소개합니다. 연구진은 모든 것을 위한 '범용' 모델을 쫓는 것은 일종의 함정이라고 주장합니다. 대신, 우리는 전기의 고유한 물리 법칙에 맞춤화된 도구가 필요합니다. 그들은 전력 데이터를 패치워크 담요처럼 다루는 시스템을 구축했습니다. 전력 사용의 전체 이력을 한꺼번에 보는 대신, 다양한 크기의 관리 가능한 작은 '패치(patches)'로 조각냅니다. 어떤 패치는 매우 작아서 급격하고 미세한 변동(예: 공장이 가동될 때 발생하는 갑작스러운 스파이크)을 포착하는 반면, 다른 패치는 크기가 커서 느리고 매끄러운 추세(예: 사람들이 깨어나고 잠드는 일일 주기)를 포착합니다.

마법은 이 패치들을 다시 하나로 꿰맬 때 일어납니다. 컴퓨터가 이들을 어떻게 섞을지 스스로 추측하게 두는 대신, 연구진은 '물리적 사전 지식(physical priors)'을 사용합니다. 즉, 모델에게 "이봐, 우리는 작은 패치가 세부 사항을 잡기에 좋고, 큰 패치가 전체적인 그림을 잡기에 좋다는 것을 알고 있어"라고 알려주는 것입니다. 그들은 이러한 현실 세계의 논리에 기반하여 패치에 특정 가중치를 할당하고, 이를 융합하여 미래에 대한 명확한 그림을 만들어냅니다. 이렇게 만들어진 그림은 **맘에스투에스(MamS2S)**라고 불리는 간소화된 엔진으로 전달되는데, 이는 불필요한 층을 쌓아 에너지를 낭비하지 않도록 설계된 맞춤형 맘바 버전입니다.

결과는 인상적입니다. 실제 전력 가격과 변압기 온도를 포함한 5가지 전력 데이터셋과 날씨 및 금융 같은 비전력 데이터에서도 테스트했을 때, PatchMamS2S는 단순히 따라가는 수준을 넘어 기존의 최고 모델들을 종종 능가했습니다. 이 모델은 경쟁 모델들보다 훨씬 더 정확하면서도 메모리는 아주 적은 부분만 사용했습니다. 실제로, 또 다른 무거운 맘바 기반 모델과 비교했을 때, 이 새로운 설계는 8배 적은 메모리를 사용했으며 20배 더 빠르게 학습되었습니다. 저자들은 이것이 당신에게 전력 부하를 예측하기 위해 거대하고 비싼 슈퍼컴퓨터가 필요하지 않다는 것을 증명한다고 제안합니다. 적절한 '패치워크' 전략과 약간의 물리 기반 가이드가 있다면, 우리 전력망을 실제로 제어하는 작은 장치에서도 실행될 수 있는 천재적이면서도 가벼운 챔피언 모델을 만들 수 있습니다.

PatchMamS2S 기술 요약

문제 정의
전력 분야의 다변량 시계열 예측(MTSF)은 기존의 "범용" 아키텍처가 예측 정확도와 말단 전력망 장치의 엄격한 계산 제약 사이의 균형을 맞추는 데 어려움을 겪는다는 결정적인 딜레마에 직면해 있습니다. 트랜스포머(Transformer) 기반 모델은 강력하지만, 이차 복잡도(quadratic complexity)와 과도한 메모리 사용량을 초래하여 엣지 배포에 부적합합니다. 반대로, 단순 선형 모델은 전력 부하의 복잡하고 비선형적인 물리적 특성을 포착할 수 있는 능력이 부족합니다. 또한, 기존의 상태 공간 모델(SSM), 특히 맘바(Mamba) 기반 프레임워크는 맹목적인 심층 적층으로 인해 구조적 중복성을 겪거나, 적은 파라미터 수로 다변량 상관관계를 충분히 채굴하지 못하는 경우가 많습니다. 본 논문은 모든 도메인을 위한 단일 "범용 아키텍처"를 추구하는 것은 오해이며, 물리적 운영 로직과 실시간 응답성을 존중하는 전력 산업에 특화된 솔루션이 필요하다고 주장합니다.

방법론
저자들은 전력 부하 데이터에 특화되어 설계된 경량 맘바 기반 예측 모델인 PatchMamS2S를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소를 통합합니다:

다중 스케일 패치 임베딩 (PatchEmb):
단일 스케일 패칭 대신, 모델은 다중 스케일 패치 융합 메커니즘을 채택합니다. 슬라이딩 윈도우를 사용하여 입력 시계열을 다양한 길이( $P = [p_1, p_2, \dots, p_M]$ )의 패치로 분할합니다. 이를 통해 모델은 글로벌 어텐션 메커니즘의 높은 계산 부담 없이도 미시적인 단기 변동과 거시적인 장기 추세를 동시에 포착하여 다중 스케일 특징을 효과적으로 커버할 수 있습니다.
사전 기반 가중치 융합 (Prior-Based Weight Fusion):
모델은 계절성-추세 분해 전략과 물리 정보 기반 융합 메커니즘을 채택합니다. 다중 스케일 패치 임베딩을 계절 성분과 추세 성분으로 분해합니다. 결정적으로, 모델은 이 성분들을 맹목적으로 학습하는 대신 고정된 사전 기반 가중치를 사용하여 융합합니다.
- 계절성 융합 (Seasonal Fusion): 고주파의 국소적 변동을 포착하는 데 유리한 소규모 패치(좁은 시야각)에 더 높은 가중치를 할당합니다.
- 추세 융합 (Trend Fusion): 매끄러운 글로벌 추세를 더 잘 나타내는 대규모 패치(넓은 시야각)에 더 높은 가중치를 할당합니다.
  이 접근 방식은 모델에 물리적 해석 가능성을 주입하여, 특징의 재구성이 서로 다른 시간 척도의 자연스러운 "역할 분담"과 일치하도록 보장합니다.
MamS2S (경량 Seq2Seq 아키텍처):
저자들은 Mamba-2를 기반으로 MamS2S라는 이름의 커스텀 Seq2Seq 아키텍처를 구축했습니다. Mamba의 연속적인 상태 공간 진화와 명시적인 은닉 상태(hidden state)에 의존하는 전통적인 Seq2Seq 요구 사항 사이의 불일치를 해결하기 위해, 저자들은 인코더의 최종 은닉 상태를 명시적으로 추출하도록 Mamba 모듈을 수정했습니다. 또한, SSM 모듈 앞의 1차원 컨볼루션 연산을 제거했습니다. 이러한 구조적 단순화는 엄격한 시퀀스 인과성(미래 정보 누출 방지)을 보장하고 복잡도를 줄여, 선형 복잡도 수준 $O(L)$ 에서 효율적인 의존성 모델링을 가능하게 합니다.

주요 기여

특화된 패치 표현: 전력 부하의 고유한 주기적 패턴을 정확하게 포착하면서 효율성과 표현 능력 사이의 균형을 맞추는 다중 스케일 패칭 전략을 제공합니다.
물리 정보 기반 융합: 자동화된 "블랙박스" 융합에서 벗어나, 고정된 사전 가중치를 사용하여 계절성 및 추세 특징을 재구성함으로써 예측 성능과 물리적 해석 가능성을 모두 향상시켰습니다.
경량 MamS2S 아키텍처: 현재 SSM 연구에서 흔히 나타나는 맹목적인 심층 적층을 피하는 Mamba-2 기반의 새로운 Seq2Seq 설계를 구현했습니다. 이는 선형 복잡도로 효율적인 의존성 모델링을 달성하여 하드웨어 배포 장벽을 크게 낮추고 저사양 GPU(예: NVIDIA 3050)에서도 학습이 가능하게 합니다.

실험 결과
모델은 5개의 전력 도메인 데이터셋(ETTh1/2, ETTm1/2, SXEP 포함)과 3개의 비전력 도메인 데이터셋(Weather, Exchange, Solar)에서 평가되었습니다.

전력 도메인 성능: PatchMamS2S는 최신 베이스라인 모델들(iTransformer, PatchTST, Crossmamba, S-Mamba 포함)에 비해 전반적으로 우수한 성능을 달স্য했습니다. ETTh1 데이터셋에서 두 번째로 우수한 모델과 비교하여 MSE는 4.86%, MAE는 3.35% 감소했습니다. 또한 소량 샘플 시나리오(SXEP 데이터셋)에서도 강력한 일반화 능력을 입증했습니다.
효율성: 모델은 효율성 측면에서 다른 Mamba 기반 모델들을 크게 압도했습니다. Crossmamba와 비교했을 때, PatchMamS2S는 GPU 메모리 사용량을 8배 줄였고 에포크당 훈련 시간을 200초 이상 단축했습니다. 또한 4.5M의 파라미터 수를 달성하여 트랜스포머 모델과 경쟁 가능한 수준이면서도 훨씬 뛰어난 효율성을 보여주었습니다.
일반화 능력: 전력 시스템을 위해 설계되었음에도 불구하고, 24개 케이스 중 4개에서 비전력 도메인에 대한 SOTA 성능을 달성하여 강력한 교차 도메인 일반화 능력을 입증했습니다.

의의 및 주장
본 논문은 Patch-MamS2S가 고복잡도 모델이 말단 전력망 장치에 적용될 때 발생하는 병목 현상을 성공적으로 해결했다고 주장합니다. Mamba 모듈의 중복 적층을 피하고 물리적 사전 지식을 통합함으로써, 모델은 정확도와 계산 효율성의 균형을 맞춘 저비용 고성능 솔루션을 제공합니다. 저자들은 이 연구가 자원이 제한된 산업 현장에서 복잡한 딥러닝 모델을 배포하기 위한 이론적, 실무적 토대를 제공한다고 봅니다. 결론적으로, 분야가 대규모 파운데이션 모델로 이동하고 있지만, 이러한 모델을 도메인 특화 물리적 제약과 통합하는 것이 핵심 과제로 남아 있으며, PatchMamS2S는 효율적이고 도메인에 특화된 예측을 향한 한 단계임을 시사합니다.

PatchMamS2S 기술 요약

유사한 논문