🤖 machine learning

CAMP: A Cycle-Aware Multi-Scale Patch Mixer for Time Series Forecasting

CAMP는 가변적인 주기적 패턴, 위치 의존적 문맥 요구, 그리고 다중 해상도 역학을 효과적으로 처리하기 위해 적응형 사이클 학습, 호라이즌 가이드 패치 믹싱, 다중 스케일 잔차 모델링을 통합하여 여러 장기 예측 벤치마크에서 최첨단 성능을 달성하는 새로운 시계열 예측 프레임워크입니다.

원저자: Jung Min Choi, Vijaya Krishna yalavarthi, Lars Schmidt-Thieme

게시일 2026-08-06

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jung Min Choi, Vijaya Krishna yalavarthi, Lars Schmidt-Thieme

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

미래를 예측하려고 노력하고 있다고 상상해 보세요. 하지만 당신에게 있는 것은 수정구슬이 아니라, 마치 혼란스러운 낙서처럼 보이는 데이터의 흐름입니다. 이것이 바로 시계열 예측(time series forecasting)의 세계입니다. 이는 과거에 일어난 일을 바탕으로 다음에 무슨 일이 일어날지 추측하는 데 전념하는 데이터 과학의 한 분야입니다. 노래의 다음 음표, 바다의 다음 파도, 또는 고속도로의 다음 교통 체증을 예측하는 것과 같다고 생각하면 됩니다. 데이터는 단순히 무작위적인 노이즈가 아닙니다. 그것은 종종 리듬을 가지고 있습니다. 때로는 심장 박동처럼 일정한 비트일 수도 있고, 다른 때에는 반복되는 절(verse)과 후렴(chorus)이 있는 복잡한 멜로디일 수도 있습니다. 과학자들은 이러한 반복되는 패턴을 "주기(cycles)"라고 부릅니다.

오랫동안 이러한 패턴을 예측하려는 컴퓨터들은 중대한 사각지대를 가지고 있었습니다. 그들은 종 often 데이터의 "비트"가 모든 사람, 모든 곳, 그리고 모든 순간에 동일하다고 가정했습니다. 이는 로봇에게 음악이 갑자기 느려지거나 빨라질 때조차도 "비트는 항상 분당 120걸음이다"라고 가르치며 춤을 배우게 하는 것과 같았습니다. 또한, 긴 데이터 라인을 볼 때 이 컴퓨터들은 어제의 정보든 5분 전의 정보든 모든 정보를 똑같이 취급했습니다. 이 논문은 이러한 경직된 가정을 다루며, 미래를 정확하게 예측하기 위해서는 컴퓨터가 단순히 정해진 규칙을 따르는 것이 아니라, 지금 이 순간 특정 노래의 리듬을 듣고 어떤 음이 가장 기억할 가치가 있는지 아는 유연한 음악가와 같아야 한다고 제안합니다.

CAMP를 만나보세요: 시간을 여행하는 DJ

새로운 예측 모델인 CAMP(Cycle-Aware Multi-Scale Patch Mixer)가 등장했습니다. 이 모델은 시계열 데이터를 위한 매우 똑똑한 DJ 역할을 합니다. 저자인 훔멜스하임 대학교(University of Hildesheim)의 최정민(Jung Min Choi)과 동료들은 현실 세계의 데이터가 매우 무질서하다는 점을 깨달았습니다. 데이터셋은 일일 주기, 주간 주기, 또는 얼마나 멀리까지 보느냐에 따라 속도가 변하는 주기를 가질 수 있습니다. 기존 방식들은 이 모든 데이터를 하나의 미리 설정된 리듬에 억지로 맞추려 했고, 이는 종종 박자를 놓치거나 잘못된 예측으로 이어졌습니다. 하지만 CAMP는 춤을 추기 전에 먼저 음악을 듣기로 결정했습니다.

적응형 리듬의 마법
당신이 번화한 거리의 긴 영상을 보고 있다고 상상해 보세요. 어떤 차들은 일정한 흐름(주기)으로 움직이는 반면, 다른 차들은 무작위로 멈췄다 출발합니다(잔차 노이즈). 기존 모델들은 도시 전체를 보고 평균 속도를 하나 골라내어 교통 속도를 추측하려 할 것입니다. 만약 퍼레이드 때문에 교통이 갑자기 느려진다면, 모델은 혼란에 빠질 것입니다.

CAMP는 다르게 행동합니다. CAMP는 고속 푸리에 변환(FFT)—매우 빠른 주파수 분석기라고 생각하면 됩니다—이라는 도구를 사용하여 각 특정 데이터 윈도우를 살펴봅니다. 그리고 질문합니다. "이 특정 시간 구간의 지배적인 비트는 무엇인가?" 그런 다음 그 순간에 딱 맞는 맞춤형 리듬을 구축합니다. 미리 작성된 스케줄이 필요하지 않습니다. 즉석에서 비트를 찾아내는 것입니다. 이를 통해 "주기적 성분"(예측 가능한 반복 부분)과 "잔차"(무질서하고 예측 불가능한 부분)를 분리하여 생성할 수 있습니다. 이는 드럼 트랙과 기타 솔로를 분리하여 각각 따로 수정할 수 있도록 하는 것과 같습니다.

"패치" 퍼즐과 호라이즌 가이드
일단 CAMP가 예측 가능한 리듬을 제거하고 나면, 무질서한 잔차 데이터만 남게 됩니다. 이를 처리하기 위해 CAMP는 데이터를 "패치(patches)"라고 불리는 작은 덩어리로 자릅니다. 긴 필름 스트립을 개별 프레임으로 자른다고 상상해 보세요. 대부분의 모델은 모든 프레임을 동일하게 취급하며 패턴을 찾기 위해 이들을 섞어버립니다. 하지만 CAMP는 영리한 점을 발견했습니다: "예측 경계"(예측이 시작되는 바로 그 끝부분)에 가장 가까운 프레임들은 매우 중요하며 너무 많이 건드려져서는 안 된다는 것입니다. 반면, 더 오래된 프레임들은 의미를 갖기 위해 더 넓은 맥락이 필요합니다.

이를 해결하기 위해 CAMP는 **호라이즌 가이드 패치 믹서(Horizon-Guided Patch Mixer)**를 사용합니다. 이것을 학생의 에세이를 채점하는 선생님이라고 생각해 보세요. 선생님은 가장 최근의 문장들(끝부분에 가까운 문장들)을 매우 주의 깊게 읽고, 그것들이 결론이기 때문에 거의 손대지 않습니다. 하지만 앞부분의 문장들에 대해서는 더 깊은 주제를 찾기 위해 다른 아이디어들과 섞어봅니다. CAMP도 똑같이 합니다. 오래된 패치들은 장기적인 연결 고리를 찾기 위해 공격적으로 섞지만, 가장 최근의 패치들은 모델이 즉각적인 정보를 잃지 않도록 온전하게 유지합니다.

멀티 스케일의 마법
마지막으로, 무질서한 잔차 데이터는 종종 크고 느린 파동과 작고 빠른 떨림을 모두 포함하는 복잡한 형태를 띱니다. CAMP는 **정지 웨이브렛 변환(Stationary Wavelet Transform, SWT)**을 사용하여 이 무질서함을 서로 다른 "스케일" 또는 해상도로 나눕니다. 이는 모래를 분류하기 위해 다양한 크기의 체를 사용하는 것과 같습니다. 하나는 큰 돌을 잡고, 다른 하나는 자갈을 잡으며, 아주 고운 체는 먼지를 잡습니다. CAMP는 이 각각의 층을 각자의 전문화된 믹서로 처리한 다음, 다시 모두 결합합니다. 이를 통해 어떤 규모의 변동이든 상관없이 적절한 주의를 기울일 수 있게 합니다.

숫자가 말해주는 것

저자들은 기상 데이터, 전력 사용량, 교통 패턴을 포함한 7가지의 서로 다른 장기 예측 벤치마크에서 CAMP를 테스트했습니다. 결과는 인상적이었습니다. 이 데이터셋 전반에 걸쳐, CAMP는 7개 중 6개 데이터셋에서 **최고 평균 평균 제곱 오차(MSE)**를 달 기록했으며, 6개에서 **최고 또는 공동 최고 평균 절대 오차(MAE)**를 기록했습니다. 교통 예측 분야(PEMS 벤치마크 사용)에서는 16가지 설정 중 가장 많은 비교에서 승리했습니다.

예를 들어, ETTh2(전력 사용량) 데이터셋에서 CAMP는 오차를 MSE 0.309로 줄였으며, 이는 두 번째로 우수한 모델인 PatchTST의 오차인 0.331을 능가한 수치입니다. Weather(기상) 데이터셋에서는 MSE 0.219를 달성했습니다. 이것은 단순히 미세한 개선이 아닙니다. 이는 변화하는 주기에 적응하고 다양한 스케일의 데이터를 처리하는 모델의 능력이 의도한 대로 정확히 작동하고 있음을 보여주는 상당한 도약입니다.

이것이 왜 중요한가 (그리고 무엇이 아닌가)

이 논문은 더 나은 예측의 핵심이 단순히 더 큰 컴퓨터를 갖는 것이 아니라, 더 똑똑하게 듣는 방법을 갖는 것이라고 제안합니다. 주기가 변한다는 점과 최근의 데이터는 특별한 처리가 필요하다는 점을 인정함으로써, CAMP는 경직된 일률적 모델의 함정을 피합니다. 저자들은 모델의 각 부분이 필수적임을 증명하기 위해 "어블레이션 연구(ablation studies, 모델의 일부를 제거하며 수행하는 테스트)"를 실시했습니다. 적응형 주기 학습이나 특수 패치 믹싱을 제거했을 때 성능이 떨어졌으며, 이는 이러한 특정 기법들이 모델을 작동하게 만드는 핵심 요소임을 확인시켜 줍니다.

하지만 저자들은 이것을 만능 해결책(magic bullet)이라고 부르는 것을 경계합니다. 그들은 CAMP가 일부 단순한 모델보다 계산량이 많으며, 주파수 기반의 주기 추정이 데이터가 너무 짧거나 명확한 리듬이 없는 경우 어려움을 겪을 수 있다고 언급합니다. 또한, 수백 개의 변수가 서로 밀접하게 연결된 데이터셋의 경우, 모델의 현재 채널 믹싱 방식이 혼란을 피하기 위해 더 선택적이어야 할 수도 있다고 제안합니다.

요컨대, CAMP는 만약 당신이 미래를 예측하고 싶다면, 단순히 과거를 암기하는 것이 아니라, 그 순간의 리듬을 이해하고, 현재의 중요성을 존중하며, 큰 그림과 작은 세부 사항을 동시에 바라봐야 한다는 것을 시사합니다. 이는 미래가 경직된 공식보다는 적응형 경청에 더 가깝다는 것을 보여주는 유연하고 다층적인 접근 방식입니다.

기술 요약: CAMP – 시계열 예측을 위한 주기 인지형 다중 스케일 패치 믹서 (Cycle-Aware Multi-Scale Patch Mixer)

문제 정의

실제 세계의 시계열 데이터는 빈번하게 반복되는 패턴에 의해 지배되지만, 이러한 주기의 지배적인 주기는 데이터셋, 예측 설정, 심지어 개별 입력 윈도우에 따라 다르게 나타나는 경우가 많습니다. 기존의 주기 인지형 예측 모델들은 대개 데이터셋 수준에서 사전 정의된 단일 주기 길이(예: 자기상관 분석을 통해 선택됨)에 의존합니다. 이러한 접근 방식은 주기적 동작이 시간에 따라 변하거나, 단일 시퀀스 내에 여러 주기가 공존하는 경우 제약이 따릅니다.

또한, 표준 패치 기반 모델들은 종종 모든 패치 위치를 균일하게 처리합니다. 그러나 예측 경계에서 멀리 떨어진 패치들은 더 넓은 문맥적 정교화(contextual refinement)가 필요할 수 있는 반면, 최근 패치(경계에 가까운 패치)는 직접적으로 보존되어야 할 정보를 포함하고 있습니다. 마지막으로, 주기적 동작을 제거한 후 남은 잔차 역학(residual dynamics)은 종종 여러 시간 해상도에 걸쳐 나타나며, 이는 단일 스케일로는 충분히 설명될 수 없습니다.

방법론

저자들은 CAMP(Cycle-Aware Multi-Scale Patch Mixer)를 제안합니다. 이 프레임워크는 고정된 주기 길이와 균일한 패치 처리의 한계를 해결하면서, 주기적 역학과 잔차 역학을 분리하여 모델링하도록 설계되었습니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다.

1. 적응형 주기 학습 (Adaptive Cycle Learning, ACL)

사전 정의된 주기 길이를 요구하는 방법들과 달리, ACL은 각 입력 윈도우에 대해 독립적으로 지배적인 주파수를 식별합니다.

주파수 추정: 각 샘플에 대해 모델은 룩백 윈도우(look-back window)에 Fast Fourier Transform(FFT)을 적용합니다. 채널 평균 진폭 스펙트럼을 계산하고, DC 성분을 억제하며, 상위- $K$ 주파수 빈(frequency bin)을 선택합니다.
주기 합성: 선택된 주파수 빈들은 과거 룩백 구간과 미래 예측 구간 모두에 대해 사인 및 코사인 쌍 형태의 사인형 특징(sinusoidal features)을 정의합니다. 공유된 2층 MLP는 이러한 푸리에 특징을 채널별 주기 값으로 매핑합니다.
게이팅(Gating): 과거 및 미래의 주기적 성분에 별도의 시그모이드 게이트가 적용됩니다. 이를 통해 모델은 입력에서 얼마나 많은 주기적 구조를 제거할지, 그리고 예측값에 얼마나 많은 주기를 재주입할지를 제어할 수 있습니다. 네트워크는 0으로 초기화되어, 모델이 잔차 전용 예측 모델로서 시작하여 훈련 과정에서 점진적으로 주기 정보를 도입할 수 있도록 합니다.

2. 다중 해상도 잔차 분해 (Multi-Resolution Residual Decomposition)

정규화된 입력에서 게이트 처리된 과거 주기를 뺀 후, 남은 잔차는 **정상 웨이브렛 변환(Stationary Wavelet Transform, SWT)**을 통해 처리됩니다.

비하향 샘플링 분해 (Undecimated Decomposition): SWT는 잔차를 근사 스트림( $A_J$ )과 다양한 레벨의 여러 세부 스트림( $D_J, \dots, D_1$ )으로 분해합니다. SWT는 비하향 샘플링 방식이므로 모든 스트림이 원래의 시퀀스 길이 $L$ 을 유지하여, 서로 다른 해상도 간의 시간적 정렬을 보장합니다.
스트림별 인코딩: 각 스트림은 독립적으로 패치화되어 특정 MLP 믹서에 의해 처리됩니다.
- **가장 거친 세부 스트림 ( $D_J$ )**은 **호라이즌 가이드 패치 믹서(HGPM)**에 의해 처리됩니다.
- 근사 스트림 ( $A_J$ ) 및 **더 미세한 세부 스트림 ( $D_{J-1} \dots D_1$ )**은 **단순 패치 믹서(Simple Patch Mixers)**에 의해 처리됩니다.

3. 호라이즌 가이드 패치 믹서 (Horizon-Guided Patch Mixer, HGPM)

이 모듈은 예측 경계와의 거리에 따른 패치의 다양한 요구 사항을 해결합니다.

점진적 정교화 (Progressive Refinement): HGPM은 패치 시퀀스의 축소되는 접두사(prefix)를 역순으로( $N-1$ 에서 $1$까지) 처리합니다.
업데이트 메커니즘: 각 단계 $i$ 에서, 오직 접두사 $U_{1:i}$ 만이 특징, 시간 및 채널 믹싱을 포함하는 잔차 보정을 통해 업데이트됩니다.
경계 보존 (Boundary Preservation): 예측 호라이즌과 가장 가까운 최신 패치( $U_N$ )는 HGPM으로부터의 교차 패치 업데이트를 받지 않습니다. 이 패치는 패치 투영(projection)과 패치 내부 정교화만을 거친 후 그 표현을 유지합니다. 이러한 설계는 예측 경계 근처의 정보가 직접적으로 보존되는 동시에, 이전 패치들이 더 넓은 시간적 문맥으로부터 혜택을 받도록 보장합니다.

4. 집계 및 예측 (Aggregation and Prediction)

모든 웨이브렛 스트림으로부터 인코딩된 표현들은 (학습 가능한 가중치 없이) 평균화되어 통일된 표현을 형성합니다. 선형 예측 헤드는 이를 잔차 예측값으로 매핑합니다. 예측된 미래 주기 성분은 잔차 예측값에 더해지며, 최종 출력물을 생성하기 위해 RevIN을 통해 역정규화됩니다.

주요 기여

샘플 적응형 주기 학습: CAMP는 각 입력 샘플에 대해 지배적인 주파수를 식별하며, 사전 정의된 주기 길이나 데이터셋 수준의 주기 선택 없이 과거 및 미래 주기 성분을 생성합니다.
다중 해상도 잔차 모델링: 본 프레임워크는 SWT 기반의 분해와 패치 레벨 MLP 인코딩을 결 der하여 서로 다른 시간 스케일에서 보완적인 역학을 포착합니다.
호라이즌 가이드 패치 믹싱: HGPM의 도입은 위치에 따른 정교화를 가능하게 하여, 최근 정보를 보존하는 동시에 이전의 문맥을 점진적으로 정교화합니다.
성능: 모델은 장기 및 단기 예측 벤치마크 모두에서 최고 수준 또는 경쟁력 있는 결과를 달고합니다.

실험 결과

저자들은 7개의 장기 예측 데이터셋(ETTm1, ETTm2, ETTh1, ETTh2, Electricity, Weather, Traffic)과 4개의 단기 교통 데이터셋(PEMS03, PEMS04, PEMS07, PEMS08)에 대해 CAMP를 평가했습니다.

장기 예측: CAMP는 7개 데이터셋 중 6개에서 최고의 평균 MSE를 기록했으며, 6개에서 최고 또는 공동 최고 수준의 MAE를 달성했습니다. 특히 ETTh2와 Weather에서 상당한 개선을 보였습니다.
단기 예측 (PEMS): CAMP는 PEMS 벤치마크의 16개 설정에서 가장 높은 승수(win count)를 얻었으며, 10개 설정에서 최고의 MSE를, 7개 설정에서 최고의 MAE를 달성했습니다. 특히 짧은 호라이즌( $H=12$ )에서 강점을 보였습니다.
절제 연구 (Ablation Studies): 핵심 구성 요소(ACL, Intra-patch Mixer, SWT, 또는 HGPM) 중 하나라도 제거하면 성능이 일관되게 저하되었습니다. ACL을 순환 주기 모듈(CycleNet의 모듈)로 대체했을 때도 정확도가 낮아졌으며, 이는 적응형 주파수 선택의 이점을 확인시켜 줍니다.
일반화 가능성: 기존 CycleNet 모델에 ACL 모듈을 통합했을 때 테스트된 모든 데이터셋에서 성능이 향려되었으며, 이는 적응형 주기 학습이 일반적인 주기 기반 예측 모델에 유익한 구성 요소임을 시사합니다.

의의 및 주장

본 논문은 CAMP가 시계열 예측에서 고정된 주기 가정과 균일한 패치 처리의 한계를 효과적으로 해결한다고 주장합니다. 주기적 역학과 잔차 역학을 분리하고, 호라이즌을 인식하는 정교화를 통해 다중 해상도로 잔차를 모델링함으로써, CAMP는 보완적인 시간적 구조를 포착합니다.

저자들은 CAMP가 강력한 성능을 달지만, 이에 따른 높은 계산 비용이 수반된다고 언급했습니다. 또한, FFT 기반의 주기 추정은 매우 짧거나 약한 주기성을 가진 입력에 대해서는 신뢰도가 낮을 수 있으며, 밀집된 채널 상호작용(dense channel interaction)은 선택적 채널 상호작용이 더 적합한 고차원 다변량 데이터셋에는 덜 적합할 수 있습니다. 향후 연구로는 더 효율적인 패치 믹싱, 견고한 주기 추정, 그리고 선택적인 채널 인식 모델링을 탐구하는 것이 제안되었습니다.