🤖 machine learning

Multi-Scale Convolution with Optimal Transport Attention Effect on Multivariate Time Series

본 논문은 다중 척도 컨볼루션과 Sinkhorn 최적 운송 정규화를 역전 임베딩 프레임워크 내에 통합하여 다중 입도 구조 패턴을 효과적으로 포착하고 노이즈를 억제함으로써 단기 및 장기 예측 작업 모두에서 우수한 성능을 달성하는 다변량 시계열 예측을 위한 새로운 아키텍처인 MSC-OT를 제안한다.

원저자: HaoChong Fu, Jian Xu

게시일 2026-07-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: HaoChong Fu, Jian Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 번화한 도시의 미래를 예측하려고 한다고 상상해 보세요. 당신은 교통 신호등, 기상 관측소, 전력망, 주식 시장 등 수백 개의 서로 다른 센서로부터 나오는 데이터를 가지고 있습니다. 이것이 과학자들이 말하는 **다변량 시계열(Multivariate Time Series)**입니다. 목표는 이 모든 움직이는 부품들을 살펴보고 다음에 어떤 일이 일어날지 추측하는 것입니다.

한동안 이를 수행하는 가장 똑똑한 방법은 "트랜스포머(Transformer)" 모델, 즉 초집중력을 가진 사서와 같은 유형의 AI를 사용하는 것이었습니다. 하지만 문제가 있었습니다. 전통적인 사서들은 특정 순간(예: "오전 9:00")을 포착하여 그 시점의 모든 센서를 한꺼번에 살펴보았습니다. 그들은 9:00에서 9:01 사이의 교통 신호가 어떻게 변했는지는 잘 파악했지만, 교통 신호의 전체 역사(지난 1시간)가 전력망에 어떻게 영향을 미쳤는지를 이해하는 데는 서툴렀습니다.

그 후, iTransformer라는 새로운 아이디어가 등장했습니다. 이 모델은 발상을 전환했습니다! 특정 순간의 모든 센서를 보는 대신, 하나의 센서가 가진 전체 역사를 하나의 "토큰"(하나의 정보 단위)으로 보았습니다. 이는 서로 다른 센서들이 어떻게 대화하는지 이해하는 데 큰 승리를 가져왔습니다. 하지만 이 논문의 저자인 푸하오충(HaoChong Fu)과 쉬지안(Jian Xu)은 문제가 있다는 점을 발견했습니다. 한 시간 분량의 데이터를 하나의 작은 토큰으로 압축함으로써, 모델이 미세하고 국소적인 세부 사항을 놓치게 된다는 것이었습니다. 이는 마치 소설의 요약본을 읽으면서 3장의 구체적이고 재미있는 대사들을 놓치는 것과 같습니다.

핵심 아이디어: MSC-OT
이를 해결하기 위해 저자들은 MSC-OT(Multi-Scale Convolution with Optimal Transport)라고 불리는 새로운 시스템을 구축했습니다. 이것은 사서에게 초강력 안경을 씌워주고 매우 엄격한 규칙 책을 주는 것과 같습니다.

1. 초강력 안경 (Multi-Scale Convolution)
"다중 스케일 컨볼루션(Multi-Scale Convolution)" 부분은 모델에게 데이터를 바라보는 다양한 렌즈를 제공하는 것과 같습니다.

여러분이 군중을 보고 있다고 상상해 보세요. 한 렌즈는 세 사람이 대화하는 작은 그룹을 확대해서 봅니다(작은 패턴). 다른 렌즈는 줌 아웃하여 줄지어 선 사람 전체를 봅니다(더 큰 패턴).
이 논문은 두 가지 특정 렌즈를 사용합니다. 하나는 3x3 블록의 데이터를 보고, 다른 하나는 5x5 블록의 데이터를 봅니다.
이를 통해 모델은 "국소적 구조 패턴(local structural patterns)"—즉, 이전의 "압축된" 토큰 방식이 놓쳤던 작은 물결과 단기적인 변동을 포착할 수 있습니다. 이는 도시 전체가 바쁘더라도 특정 길모퉁이가 예측에 중요한 독특한 리듬을 가지고 있다는 것을 깨닫는 것과 같습니다.

2. 엄격한 규칙 책 (Sinkhorn Optimal Transport)
두 번째 부분인 Sinkhorn Optimal Transport는 모델이 상황이 혼란스러워질 때 평정심을 유지하는 방법입니다.

현실 세계의 데이터는 지저리합니다. 때때로 센서가 오작동하여 엄청나게 큰 가짜 수치(이상치)를 보낼 수 있습니다. 일반적인 AI는 "오 이런, 이 거대한 스파이크가 가장 중요한 것이 분명해!"라며 당황하여 다른 모든 것을 무시할 수도 있습니다.
저자들은 Optimal Transport(Sinkhorn 알고리즘으로 해결됨)라는 수학적 방법을 사용하여 "균형 잡힌 외줄 타기" 역할을 하도록 했습니다.
이것은 마치 학생의 성적을 공정하게 매기는 선생님과 같습니다. 만약 한 학생이 가장 크게 소리를 지르며 답을 한다면(이상치), 선생님은 그 학생에게만 모든 점수를 주지 않습니다. 대신, 선생님은 점수가 전체 학급에 공정하게 배분되도록 합니다.
이 논문은 이 균형을 맞추기 위한 "조절 노브(balance knob)"인 $\lambda$ 를 5.0으로 설정했습니다. 이 숫자는 실제 신호를 잃지 않으면서도 노이즈를 걸러낼 수 있도록 미세하게 조정되었습니다. 이는 모델이 하나의 이상한 데이터 포인트에 정신이 팔리지 않고 전체적인 그림을 보도록 강제합니다.

마법의 믹서 (Adaptive Fusion)
이 세 가지 요소는 어떻게 함께 작동할까요? 기본 어텐션(원래의 사서), 컨볼루션(초강력 안경), 그리고 옵티멀 트랜스포트(규칙 책) 말입니다.

모델은 단순히 하나를 선택하는 것이 아니라, 이 모든 것을 섞습니다.
모델은 "학습 가능한" 믹서를 사용합니다. 세 개의 페이더(fader)를 가진 DJ를 상상해 보세요. 시작할 때 DJ는 기본 어텐션을 0.7(70%), 컨볼루션을 0.2(20%), 규칙 책을 0.1(10%)로 설정합니다.
학습이 진행됨에 따라 모델은 이 페이더들을 조정하는 법을 배웁니다. 예를 들어, ECL(전력) 데이터셋의 경우, 모델은 더 많은 국소적 세부 사항이 필요했기 때문에 "초강력 안경"(컨볼루션)에 더 의존하도록 학습하여 그 가중치를 40% 이상으로 높였습니다. Traffic(교통) 데이터셋의 경우, 기본 어텐션을 약 **63%**로 높게 유지했습니다.
이는 최적의 조합이 모든 도시에 동일하지 않다는 것을 증명합니다. 모델은 각 특정 작업에 맞는 올바른 레시피를 스스로 학습합니다.

효과가 있었을까요?
저자들은 다섯 가지 실제 데이터셋인 ECL(전력), ETT(에너지), Exchange(통화), Traffic(교통), Weather(날씨)를 통해 테스트를 진행했습니다. 그들은 이 모델을 iTransformer, PatchTST, TimesNet과 같은 지난 몇 년간의 최고 모델들과 비교했습니다.

결과는 유망했습니다. 논문에 따르면 MSC-OT는 다섯 개 데이터셋 중 세 개(ECL, Traffic, Weather)에서 최고의 정확도(가장 낮은 오차)를 달야냈으며, Exchange 데이터셋에서는 2위를 차지했습니다.

Crossformer와 비교했을 때 성능이 27% 향상되었습니다.
TimesNet과 비교했을 때 35% 향상되었습니다.
Fedformer와 비교했을 때 19% 향상되었습니다.

저자들은 또한 "절제 실험(ablation experiments)"을 수행했는데, 이는 "무엇이 일어나는지 보기 위해 부품을 하나씩 제거해 보는" 방식입니다. 그들이 "초강력 안경"이나 "규칙 책"을 제거했을 때 모델의 성능은 떨어졌습니다. 이는 두 부분이 모두 필요하며, 단독으로 있을 때보다 함께 있을 때 더 잘 작동한다는 것을 확인시켜 줍니다.

이 논문이 주장하지 않는 것
이 논문이 주장하지 않는 점을 명시하는 것도 중요합니다. 저자들은 데이터를 임베딩하는 기존 방식(한 시점에서 모든 센서를 보는 방식)이 최선이라는 생각에 명시적으로 반대합니다. 또한, 만약 역방향 임베딩(inverted embedding) 방식을 사용하지 않는다면, 단순히 선형 레이어(매우 단순한 수학)를 사용하는 것이 복잡한 트랜스포머보다 나을 수도 있다고 제안하지만, 적절한 강화 요소(그들의 방식과 같은)를 갖춘다면 트랜스포머 방식이 여전히 우월하다고 주장합니다.

결론
이 논문은 미세한 세부 사항을 보는 방법(다중 스케일 컨볼루션)과 노이즈를 무시하고 균형을 유지하는 방법(옵티멀 트랜스포트)을 결합함으로써, 복잡한 시스템의 미래를 예측하는 훨씬 더 나은 수정구슬을 만들 수 있다고 제-언합니다. 저자들은 다양한 예측 길이(96 단계부터 720 단계까지)에 걸쳐 일관된 개선을 보여줌으로써 자신들의 결과에 확신을 갖고 있으며, 이를 모든 문제를 해결하는 마법의 탄환이라기보다는 실질적이고 효과적인 솔루션으로 제시합니다. 그들은 다른 사람들도 시도해 볼 수 있도록 GitHub에 코드도 공유했습니다!

기술 요약: 다변량 시계열에 대한 최적 운송 어텐션을 적용한 다중 스케일 컨볼루션

문제 정의
다변량 시계열(Multivariate Time Series, MTS) 예측은 다중 입도(multi-granularity)의 구조적 패턴을 포착하는 동시에 노이즈를 효과적으로 억제해야 하는 중대한 과제에 직면해 있습니다. 트랜스포머 기반 모델들이 시퀀스 모델링에서 지배적인 위치를 차지하게 되었지만, 이들의 시계열 적용 방식은 주로 여러 변수를 동일한 타임스탬프에서 채널로 임베딩하는 것에 집중하여 주로 시간적 의존성(temporal dependencies)에 초점을 맞춥니다. 최근의 발전 사례인 iTransformer는 각 변수의 전체 시계열을 하나의 토큰으로 취급하여 교차 변수 간 의존성을 더 잘 포착하는 "역방향 임베딩(inverted embedding)" 패러다임을 도입했습니다. 그러나 저자들은 이 접근 방식의 결정적인 한계를 지적합니다. 즉, 변수의 시간 정보를 고정된 차원의 토큰으로 압축함으로써 미세한 국소적 시간 패턴(예: 단기 변동, 주기성)이 손실된다는 점입니다. 또한, 표준 어텐션 메커니즘은 이상치(outliers)와 노이즈에 취약하여, 어텐션 분포를 왜곡하고 최적하지 못한 예측을 초래할 수 있습니다.

방법론: MSC-OT
이러한 한계를 해결하기 위해, 본 논문은 역방향 임베딩 프레임워크를 강화하도록 설계된 새로운 아키텍처인 **MSC-OT (Multi-Scale Convolution with Optimal Transport Attention)**를 제안합니다. 이 방법은 세 가지 핵심 구성 요소로 이루어집니다:

다중 스케일 컨볼루션 강화 (Multi-Scale Convolution Enhancement):
- 목표: 역방향 임베딩 과정에서 손실된 어텐션 스코어 행렬 내의 국소적 구조 패턴을 복구하고 모델링합니다.
- 메커니즘: 모델은 어텐션 스코어 행렬( $S \in \mathbb{R}^{B \times H \times N \times N}$ )에 직접 $3 \times 3$ 및 $5 \times 5$ 커널 크기를 가진 병렬 2D 컨볼루션을 적용합니다.
- 기능: 이 컨볼루션들은 변수 간 상호작용 공간 내에서 서로 다른 입도의 국소적 구조 패턴을 포착합니다. 생성된 다중 스케일 특징들은 수치적 안정성을 보장하고 상보적인 정보를 보존하기 위해 단순 평균을 통해 집계됩니다.
싱크혼 최적 운송 (Sinkhorn Optimal Transport, OT) 정규화:
- 목표: 균형 잡힌 정보 흐름을 보장하고 노이즈에 대한 강건성을 확보하기 위해 어텐션 계산을 최적 운송 문제로 정식화합니다.
- 메커니즘: 어텐션 스코어 행렬을 엔트로피 정규화된 최적 운송 문제의 비용 행렬로 취급합니다. 싱크혼(Sinkhorn) 알고리즘을 사용하여 행과 열을 반복적으로 정규화함으로써 이중 확률(doubly-stochastic) 어텐션 분포를 생성합니다.
- 기능: 엔트로피 정규화 항( $\lambda H(P)$ )은 어텐션 가중치를 자연스럽게 평활화(smoothing)하여, 특정 변수(심지어 비정상적으로 높은 점수를 가진 변수라도)가 어텐션 분포를 독점하는 것을 방지합니다. 이는 실제 MTS 데이터에서 흔히 발생하는 이상치와 측정 노이즈의 영향을 효과적으로 억제합니다.
적응형 융합 전략 (Adaptive Fusion Strategy):
- 목표: 기본 어텐션 스코어, 컨볼루션 강화 스코어, 그리고 OT 정규화된 스코어를 동적으로 결합합니다.
- 메커니즘: 최종 어텐션 스코어는 가중 합산으로 계산됩니다: $S_{final} = \alpha \cdot S + \beta \cdot S_{conv} + \gamma \cdot P$ .
- 기능: 가중치( $\alpha, \beta, \gamma$ )는 각각 0.7, 0.2, 0.1로 초기화된 학습 가능한 파라미터입니다. 이들은 안정적인 학습을 위해 소프트맥스(softmax)를 통해 정규화됩니다. 이를 통해 모델은 데이터셋의 특정 특성에 따라 각 구성 요소의 최적 기여도를 적응적으로 결정할 수 있습니다.

주요 기여

강화된 역방향 임베딩: 본 논문은 iTransformer의 교차 변수 모델링 이점을 유지하면서, 어텐션 스코어에 대한 다중 스케일 컨볼루션을 통해 미세한 시간적 의존성 손실을 보완하는 방법을 제안합니다.
노이즈에 강건한 어텐션: 싱크혼 최적 운송을 통합함으로써, 모델은 노이즈를 본질적으로 억제하고 이상치의 지배를 방지하는 메커니즘을 도입하며, 이는 MTS를 위한 표준 소프트맥스 기반 어텐션의 주요 약점을 해결합니다.
시너지 아키텍처: 본 연구는 다중 스케일 컨볼루션(국소 패턴 포착)과 OT 정규화(전역적 균형 및 노이즈 억제)가 상보적임을 입증합니다. 적응형 융합 전략은 이러한 구성 요소들이 독립적이 아니라 시너지를 내며 작동할 수 있게 합니다.
최첨단 성능 (State-of-the-Art Performance): 저자들은 MSC-OT가 여러 벤치마크 데이터셋에서 최신 모델들(iTransformer, PatchTST, Crossformer, TimesNet 포함)보다 우수한 성능을 보임을 광범위한 실증적 검증을 통해 보여줍니다.

실험 결과
저자들은 다섯 가지 널리 사용되는 벤치마크 데이터셋인 ECL (Electricity), ETT (Electricity Transformer Temperature), Exchange-Rate, Traffic, Weather에서 MSC-OT를 평가했습니다.

성능: MSC-OT는 ECL, Traffic, Weather에서 최고의 MSE 결과를 달성했으며, 5개 데이터셋 중 4개에서 최고의 MAE를 기록했습니다.
비교 우위: 본 논문은 특정 맥락에서 Crossformer 대비 27%, TimesNet 대비 35%, Fedformer 대비 19%의 개선을 인용하며 구체적인 성능 향상을 주장합니다.
절제 연구 (Ablation Studies): 실험을 통해 다중 스케일 컨볼션이나 OT 정규화 중 하나라도 제거하면 성능 저하가 발생함을 확인했습니다. 또한, 적응형 융합 가중치가 구성 요소 간의 균형을 효과적으로 학습함을 보여주었습니다 (예: ECL의 경우, 컨볼루션과 OT 구성 요소가 결합하여 거의 60%의 가중치를 차지했으며, 이는 이들의 결정적인 역할을 나타냄).
하이퍼파라미터: 최적의 엔트로피 정규화 계수는 $\lambda=5.0$ 으로 밝혀졌으며, 두 번의 싱크혼 반복만으로도 과도한 계산 비용 없이 수렴하기에 충분한 것으로 판단되었습니다.

의의 및 주장
본 논문은 MSC-OT를 실제 세계의 다변량 시계열 예측을 위한 실용적이고 효과적인 솔루션으로 포지셔닝합니다. 저자들은 이 방법이 국소적 시간 구조를 포착하는 것과 노이즈 존재 하에서 강건한 교차 변수 모델링을 유지하는 것 사이의 특정 트레이드오프를 해결함으로써 어텐션 메커니즘을 성공적으로 최적화했다고 주장합니다. 최적 운송을 활용함으로써, 이 접근 방식은 이상치에 덜 민감하고 실제 시계열 데이터의 복잡한 다중 스케일 특성에 더 적합한 어텐션 최적화의 새로운 방법론적 경로를 제시합니다. 추가적인 연구와 응용을 촉진하기 위해 코드는 공개되어 있습니다.

기술 요약: 다변량 시계열에 대한 최적 운송 어텐션을 적용한 다중 스케일 컨볼루션

유사한 논문