🤖 machine learning

Local Attention Mechanism: Boosting the Transformer Architecture for Long-Sequence Time Series Forecasting

이 논문은 시계열 연속성에 최적화된 효율적인 $O(n \log n)$ 어텐션 알고리즘인 Local Attention Mechanism(LAM)을 소개하며, 이를 트랜스포머에 통합했을 때 장기 예측에서 최신 모델들을 능가할 뿐만 아니라 평가의 공백을 해결하기 위한 새로운 데이터셋 제품군을 제안한다.

원저자: Ignacio Aguilera-Martos, Andrés Herrera-Poyatos, Julián Luengo, Francisco Herrera

게시일 2026-07-29

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ignacio Aguilera-Martos, Andrés Herrera-Poyatos, Julián Luengo, Francisco Herrera

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 긴 구불구불한 길을 바라보며 미래를 예측하려고 한다고 상상해 보십시오. 그것은 주식 시장의 흐름일 수도 있고, 도시의 전력 흐름일 수도 있으며, 교통 체증 속을 움직이는 택시의 움직임일 수도 있습니다. 이것이 바로 **시계열 예측(time series forecasting)**의 세계입니다. 즉, 과거의 데이터 지점들을 사용하여 다음에 무슨 일이 일어날지 추측하는 것입니다. 오랫동안 컴퓨터는 길이 너무 길어지면 "전체적인 그림"을 보는 데 어려움을 겪었습니다. 컴퓨터는 지난 몇 단계는 잘 기억했지만, 몇 주 또는 몇 달 앞을 내다보라는 요청을 받으면 혼란에 빠지거나 메모리가 부족해졌습니다.

여기서 **트랜스포머(Transformer)**가 등장합니다. 트랜스포머는 인간의 언어를 읽고 쓰는 데서 유명해진 인공지능의 한 종류입니다. 트랜스포머를 단어 하나하나를 읽는 대신 모든 단서를 동시에 볼 수 있는 매우 똑똑한 탐정이라고 생각해 보십시오. 이 "한꺼번에 처리하는" 초능력인 **어텐션(attention)**은 멀리 떨어진 점들을 연결할 수 있게 해줍니다. 하지만 이를 긴 시계열 데이터에 적용할 때, 이 탐정에게는 문제가 생깁니다. 모든 단서를 다른 모든 단서와 연결하려면 엄청난 양의 수학적 계산을 해야 하기 때문입니다. 이는 마치 파티에 있는 모든 사람을 서로에게 소개하려는 것과 같습니다. 악수하는 횟수가 너무 빠르게 늘어나 결국 파티가 중단될 정도입니다. 이 논문은 바로 이 교통 체증 문제를 다룹니다. *어떻게 하면 탐정의 초능력을 유지하면서도, 불가능한 양의 작업을 수행하지 않게 할 것인가?*라는 질문을 던집니다.

저자들은 **국소 어텐션 메커니즘(Local Attention Mechanism, LAM)**이라는 영리한 새로운 도구를 소개합니다. 그들의 주요 발견은 시계열 데이터의 경우, 미래를 예측하기 위해 실제로 과거의 모든 순간을 볼 필요는 없으며, 주로 현재를 둘러싼 "주변"의 순간들을 볼 필요가 있다는 것입니다. 이러한 "국소적" 이웃에 집중함으로써, 그들은 수학적으로 기존 방식보다 훨씬 빠르고 메모리 효율적인 방법을 만들어냈습니다. 테스트 결과, 이 새로운 방법은 단순히 시간만 절약한 것이 아니라, 훨씬 더 먼 미래를 내다볼 때도 현재의 최고 모델들보다 더 정확하게 미래를 예측했습니다.

문제점: 탐정의 과부하

이 새로운 도구가 왜 필요한지 이해하기 위해, 표준 트랜스포머가 어떻게 작동하는지 살펴보겠습니다. 탐정이 일기를 바탕으로 미스터리를 풀려고 한다고 가정해 봅시다. **풀 어텐션(Full Attention)**이라 불리는 표준 방식은 탐정이 일기의 모든 페이지를 읽고, 연결 고리를 찾기 위해 각 페이지를 다른 모든 페이지와 비교하도록 요구합니다. 만약 일기가 1,0al0 페이지라면, 탐정은 약 1,000,000번의 비교를 해야 합니다. 만약 일기가 10,000 페이지라면, 그 숫자는 100,000,000번으로 급증합니다. 이것이 과학자들이 말하는 **이차 복잡도( $\Theta(n^2)$ )**입니다. 일기가 길어질수록 작업량은 폭발적으로 늘어나며, 컴퓨터는 메모리가 부족해지거나 작업을 끝내는 데 영원히 걸리게 됩니다.

나아가 저자들은 이러한 "모든 것을 보는" 접근 방식이 언어(문장의 시작 부분에 있는 단어가 문장 끝의 단어와 관련될 수 있는 경우)에는 효과적일 수 있지만, 시계열 데이터에는 종종 과잉 대응이 될 수 있다고 지적합니다. 온도나 전력 사용량 같은 시계열 데이터에서는, 지금 당장 일어나는 일이 보통 방금 전에 일어난 일에 의해 가장 큰 영향을 받습니다. 3일 전에 일어난 일과의 연결 고리는 대개 훨씬 약합니다. 그럼에도 불구하고 표준 트랜스포머는 그 약한 연결들을 마치 강한 연결인 것처럼 계산하는 데 에너지를 낭비합니다.

해결책: 이웃 감시 체계

저자들은 **국소 어텐션 메커니즘(LAM)**을 제안합니다. 탐정에게 전체 일기를 읽으라고 하는 대신, LAM은 이렇게 말합니다. "마지막 몇 페이지와 특정 패턴에서 나타나는 몇 페이지만 보고, 나머지는 무시하세요."

그들은 이 메커니즘이 시간의 "연속성"을 활용하도록 설계했습니다. 현실 세계에서 사물은 즉각적으로 변하지 않고 흐릅니다. 오후 2시의 온도를 예측한다면, 오후 1시 59분의 온도는 매우 중요한 단서가 되지만, 지난 화요일의 온도는 덜 중요합니다. LAM은 수학적 "마스크(mask)"(필터)를 사용하여 무관하고 먼 과거를 차단합니다.

LAM의 마법은 단순히 무시하는 것에 있는 것이 아니라, 어떻게 무시하느냐에 있습니다. 저자들은 데이터를 블록 단위로 조직하는 방식인 **텐서 대수(tensor algebra)**를 사용하는 특정 알고리즘을 개발하여 컴퓨터가 쓸모없는 계산을 완전히 건너뛸 수 있도록 했습니다. $n^2$ 만큼의 작업을 하는 대신, LAM은 $n \log n$ 에 비례하는 작업량만을 수행합니다. 이를 체감해 보자면, 표준 방식이 긴 데이터셋을 처리하는 데 100시간이 걸린다면, LAM은 단 몇 시간밖에 걸리지 않을 수도 있습니다. 이는 도시의 모든 집을 일일이 확인하는 것에서, 자신의 집과 바로 옆 몇 개의 거리만 확인하는 것으로 전환하는 것과 같습니다.

결과: 더 빠르고 더 똑똑하게

연구팀은 단순히 도구를 만든 것에 그치지 않고, 이를 테스트했습니다. 그들은 LAM이 강화된 트랜스포머를 Informer라 불리는 인기 있는 모델과 여러 오래된 통계적 방법들을 포함한 현재의 최첨단 모델들과 비교했습니다.

더 나은 예측: 전력 사용량, 날씨 패턴, 택시 이동과 같은 실제 데이터를 사용한 실험에서, LAM 모델은 경쟁 모델들보다 일관되게 오류가 적었습니다. 특히 다른 모델들이 혼란을 겪기 쉬운 먼 미래(long horizons)를 예측할 때 뛰어난 성능을 보였습니다.
효율성: LAM 모델은 현저히 작고 가벼웠습니다. Informer 모델이 1,200만 개 이상의 파라미터(AI의 "뇌세포")를 가진 반면, LAM 모델은 약 600만 개만으로도 더 나은 결과를 달고서야 했습니다.
"공정한" 테스트: 저자들은 비교가 공정하도록 주의를 기울였습니다. 그들은 Informer의 특수한 어텐션 방식(ProbAttention)을 대상으로 LAM을 테스트하되, 나머지 컴퓨터 구조는 동일하게 유지했습니다. 이 직접적인 대결에서도 LAM이 승리했으며, 이는 개선 사항이 단순히 더 화려한 컴퓨터 설계 때문이 아니라 새로운 어텐션 메커니즘 자체에서 왔음을 입증했습니다.

더 나은 데이터에 대한 촉구

이 논문은 또한 이러한 모델들을 테스트하는 데 사용되는 도구들에 대해 중요한 관찰을 제시합니다. 저자들은 이 분야에서 사용되는 표준 데이터셋들이 너무 작고 단순하다고 주장합니다. 이는 마치 학생에게 빈 주차장에서만 운전을 배우게 하는 것과 같습니다. 도시 전체의 교통량이나 거대한 그리드의 전력을 예측하는 것과 같은 실제 문제는 수백만 개의 데이터 포인트와 복잡한 패턴을 포함합니다.

이를 해결하기 위해 저자들은 새로운 테스트용 데이터셋 세트를 도입했습니다. 여기에는 다음이 포함됩니다:

IHEP: 200만 개 이상의 가구 전력 사용 기록.
NYTaxi: 뉴욕시의 200만 개 이상의 택시 이동 기록.
RPB: 배터리 및 태양광 에너지 사용 데이터.
TiNA: 산업용 채굴 기계로부터 얻은 3,800만 개 이상의 기록이 담긴 방대한 데이터셋.

이러한 거대한 실제 데이터셋에서 모델을 테스트했을 때, LAM의 장점은 더욱 명확해졌습니다. 오래된 모델들은 데이터가 너무 커서 자주 충돌하거나 메모리가 부족해졌지만, LAM은 매끄럽고 정확하게 계속 작동했습니다.

이것이 의미하는 바

이 논문은 긴 시퀀스의 시계열 예측에 있어 "모든 것을 보는" 접근 방식이 느릴 뿐만 아니라, 종종 불필요하다는 결론을 내립니다. 시간의 국소적 이웃에 집중함으로써, 우리는 더 빠르고, 실행 비용이 저렴하며, 놀라울 정도로 정확한 AI를 구축할 수 있습니다.

저자들은 자신들의 방법이 강력한 진전이지만, 이 분야에는 여전히 더 나은 벤치마크와 더 엄격한 테스트가 필요하다고 제언합니다. 그들은 모든 예측 문제를 해결했다고 주장하는 것이 아니라, 미래를 바라보는 강력하고 새로운 렌즈를 제공한 것입니다. 그 렌즈는 날카롭고, 효율적이며, 정말 중요한 것에 집중하고 있습니다.

기술 요약: 장기 시계열 예측을 위한 로컬 어텐션 메커니즘 (Local Attention Mechanism)

문제 정의

장기 시계열 예측(Long-Sequence Time Series Forecasting, LSTF)은 방대한 과거 기록을 바탕으로 미래의 시간 인스턴스를 예측하는 복잡한 과제입니다. 트랜스포머(Transformer)는 자연어 처리(NLP) 분야에서 선도적인 아키텍처가 되었으며 시계열 분야에도 적응되었으나, 이 영역에서 두 가지 결정적인 한계에 직면해 있습니다:

계산 복잡도: 표준 어텐션 메커니즘은 시퀀스 길이 $n$ 에 대해 $\Theta(n^2)$ 의 이차 시간 및 메모리 복잡도를 나타냅니다. 이는 긴 시퀀스를 학습할 때 병목 현상을 일으켜, 많은 실무자들이 대규모 데이터셋에 완전한 어텐션 메커니즘을 활용하는 것을 방해합니다.
위치 정보의 손실: 표준 어텐션 메커니즘은 시퀀스 요소를 순서가 있는 시퀀스가 아닌 집합(set)으로 취급하여, 시간적 국소성(temporal locality)의 손실을 초래합니다. 위치 인코딩(positional encodings)이 이를 완화하려고 시도하지만, 경험적 증거에 따르면 바닐라 트랜스포머는 종종 원래의 시계열과 치환된 시계열 입력을 구분하지 못하며, 이는 시간적 순서가 매우 중요한 예측 작업에서 치명적인 실패입니다.

Informer 모델에서 사용되는 확률적 어텐션(Probabilistic Attention, ProbAttn)과 같은 기존의 효율적인 대안들은 어텐션 행렬을 희소화(sparsifying)함으로써 복잡도를 $\Theta(n \log n)$ 으로 줄입니다. 그러나 이러한 방법들은 선택되지 않은 쿼리를 0으로 설정함으로써 정보 손실을 유발하며, 결과적으로 값을 평균화하고 국소적 의존성을 버리는 효과를 낳습니다. 또한, 현재의 LSTF 벤치마크는 인스턴스 수와 특징(feature)이 제한된 데이터셋에 의존하는 경우가 많으며, 이는 복잡한 딥러닝 모델을 효과적으로 훈련시키기에 불충분할 수 있습니다.

방법론: 로컬 어텐션 메커니즘 (Local Attention Mechanism, LAM)

본 논문은 시계열 데이터에 내재된 연속성(continuity)과 국소성(locality) 특성을 활용하도록 특별히 설계된 **로컬 어텐션 메커니즘(LAM)**을 소개합니다.

이론적 기초

LAM의 핵심 가설은 연속적인 시계열 데이터의 경우, 특정 시점 $t$ 에 대한 어텐션 점수가 NLP에서 흔히 보이는 것처럼 전역적으로 분포하기보다는 인접한 시점들에 집중되어 있다(국소성)는 것입니다. 이를 바탕으로 LAM은 어텐션 점수 계산을 크기 $L$ 인 로컬 이웃 윈도우로 제한합니다.

수학적으로 LAM은 다음과 같이 정의됩니다:
$LAM(Q, K, V) = \text{softmax}\left(\frac{QK^T + M}{\sqrt{d_q}}\right)V$
여기서 $M$ 은 가산 마스크 행렬(additive mask matrix)입니다. $M_{i,j} = 0$ 은 키 $j$ 가 쿼리 $i$ 의 로컬 이웃 범위(구체적으로 $i - L + 1 \leq j \leq i$ ) 내에 있는 경우이며, 그 외의 경우 $M_{i,j} = -\infty$ 입니다. 이는 소프트맥스가 비국소적 상호작용에 0의 확률을 할당하도록 강제합니다.

효율적인 텐서 대수 구현

이러한 마스킹을 나이브하게 구현하면 여전히 전체 $QK^T$ 행렬을 계산해야 하므로 $\Theta(n^2)$ 의 복잡도를 유지하게 됩니다. 저자들은 LAM을 텐서 대수를 사용하여 재구성함으로써 (단, $L = \Theta(\log n)$ 이라고 가정할 때) $\Theta(n \log n)$ 의 시간 및 메모리 복잡도를 달성하는 새로운 알고리즘을 제안합니다.

알고리즘은 다음과 같이 진행됩니다:

분할(Splitting): 입력 행렬 $Q, K, V$ 를 크기 $L$ 의 블록으로 분할합니다.
텐서 구축(Tensor Construction): 이 블록들을 나타내는 새로운 텐서( $T_Q, T_K, T_V$ )를 구축합니다. 결정적으로, $T_K$ 는 경계 문제를 방지하고 필요한 모든 로컬 윈도우의 도트 곱(dot product)을 캡처하기 위해 $2L-1$ 개의 요소가 중첩되도록 구축됩니다.
로컬 계산(Local Computation): 전역 행렬 곱 대신, 알고리즘은 블록 단위 곱셈( $T_Q \cdot T_K^T$ )을 수행한 후 로컬 마스크( $T_M$ )와 소프트맥스를 적용합니다.
집계(Aggregation): 결과물을 연결(concatenate)하여 최종 출력을 형성합니다.

이 접근 방식은 커스텀 CUDA 코드 없이도 표준 딥러닝 프레임워크(PyTorch/TensorFlow)를 사용하여 메커니즘을 구현할 수 있게 하며, 기존의 희소 어텐션 방법들과 비교하여 메모리 오버헤드를 크게 줄여줍니다.

주요 기여

로컬 어텐션 메커리즘 (LAM): 시계열의 국소성을 활용하여 계산 및 메모리 복잡도를 $\Theta(n \log n)$ 으로 줄이면서도 국소적 시간 의존성을 보존하는 새로운 어텐션 메커니즘을 제안합니다.
텐서 대수 정식화: 이전의 희소 어텐션 방법들이 사용하는 희소 행렬 구현의 메모리 병목 현상을 피하고, 표준 텐서 연산을 통해 효율적인 구현을 가능하게 하는 LAM의 유도 과정을 제시합니다.
새로운 벤치마크 데이터셋: 저자들은 기존 LSTF 벤치마크(예: ETT, ECL)가 인스턴스 수와 특징이 제한적임을 지적합니다. 이들은 훨씬 더 많은 인스턴스(최대 3,800만 개)와 특징을 가진 네 가지의 대규모 학제간 데이터셋(IHEP, NYTaxi, RPB, TiNA)을 제안하여 장기 예측 모델을 더 잘 평가할 수 있도록 합니다.
포괄적인 평가: 표준 데이터셋과 제안된 데이터셋 모두를 활용하여 LAM을 최신 모델들(Informer, LogTrans, Reformer, Autoformer) 및 바닐라 트랜스포머와 엄격하게 비교합니다.

실험 결과

저자들은 세 가지 시나리오에 걸쳐 실험을 수행했습니다:

최신 기술(SOTA)과의 비교: 표준 데이터셋(ETT, Weather, ECL)을 사용하여, LAM이 강화된 바닐라 트랜스로머는 Informer, LogTrans, Autoformer를 포함한 모든 모델보다 우수한 성능을 보였습니다. LAM은 50개의 지표 조합 중 43개에서 최고의 결과를 달est했습니다. 베이지안 테스트를 통해 이러한 개선의 통계적 유의성을 확인했습니다.
아키텍처 격리 (LAM vs. ProbAttn): 어텐션 메커니즘의 효과를 격리하기 위해, 저자들은 Informer의 복잡한 아키텍처 추가 사항을 제거한 동일한 바닐라 트랜스포머 구조 내에서 LAM과 Informer의 ProbAttn을 비교했습니다. LAM은 일관되게 ProbAttn보다 우수한 성능을 보였으며, 더 긴 예측 구간(horizon)에서 누적 오차를 약 25% 감소시켰습니다. 이는 성능 향상이 아키텍처의 복잡성이 아닌 어텐션 메커니즘 자체 덕분임을 시사합니다.
새로운 대규모 데이터셋에 대한 평가: 제안된 대규모 데이터셋(IHEP, NYTaxi, RPB, TiNA)에서 LAM은 탁월한 확장성을 보여주었습니다. FullAttention을 사용하는 바닐라 트랜스포머와 Informer는 긴 시퀀스에서 메모리 부족(OOM) 오류로 인해 실행에 자주 실패한 반면, LAM은 모든 시나리오를 성공적으로 처리했습니다. 정확도 측면에서 LAM은 이 까다로운 데이터셋들의 40개 지표 인스턴스 중 32개에서 가장 낮은 오차를 기록했습니다.

의의 및 주장

본 논문은 LAM이 계산 효율성과 시계열 예측의 시간적 국소성 보존 사이의 근본적인 트레이드오프를 해결한다고 주장합니다. 확률적 샘플링과 관련된 정보 손실 없이 복잡도를 $\Theta(n \log n)$ 으로 줄임으로써, LAM은 이전에는 불가능했던 훨씬 더 긴 시퀀스와 더 큰 데이터셋에 대해 트랜스포머 모델을 훈련할 수 있게 합니다.

저자들은 다음과 같은 필요성을 강조합니다:

국소성(Locality): 시계열 데이터의 연속적인 특성을 활용하는 것이 NLP에서 영감을 받은 희소성(sparsity) 가정보다 더 효과적입니다.
더 나은 벤치마크: 현재의 데이터셋은 복잡한 모델을 훈련시키기에 불충분하며, 제안된 새로운 데이터셋은 LSTF를 위한 더 엄격한 테스트베드를 제공합니다.
단순함(Simplicity): LAM으로 강화된 단순한 바닐라 아키텍처가 Informer와 같은 복잡하고 정교하게 설계된 모델보다 뛰어난 성능을 보인다는 점은, 어텐션 메커니즘이 성능의 주요 동력이지 아키텍처의 깊이나 컨볼루션이 아님을 시사합니다.

본 연구는 LAM이 트랜스포머를 장기 시계열 예측을 위한 실질적인 최첨단 솔루션으로 만드는 데 있어 중요한 진전임을 결론짓는 동시에, 전용 아키텍처 개발과 엄격한 절제 연구(ablation studies)에 대한 향후 과제를 제언합니다.