🤖 machine learning

Causal Semantic Alignment for LLM-based Time Series Forecasting

이 논문은 인과적 개입 및 비인과적 어텐션 메커니즘을 통해 가짜 상관관계를 완화하기 위해 불변 성분과 동적 성분을 명시적으로 분리함으로써 LLM 기반 시계열 예측을 개선하는 새로운 프레임워크인 CVAformer를 제안한다.

원저자: Kexuan Zhang, Xiaobei Zou, Cesare Alippi, Gary G. Yen, Yang Tang

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kexuan Zhang, Xiaobei Zou, Cesare Alippi, Gary G. Yen, Yang Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: 언어 전문가에게 숫자를 읽는 법 가르치기

상상해 보세요. 세상의 모든 책을 다 읽은 아주 똑똑한 사서(거대 언어 모델, LLM)가 있습니다. 이 사서는 이야기, 은유, 그리고 단어의 깊은 의미를 이해하는 데 천재적입니다. 그런데 이제 당신은 이 사서에게 스프레드시트에 적힌 숫자들을 보고 날씨나 주가를 예측하는 일을 맡기려고 합니다.

문제는 무엇일까요? 사서는 "영어"를 말하지만, 데이터는 "수학"을 말한다는 것입니다. 이 둘을 함께 일하게 하려면, 숫자를 단어로 번역해야 합니다.

기존 방식 (문제점):
이전 방법들은 숫자를 마치 책을 한 글자씩 읽듯이, 1초 단위로 쪼개서 번역하려고 했습니다. 즉, 오전 9시의 기온 수치를 하나의 "단어"로 보고, 9시 1분의 수치를 그다음 "단어"로 취급하도록 강요했습니다.

이 논문은 두 가지 이유로 이것이 실수라고 주장합니다:

"노이즈(소음)" 문제: 기온 수치는 단순히 '진짜' 기온(의미)만을 나타내는 것이 아니라, '진짜 기온'에 '갑작스러운 돌풍'이나 '센서 오류'(노이즈)가 더해진 값입니다. 만약 전체를 통째로 번역하면, 사서는 갑작스러운 돌풍을 이야기 속의 새로운 "단어"로 착각하여 혼란에 빠지게 됩니다.
"순서" 문제: 이야기 속에서는 단어 #1이 단어 #2보다 먼저 옵니다. 하지만 날씨 데이터의 스프레드시트에서는 기온, 습도, 풍속이 모두 동시에 발생합니다. 사서에게 (기온 $\rightarrow$ 습도 $\rightarrow$ 풍속 순으로) 엄격한 줄 세우기를 강요하는 것은, 마치 친구들이 동시에 떠들고 있는데 한 명씩 돌아가며 말하라고 강요하는 것과 같습니다. 이는 현실에는 존재하지 않는 인위적인 규칙을 만들어냅니다.

해결책: CVAformer (스마트한 번역기)

저자들은 CVAformer라는 새로운 시스템을 제안합니다. 이것은 사서가 혼란을 느끼지 않고 데이터를 이해할 수 있도록 돕는 스마트한 번역기라고 생각하면 됩니다. 이 시스템은 세 가지 영리한 단계를 거칩니다.

1. "필터" (신호와 노이즈 분리하기)

당신이 어떤 사람의 성격(그의 불변적인(invariant) 자아)을 묘사하려고 하는데, 그 사람이 마침 마라톤을 하고 있다고 상상해 보세요(그의 역동적인(dynamic) 상황).

기존 방식: 그를 "땀을 흘리고, 헐떡이며, 얼굴이 붉어진 상태"라고 묘사합니다. 이 묘사는 얼마나 열심히 뛰느냐에 따라 매 초마다 변합니다.
CVAformer의 방식: 특수한 필터를 사용하여 그 사람의 핵심 성격과 땀/헐떡임(역동적 요소)을 분리합니다. 이렇게 말하는 것이죠. "좋아, 이 사람은 차분하고 결단력이 있지만(불변적), 땀은 단지 달리고 있기 때문에 발생하는 현상이다(역동적)."
왜 중요한가: 논문에 따르면, 번역하기 전에 "땀"(역동적 변동)을 제거함으로써, 사서는 일시적인 변화에 한눈팔지 않고 그 사람이 실제로 누구인지 훨씬 더 명확하게 파악할 수 있습니다.

2. "그룹 허들" (비인과적 주의 집중 - Non-Causal Attention)

데이터가 필터링되면, 시스템은 서로 다른 변수들이 어떻게 연관되어 있는지 이해해야 합니다.

기존 방식: 사서가 데이터를 문장처럼 읽습니다: "먼저 기온이 오고, 그다음 습도가 오고, 그다음 풍속이 온다." 이를 "인과적 주의 집중(causal attention)"이라고 합니다.
CVAformer의 방식: 사서가 마치 친구들이 모여서 '허들(Huddle)'을 하는 것처럼, 모든 변수를 한꺼번에 볼 수 있게 해줍니다. 기온, 습도, 풍속은 모두 동시에 서로에게 "말할" 수 있습니다.
왜 중요한가: 현실 세계에서 날씨 변수들은 서로 즉각적으로 영향을 주고받습니다. 자기 차례를 기다리지 않습니다. 이 "허들" 방식은 변수 간의 실제 관계를 훨씬 더 잘 포착합니다.

3. "인과적 체크" (혼란 바로잡기)

이 논문은 **인과적 개입(Causal Intervention)**이라는 개념을 사용합니다.

비유: 어떤 사람이 뛰면서 땀을 흘리는 것을 보고, "저 사람은 뛰고 있기 때문에 땀을 흘리는구나"라고 생각할 수 있습니다. 하지만 만약 밖이 너무 더워서 땀을 흘리는 것이라면 어떨까요? 만약 '더위'라는 요인을 고려하지 않는다면 잘못된 예측을 할 수 있습니다.
CVAformer의 방식: 마치 탐정처럼 행동합니다. "이 데이터의 변화가 변수의 본질적인 특성 때문인가, 아니면 그저 일시적인 오류인가?"라고 묻습니다. 수학적으로 일시적인 오류의 영향을 "차단"함으로써, 사서가 오직 진정하고 안정적인 패턴으로부터만 학습하도록 만듭니다.

무엇을 발견했나?

저자들은 이 새로운 "스마트 번역기"를 다양한 작업에 대해 기존의 많은 모델(언어 모델을 사용하는 다른 AI 포함)과 비교 테스트했습니다:

장기 예측: 몇 주 뒤의 날씨를 맞히는 것.
단기 예측: 다음 몇 분간의 변화를 맞히는 것.
퓨샷/제로샷(Few-shot/Zero-shot): 아주 적은 데이터로 학습하거나, 완전히 다른 지역의 데이터(예: 뉴욕의 날씨로 런던의 날씨를 예측하는 것)를 사용하는 것.

결과:

CVAformer는 일반적으로 가장 정확도가 높았으며, 기존의 최고 모델들을 능가했습니다.
특히 데이터가 지저분하거나(messy), 학습할 데이터가 많지 않을 때 뛰어난 성능을 보였습니다.
"필터링"(노이즈 분리)과 "그룹 허들"(비인과적 주의 집중)이 성공의 핵심 이유임이 입증되었습니다.

요약하자면

이 논문은 AI가 숫자를 잘 예측하게 만들려면, 단순히 숫자를 단어처럼 읽도록 강요해서는 안 된다고 주장합니다. 대신 다음과 같은 과정이 필요합니다:

먼저 데이터를 정제한다 (일시적인 노이즈를 제거한다).
변수들이 자유롭게 소통하게 한다 (엄격한 순서를 강요하지 않는다).
AI가 우연한 일치에 속지 않도록 논리(인과관계)를 사용한다.

이렇게 함으로써, "사서"(LLM)는 마침내 "수학"(시계열 데이터)을 이해하고 훨씬 더 나은 예측을 할 수 있게 됩니다.

기술 요약: LLM 기반 시계열 예측을 위한 인과적 의미론적 정렬 (CVAformer)

1. 문제 정의

최근 대규모 언어 모델(LLM)의 발전은 시계열 패턴을 사전 학습된 단어 임베딩과 정렬함으로써 시계열 예측을 가능하게 했습니다. 그러나 기존의 LLM 기반 방법들은 시계열의 이질적 특성, 즉 불변적 의미론(변수의 고유한 정체성)과 동적 성분(외부적으로 유도된 고주파 변동)이 뒤엉켜 있다는 점을 간과한다는 근본적인 한계가 있습니다.

인과적 관점에서 이러한 얽힘은 **교란 효과(confounding effect)**를 생성합니다. 동적 성분은 추정된 불변 표현( $I$ )과 최종 정렬된 임베딩( $A$ ) 모두에 동시에 영향을 미치는 교란 요인( $C$ )으로 작용합니다. 이는 **허위 상관관계(spurious correlations)**와 **의미론적 앵커 드리프트(semantic anchor drifts)**를 초래하며, 동적 변화로 인해 정렬 대상이 시간이 지남에 따라 이동하여 불안정하고 편향된 정렬을 결과합니다. 또한, 대부분의 기존 접근 방식은 시간적 수준(타임스텝 또는 패치를 토큰으로 취급)에서 정렬을 수행하거나 변수에 인위적인 자기회귀적 순서를 부여하는 인과적 어텐션(causal attention) 메커니즘을 사용합니다. 이는 다변량 시계열의 변수들이 내재적인 시간적 순서를 갖지 않으며, 이를 강제하는 것이 실제 변수 간 관계를 반영하지 않는 귀납적 편향을 도입하기 때문에 최선이 아닙니다.

2. 방법론: CVAformer

이러리 문제를 해결하기 위해 저자들은 불변 성분과 동적 성분을 명시적으로 분리하면서 **변수 수준(variable-level)**에서 정렬을 수행하는 프레임워크인 CVAformer(Causal Variable-level Alignment Transformer)를 제안합니다. 이 아키텍처는 세 가지 단계로 구성됩니다.

A. 불변-동적 분해 (Invariant-Dynamic Decomposition)

정렬 전, CVAformer는 각 변수의 시간 임베딩( $E_{time}$ )을 두 가지 별개의 성분으로 분해합니다:

불변 성분 ( $E_{invariant}$ ): 변수의 안정적인 의미적 정체성을 나타냅니다.
동적 성분 ( $E_{dynamic}$ ): 단기적인 변동 및 외부 변화를 포착합니다.

이 분해는 CausalEncoder와 학습 가능한 MLP를 사용하여 수행됩니다. 효과적인 분리를 보장하기 위해, 모멘텀 대비 학습(Momentum Contrast)에서 영감을 얻은 **대조 손실(contrastive loss)**이 사용됩니다. 이 손실은 불변 표현이 시간적 증강(temporal augmentation)에도 불구하고 안정적으로 유지되도록 유도하는 동시에 동적 성분은 변할 수 있도록 하여, 얽힘을 억제합니다.

B. 인과적 정렬 (텍스트 브랜치)

텍나 텍스트 브랜치는 분해된 불변 표현과 사전 학습된 단어 임베딩 사이의 변수 수준 정렬을 수행합니다. 동적 성분의 교란 효과를 완화하기 위해, CVAformer는 인과적 개입을 통한 **백도어 조정(backdoor adjustment)**을 적용합니다:

교란 요인 요약 (Confounder Summary): 전역 통계(평균, 공분산)를 사용하여 동적 맥락의 압축된 표현( $E_{causal}$ )을 추출하고 이를 CausalEncoder에 입력합니다.
인과적 개입 (Causal Intervention): 정렬 과정은 불변 표현과 교란 요인 요약을 모두 조건으로 쿼리를 설정합니다 ( $Q = (E_{invariant} + E_{causal})W_q$ ). 이는 인과적 개입 분포 $P(A | do(I)) $를 근사하여 백도어 경로$ I \leftarrow C \rightarrow A$를 효과적으로 차단합니다.
소프트 게이팅 (Soft Gating): 변수별 게이팅 메커니즘이 정렬된 의미적 특징과 동적 변동의 기여도를 동적으로 조절하여, 최종 표현이 환경 변화에 견고하도록 보장합니다.

C. 시간적 브랜치 (비인과적 어텐션)

변수 간 의존성을 포착하기 위해 인위적인 순서를 부과하지 않는 **비인과적 어텐션 블록(Non-Causal Attention Blocks, NCBlocks)**을 사용합니다.

자기회귀를 강제하기 위해 인과적 마스킹을 사용하는 표준 LLM과 달리, NCBlocks는 각 변수가 동일한 타임스텝에서 다른 모든 변수에 주의를 기울일 수 있도록 합니다.
이 설계는 순서가 없는 변수 간 상호작용을 포착하고 **치환 불변성(permutation equivariance)**을 보장하여, 입력 채널의 순서에 관계없이 모델의 견고함을 높입니다.

D. 최적화

모델은 다음과 같은 복합 손실 함수를 사용하여 학습됩니다:

지도 학습 손실 ( $L_{sup}$ ): 시간적 브랜치의 예측 정확도를 보장합니다.
불변 손실 ( $L_{invariant}$ ): 대조 학습을 통해 불변 성분과 동적 성분의 분리를 강제합니다.
일관성 손실 ( $L_{consistency}$ ): 텍스트 브랜치와 시간적 브랜치 간의 의미론적 일치를 장려합니다.
백본 LLM은 동결된 상태로 유지되며, 오버피팅을 방방지하고 계산 비용을 줄이기 위해 경량 어댑터(LoRA, 정규화 레이어, 위치 임베딩)만 업데이트됩니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

변수 수준 정렬 패러다임: 타임스텝을 토큰화하는 것에서 벗어나 전체 변수를 토큰으로 취급함으로써, LLM이 인위적인 시간적 순서 없이 의미 정보를 포착할 수 있게 합니다.
인과에 기반한 분해: 백도어 메커니즘을 사용하여 불변 의미와 동적 변동을 분리함으로써 교차 모달 정렬 중 발생하는 교란 효과를 제거하는 원칙적인 방법론을 제시합니다.
통합된 비인과적 아키텍처: 순서가 없는 변수 간 의존성을 모델링하기 위해 비인과적 어텐션 블록을 통합하였으며, 이는 기존 LLM 기반 예측기에 쉽게 통합될 수 있습니다.
포괄적인 실증적 검증: 장기, 단기, 퓨샷(few-shot) 및 제로샷(zero-shot) 예측 설정 전반에서 최첨단 모델들을 상대로 일관된 개선을 입증했습니다.

4. 실험 결과

CVAformer는 네 가지 작업(Long-term, Short-term, Few-shot, Zero-shot)에 대해 여러 데이터셋(Weather, Traffic, Electricity, ETT, M4)에서 평가되었습니다.

장기 예측 (Long-term Forecasting): CVAformer는 대부분의 데이터셋에서 베이스라인(TimeLLM, GPT4TS, PatchTST, iTransformer 포함)보다 일관되게 우수한 성능을 보였으며, PatchTST 대비 MSE 10.07%, MAE 8.21%의 상대적 감소를 달 기록했습니다. 특히 변수 간 상호작용이 풍부한 데이터셋에서 강점을 보였습니다.
단기 예측 (Short-term Forecasting): M4 데이터셋에서 CVAformer는 15개 평가 케이스 중 11개에서 1위를 차지했으며, PatchTST 대비 평균 2.8%, GPT4TS 대비 2.2%의 개선을 달성했습니다.
퓨샷 및 제로샷 예측 (Few-shot and Zero-shot Forecasting): 데이터가 제한된 환경(훈련 데이터 10%)과 교차 도메인 전이 작업에서 CVAformer는 탁월한 일반화 능력을 보여주었습니다. 퓨샷 설정에서는 PatchTST 대비 오류를 13% 줄였고, 제로샷 설정에서는 17.7% 줄였습니다.
절제 연구 (Ablation Studies): 인과적 분해 모듈을 제거했을 때 성능이 크게 하락하여(예: ETTh1에서 MSE +3.2%), 교란 효과를 해결하는 것의 필요성을 입증했습니다. 마찬가지로 비인과적 어텐션을 인과적 어텐션으로 교체했을 때 성능이 저하되어, 순서 없는 변수 상호작용을 모델링하는 것의 이점을 확인했습니다.
효율성: 복잡성에도 불구하고 CVAformer는 TimeLLM 및 FEDformer와 같은 다른 대형 모델들과 비교하여 경쟁력 있는 훈련 시간(13.74s/epoch)과 메모리 사용량(709.15 MB)을 유지했습니다.

5. 의의 및 주장

본 논문은 CVAformer가 동적 성분과 불변 성분의 얽힘이라는 의미론적 드리프트의 근본 원인을 해결함으로써, LLM 기반 시계열 작업을 위한 새로운 관점을 제공한다고 주장합니다. 시계열 데이터의 인과 구조를 명시적으로 모델링함으로써, 이 프레임워크는 더 해석 가능한 표현과 다양한 시나리오에서의 향상된 일반화를 달s합니다.

저자들은 자신들의 접근 방식이 단순한 교차 모달 정렬을 넘어, 다변량 시계열의 본질적 특성(즉, 내재된 변수 순서의 부재 및 교란하는 동적 특성)을 존중하는 인과적으로 가이드된 과정임을 강조합니다. 이 모델이 다양한 LLM 백본(GPT-2, BERT, DeepSeek)에서 견고함을 보여주는 한편, 저자들은 향후 연구가 정렬 과정에 대한 더 깊은 인과적 분석과 실제 응용을 위한 모델 해석력 강화에 집중될 것임을 언급하며 겸허히 밝히고 있습니다.