기술 요약: 다변량 시계열 예측을 위한 교차 변수 손실 (Cross-Variable Loss)

1. 문제 정의 및 동기

다변량 시계열 예측(Multivariate Time Series Forecasting, MTSF)은 여러 상호 연관된 변수의 미래 값을 예측하는 것을 목표로 합니다. 최근의 연구들은 주로 입력 측 채널 의존성(과거 특징으로부터 표현을 추출하는 것)을 모델링하는 데 집중해 왔으나, 본 논문은 출력 측 의서성(미래 예측값들 사이의 내재적 상관관계)이 그동안 크게 간과되어 왔다고 주장합니다.

현재의 주류 방식들은 주로 직접 예측(Direct Forecasting, DF) 패러다임을 따릅니다. 이 패러다임에서 모델은 $f_\theta: \mathbb{R}^{H \times D} \to \mathbb{R}^{T \times D}$ 매핑을 학습하여 $D$개의 변수에 대해 $T$-단계 예측을 동시에 생성합니다. 그러나 표준적인 DF 훈련은 각 타임스텝과 변수 항목을 독립적인 스칼라 예측으로 취급하는 점 단위 손실 함수(예: 평균 제곱 오차, MSE)에 의존합니다.

저자들은 이러한 접근 방식의 결정적인 한계를 다음과 같이 지적합니다:

1. 물리적 불일치(Physical Mismatch): 실제 세계의 다변량 시스템(예: 금융 시장, 교통 네트워크)은 변수들이 함께 진화하는 공유된 시스템 역학을 나타냅니다. 미래 예측을 무분별하게 분리하는 것은 이러한 물리 법칙을 위반하며, 결과적으로 수치적으로는 점 단위에서 정확할지라도 구조적으로는 모순적인(예: 시장 규칙이나 물리적 제약을 위반하는) 예측을 초래할 수 있습니다.
2. 목적 함수 격차(The Objective Gap): 확률론적 관점에서 볼 때, 표준적인 점 단위 MSE 최적화는 예측 잔차(residual)가 완전히 독립적이고 등방적인 가우시안 분포(대각 공분산 행렬)를 따른다고 가정합니다. 그러나 교차 변수 및 시차 의존성으로 인해, 실제 잔차의 시공간 공분산 행렬에는 유의미한 비제로(non-zero) 비대각 요소들이 존재합니다. 이는 표준 손실 함수와 데이터의 실제 결합 분포 사이에 이론적인 "목적 함수 격차"($\Delta \neq 0$)를 생성합니다. 결과적으로, 점 단위 MSE를 최소화하는 것은 원래 데이터의 결합 기하학적 토폴로지를 포착하는 데 실패합니다.

2. 방법론: 교차 변수 손실 (Cross-Variable Loss, CvLoss)

이 목적 함수 격차를 해결하기 위해, 저자들은 변수 간 예측 잔차의 일관성을 명시적으로 제약하는 플러그인 구조적 정규화 도구인 **교차 변수 손실(CvLoss)**을 제안합니다.

2.1 이론적 기초

저자들은 그래프 구조적 관점을 사용하여 문제를 공식화합니다. 이들은 예측 오차 벡터 $e$를 정의하고, 실제 잔차가 비제로 비대각 요소를 포함하는 구조화된 정밀도 행렬 $\Sigma_{ST}^{-1}$을 가진 다변량 가우시안 분포를 따른다고 가정합니다.

• **명제 3.2(Proposition 3.2)**는 구조화된 정밀도 행렬을 가진 가우시안의 음의 로그 가능도(negative log-likelihood)를 최소화하는 것이 표준 MSE와 교차 변수 그래프 상의 제곱 그래프 총 변동(squared graph total variation, TV) 페널티를 최소화하는 것과 동일함을 입증합니다.
• 이론은 $\ell_2$ (제곱) 페널티를 제안하지만, 저자들은 경험적으로 페널티 항에 $\ell_1$ 노름을 선택했습니다. 이러한 선택은 제곱 페널티에 의해 지배될 수 있는 국소적 이상치나 변수 특유의 충격에 덜 민감하면서도, 그래프 수준의 잔차 일관성을 촉진하기 위한 것입니다.

2.2 손실 함수 공식화

CvLoss는 패치 노드(patch nodes) 상에서 작동합니다. 예측 지평 $T$는 길이 $L$을 가진 $P$개의 겹치지 않는 패치로 나뉩니다.

• 그래프 구축: 변수들을 연결하는 에지(edge)를 가진 교차 변수 그래프가 구축됩니다. 저자들은 세 가지 에지 유형을 정의합니다:
  1. 동기적 에지(Synchronous edges): 동일한 타임스텝에서 변수들을 연결 (동시적 상호작용 포착).
  2. 비동기적 에지(Asynchronous edges): 서로 다른 타임스텝에서 변수들을 연결 (지연된 전파 포착).
  3. 완전 연결 에지(Fully connected edges): 도메인 특화된 사전 지식 없이도 최대한의 범위를 커버하기 위해 동기적 및 비동기적 상호작용을 모두 포함하는 기본 설정.
• 손실 계산: 그래프의 각 에지 $(i, j)$에 대해, 손실은 예측값의 구조적 차이와 실제값(ground truth)의 차이를 페널티로 부여합니다.
  $$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| (\hat{z}_i - \hat{z}_j) - (z_i - z_j) \|_1$$
  노드 단위 잔차 $e_i = \hat{z}_i - z_i$를 사용하면, 이는 그래프 상의 잔차의 총 변동으로 단순화됩니다:
  $$L_{cv} = \frac{1}{|E| \times L} \sum_{(i,j) \in E} \| e_i - e_j \|_1 = \frac{1}{|E| \times L} \| \tilde{A} \text{vec}(E) \|_1$$
  여기서 $\tilde{A}$는 그래프의 리프티드 인시던스 행렬(lifted incidence matrix)입니다.

2.3 훈련 목적 함수

최종 훈련 목적 함수는 표준 점 단위 DF 손실($L_{df}$)과 구조적 정규화 항($L_{cv}$)을 결 der합니다:
$$L_\alpha = (1 - \alpha) \cdot L_{df} + \alpha \cdot L_{cv}$$
여기서 $\alpha \in (0, 1)$는 검증 세트에서 튜닝된 고정된 하이퍼파라미터입니다. 결정적으로, CvLoss는 **모델 불가지론적(model-agnostic)**이며 플러그 앤 플레이(plug-and-play) 방식으로, 추론 절차를 변경하지 않고도 다양한 백본(Transformer, MLP 등)과 원활하게 통합됩니다.

3. 주요 기여

1. 목적 함수 격차 식별: 본 논문은 표준 점 단위 학습 목적 함수가 미래 예측 간의 내재된 채널 간 오차 의존성을 무시하여, 실제 세계의 시공간 상관관계와 이론적 불일치를 생성함을 보여줍니다.
2. CvLoss 제안: 교차 변수 그래프 상의 잔차 일관성 정식화를 통해 채널 간 관계를 명시적으로 제약하는 새로운 구조적 정규화 도구를 제안합니다. 이는 동기적 및 비동기적 상호작용 모두에서 일관성을 장려합니다.
3. 경험적 검증: 광범한 실험을 통해 CvLoss가 다양한 데이터셋(ETT, ECL, Traffic, Weather, PEMS)과 아키텍처(iTransformer, TimeFilter, TQNet 등) 전반에서 최첨단(SOTA) 모델의 성능을 일관되게 향상시킴을 입증했습니다.

4. 실험 결과

저자들은 다양한 백본을 사용하여 12개의 표준 벤치마크에서 CvLoss를 평가했습니다. 주요 결과는 다음과 같습니다:

• 성능 향상: CvLoss를 추가하면 예측 오차(MSE 및 MAE)가 일관되게 감소했습니다. 예를 들어, Traffic 데이터셋에서 MAE는 0.014 감소했습니다. 114개의 백본 제어 비교 실험 전체에서, CvLoss는 111개 케이스에서 개선되었고, 2개는 동일했으며, 1개에서 하락했습니다. 평균 상대 오차 감소율은 MSE에서 3.39%, **MAE에서 3.61%**였습니다.
• 구조적 복구: CvLoss로 훈련된 모델의 교차 변수 상관관계 행렬 시각화 결과, 베이스라인보다 실제 상관 구조를 훨씬 더 잘 복구함을 보여줍니다. ECL 데이터셋에서, CvLoss는 일반적인 iTransformer 베이스라인과 비교했을 때 교차 변수 항목의 **84.83%**에서 구조적 오차를 개선했습니다.
• 타 목적 함수와의 비교: CvLoss는 형태 정렬 손실(Soft-DTW), 가능도 극대화(QDF, Time-o1), 분포 균형 방법 등 11개의 다른 학습 목적 함수보다 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies):
  • 토폴로지: 동기적 및 비동기적 에지를 결합한 완전 연결 그래프가 가장 좋은 성능을 보였으며, 이는 두 유형의 상호작용을 모두 모델링하는 것의 필요성을 확인시켜 줍니다.
  • 하이퍼파라미터: 방법론은 $\alpha$의 선택에 견고하며, 일반적으로 $\alpha \approx 0.5$ 근처에서 최적의 성능을 보입니다. 또한 패치 길이 변화에도 강건합니다.
• 효율성:
  • 추론: CvLoss는 훈련 후 계산 그래프에서 제거되므로 추론 시 오버헤드가 전혀 없습니다.
  • 훈련: 전체 그래프는 이차 복잡도 $O(P^2D^2)$를 유발하지만, 저자들은 무작위 에지 샘플링(배치당 에지를 1000개로 제한)을 통해 예측 정확도를 희생하지 않으면서 훈련 시간을 상수 수준으로 효과적으로 줄일 수 있음을 보여주었습니다.

5. 의의 및 한계점

의의:
본 논문은 미래 변수들의 구조적 기하학을 모델링하는 것이 MTSF를 개선하기 위한 단순하면서도 효과적인 방향임을 주장합니다. 순수하게 입력 측 의존성에 집중하던 것에서 벗어나 출력 측 구조적 일관성으로 초점을 전환함으로써, CvLoss는 표준 손실 함수의 수학적 가정과 공진화하는 시스템의 물리적 실체 사이의 간극을 메웁니다. 이는 아키텍처 변경 없이 기존 예측 모델을 강화할 수 있는 보편적이고 경량화된 메커니즘을 제공합니다.

한계점:

• 그래프 구축: 기본 접근 방식은 완전 연결 그래프를 사용하는데, 이는 매우 고차원적인 시스템에서는 정보가 없는 상호작용을 포함할 수 있습니다. 무작위 샘플링이 확장성 문제를 해결하지만, 적응형 그래프 구조를 학습하는 것은 향의 과제로 남아 있습니다.
• 범위: 본 연구는 정규 벤치마크 데이터셋에 대한 결정론적 예측에 초점을 맞춥니다. 확률적 예측, 불규칙한 샘플링, 결측치 시나리오에 대한 확장은 다루지 않았습니다.
• 이론 vs 경험: 저자들은 이론적 유도(명제 3.2)가 $\ell_2$ (제곱) 페널티를 지지함에도 불구하고, 실제 구현에서는 경험적 근거에 따라 $\ell_1$ 노름을 사용했음을 인정합니다. 이론은 관계 인식 제약의 필요성을 뒷받침하지만, 사용된 특정 $\ell_1$ 형태를 엄격하게 유도하지는 않습니다.

결론적으로, CvLoss는 다변량 예측을 정규화하는 원칙적인 방법을 제공하며, 예측된 미래 변수들이 그 기저의 물리적 및 통계적 의존성과 일치하는 방식으로 진화하도록 보장합니다.