Multivariate Time Series Forecasting with Adaptive Non-Local Observables

기술 요약: 적응형 비국소 관측량을 활용한 다변량 시계열 예측

문제 정의
다변량 시계열 예측(MTSF)은 과거 데이터를 기반으로 여러 변수의 미래 값을 예측하는 작업으로, 에너지 관리 및 금융과 같은 도메인에서 매우 중요한 과제입니다. MTSF의 주요 과제는 고차원 상관관계와 복잡한 데이터 분포를 모델링하는 것입니다. 양자 기계 학습(QML), 특히 양자 신경망(QNN)은 중첩 및 얽힘과 같은 양자 현상을 통해 잠재력을 제공하지만, 기존의 QNN 접근 방식은 일반적으로 고정된 국소 측정(예: 파울리 관측량)에 의존합니다. 저자들은 이러한 의존성이 네트워크의 표현력(expressivity)을 제한하여, 다변량 시계열에 내재된 복잡한 분포를 학습하는 능력을 제약한다고 주장합니다.

방법론: MTSF-ANO
표현력의 병목 현상을 해결하기 위해, 저자들은 변분 양자 회로(VQC)에 **적응형 비국소 관측량(Adaptive Non-Local Observables, ANO)**을 통합한 하이브리드 모델인 MTSF-ANO를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

1. 인스턴스 정규화(Instance Normalization): 분포 변화를 처리하기 위해, 입력 다변량 시계열($X_t \in \mathbb{R}^{C \times L}$)은 처리 전 채널별로 평균과 분산을 사용하여 정규화됩니다.
2. 데이터 재업로딩 VQC와 ANO:
   • 정규화된 입력은 평탄화(flattened)되어 큐비트 수($n$)에 대응하는 잠재 표현($h_t$)으로 투영됩니다.
   • 회로는 데이터 재업로딩(Data Re-Uploading) 전략을 채택합니다. 각 레이어는 Hadamard 게이트로 시작하여, 매개변수화된 $R_z$ 및 $R_y$ 회전이 뒤따르며, 얽힘을 유도하기 위한 CNOT 게이트의 원형 토폴로지를 가집니다.
   • 결정적으로, 잠재 입력은 인코딩 게이트($R_y, R_z$)에 적용되는 학습 가능한 스케일링 매개변수($w$)를 통해 회로에 다시 업로드됩니다.
   • 고정된 국소 측정 대신, 모델은 학습 가능한 $k$-국소 헤르미트 관측량(Hermitian observables, $H(\phi)$)을 사용합니다. 이 관측량들은 $k$개의 큐비트에 공동으로 작용하여, 단일 큐비트 파울리 측정이 표현할 수 없는 다중 큐비트 상관관계를 포착할 수 있게 합니다.
   • 측정 레이어는 $k$개 큐비트의 모든 $\binom{n}{k}$ 조합에 대한 기대값을 평가합니다.
3. 예측 헤드(Prediction Head): 기대값 벡터는 선형 레이어를 통해 변환된 후 역정규화되어 최종 예측치($\hat{Y}_t$)를 생성합니다.

또한 저자들은 더 긴 룩백 윈도우(lookback window)를 더 잘 처리하기 위해, 입력 및 출력 투영에 채널 독립적인 공유 가중치 선형 레이어를 사용하는 **채널 독립 변형 모델(MTSF-ANO-CI)**을 도입했습니다.

주요 기여

• 새로운 아키텍처: 고정된 국소 관측량을 데이터 재업로딩 VQC 프레임워크 내의 학습 가능한 비국소 관측량으로 대체한 MTSF-ANO라는 하이브리드 모델을 제시했습니다.
• 실증적 성능: 네 가지 전력 변압기 온도(ETT) 데이터셋(ETTh1, ETTh2, ETTm1, ETTm2)에 대한 광범한 벤치마킹을 수행했습니다.
• 절제 연구(Ablation Analysis): 회로 설계(얽힘, 깊이)와 비국소성(non-locality)의 정도($k$)가 미치는 영향에 대한 체계적인 조사를 수행했습니다.

실험 결과
모델은 강력한 클래식 베이스라인(LSTM, DLinear, NLinear, Linear) 및 양자 베이스라인(QLSTM, QFWP, QuLTSF, 그리고 고정된 국소 관측량 변형인 MTSF-PZ)을 대상으로 평가되었습니다.

• 전반적 순위: 20가지 서로 다른 설정(룩백 윈도우 $L$ 및 예측 호라이즌 $H$ 변화)에 걸친 네 가지 ETT 데이터셋에서, MTSF-ANO는 평균 제곱 오차(MSE) 기준으로 17개 설정에서 1위 또는 2위를 차지했습니다.
• 성능 향상: 모델은 ETTh1(특히 $H=5$에서)에서 가장 강력한 베이스라인보다 최대 20% 개선된 성능을 보였습니다. 또한 모든 설정에서 고정된 국소 관측량 대응 모델(MTSF-PZ)보다 일관되게 우수하거나 대등한 성능을 보였습니다.
• 룩백 윈도우 민감도: MTSF-ANO는 짧은 룩백 윈도우($L \in \{8, 16\}$)에서 탁월한 성능을 보였으나, $L$이 증가함에 따라 선형 베이스라인과의 성능 격차가 좁혀졌습니다. 채널 독립 변형 모델(MTSF-ANO-CI)은 이러한 이점을 더 긴 윈도우($L \in \{24, \dots, 96\}$)까지 성공적으로 확장했습니다.
• 비국소성의 영향: 절제 연구 결과, 비국소성이 성능 향상의 주요 동력임이 밝혀졌습니다. 비국소성 $k$가 1에서 증가함에 따라 성능이 꾸준히 향상되었으며, $k=3$에서 $k=5$ 사이에서 정점(MTSF-PZ 대비 평균 6.4%~8.5% 개선)을 찍었습니다. $k=7$에서는 조합적 측정 방식이 출력을 단일 기대값으로 축소시킴에 따라 성능이 급격히 무너졌습니다.
• 아키텍처 요소: 얽힘(CNOT 게이트를 통한)이 필수적이라는 것이 발견되었습니다. 얽힘을 제거하면 거의 모든 설정에서 성능이 저하되었습니다. 얕은 회로 깊이(1 레이어)가 깊은 회로(3 또는 5 레이어)보다 일반적으로 더 나은 성능을 보였습니다.

의의 및 주장
본 논문은 **적응형 비국소 관측량(ANO)**이 시계열 예측을 위한 유망한 방향임을 시사합니다. 학습 가능한 비국소 측정이 표준 VQC의 함수 클래스를 엄격하게 확장하고 복잡한 상관관계를 효과적으로 모델링할 수 있음을 입증함으로써, 저자들은 ANO 기반 하이브리드 모델이 MTSF를 위한 새롭고 효과적인 솔루션임을 확립했습니다. 이 연구는 비국소성의 "스위트 스팟(sweet spot)"이 얽힘 및 얕은 회로 깊이와 결합된 중간 정도의 값($k=3$에서 $5$)에 있으며, 이는 실제 세계의 예측 작업에 양자 개념을 적용하기 위한 실질적인 경로를 제공한다고 제안합니다.