Online Irregular Multivariate Time Series Forecasting via Uncertainty-Driven Dual-Expert Calibration

기술 요약: 불확실성 기반 이중 전문가 보정을 통한 온라인 불규칙 다변량 시계열 예측

문제 정의
본 논문은 온라인 불규칙 다변량 시계열 (IMTS) 예측의 과제를 다룹니다. 연속 시간 모델과 어텐션 메커니즘을 활용한 오프라인 IMTS 예측에서 상당한 진전이 이루어졌으나, 이러한 방법들은 일반적으로 훈련 후 매개변수를 고정하여 진화하는 데이터 분포에 적응하지 못합니다. 의료, 기후, 금융과 같은 실제 시나리오에서는 대상, 장치, 또는 환경의 변화로 인해 데이터 분포가 이동합니다. 기존 시계열 온라인 학습 기술은 대부분 밀집된 시간적 연속성과 주기성에 의존하는데, 이러한 가정은 샘플링이 불규칙하고, 관측 간격이 가변적이며, 결측 패턴이 비정상적이고 정보적 의미를 갖는 IMTS 환경에서는 무너집니다. 결과적으로 기존 온라인 적응 방법을 IMTS 에 직접 적용하면 성능 저하가 발생합니다. 저자들은 데이터 분포 이동에 적응하고, 불규칙 샘플링과 동적 결측을 동시에 처리하며, 순차적 예측을 생성해야 하는 온라인 IMTS 예측 문제를 공식적으로 정의합니다.

방법론: Under-Cali
저자들은 소스 예측 모델을 수정하지 않고 효율적이고 안정적인 온라인 적응을 가능하게 하는 불확실성 기반 이중 전문가 보정 프레임워크인 Under-Cali를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어집니다:

1. 불확실성 추정기 (UE):

   • 시간적 연속성에 의존하는 대신, UE 는 분포 이동을 대리하는 지표로서 예측 불확실성을 정량화합니다.
   • 이는 베이지안 신뢰도 추정이 아닌, 현재 데이터 분포 하에서의 정규화된 예측 오차 (평균 제곱 오차) 로 운영상 정의됩니다.
   • UE 는 입력 시계열과 예측을 불확실성 점수 ($\hat{u} \in [0,1]$) 로 매핑하도록 오프라인에서 훈련된 신경망 ($g_\phi$) 입니다. 온라인 적응 중에는 "신뢰할 수 있는 전문가"의 보정된 예측을 사용하여 점수를 계산함으로써 안정성을 보장합니다.

2. 이중 전문가 게이트형 분포 보정기 (GDC):

   • 불안정한 적응을 방지하기 위해 GDC 는 별도의 매개변수를 가진 두 개의 격리된 전문가, 즉 신뢰할 수 있는 전문가($e_{\psi r}$) 와 신뢰할 수 없는 전문가($e_{\psi ur}$) 를 활용합니다.
   • 신뢰할 수 있는 전문가: 낮은 불확실성 샘플 (익숙한 패턴) 을 세밀한 조정을 통해 처리합니다.
   • 신뢰할 수 없는 전문가: 높은 불확실성 샘플 (이상치 또는 큰 이동) 을 과적합이나 안정적인 패턴의 오염을 방지하기 위해 신중한 적응을 통해 처리합니다.
   • 두 전문가 모두 입력 보정기와 출력 보정기로 구성된 변수별 게이트형 시간 보정 모델을 사용합니다. 이들은 소스 예측자의 원래 지식을 이동이 발생할 때까지 보존하기 위해 항등 매핑을 근사하도록 초기화됩니다 (0 으로 초기화된 가중치).

3. 적응형 라우팅 모듈 (ARM):

   • ARM 은 불확실성 통계의 지수 이동 평균 (EMA) 에서 도출된 두 가지 동적 임계값을 사용하여 샘플 할당 및 적응 트리거를 관리합니다:
     • 할당 임계값 ($\tau_{alloc}$): 추정된 불확실성 점수에 따라 샘플을 신뢰할 수 있는 전문가 또는 신뢰할 수 없는 전문가 중 하나로 라우팅합니다.
     • 트리거 임계값 ($\tau_{trig}$): 현재 배치에 대한 적응 단계가 필요한지 여부를 결정합니다. 적응은 배치의 평균 불확실성이 이 임계값을 초과할 때만 트리거되어 희소 업데이트를 가능하게 합니다.
   • 온라인 적응 과정:
     • 추론: 샘플은 초기에 신뢰할 수 있는 전문가에 의해 처리됩니다. 불확실성 점수가 계산됩니다. 높은 불확실성 샘플은 2 차 보정을 위해 신뢰할 수 없는 전문가로 라우팅됩니다.
     • 적응: 트리거되면, 신뢰할 수 있는 전문가와 UE 는 낮은 불확실성 (신뢰할 수 있는) 샘플을 사용하여 업데이트되는 반면, 신뢰할 수 없는 전문가 는 높은 불확실성 (어려운) 샘플을 사용하여 업데이트됩니다. 이러한 분리는 파국적 간섭을 방지합니다.

주요 기여

• 문제 정의: 본 논문은 불규칙 샘플링과 동적 결측의 과제를 강조하여 기존 정규 시계열 설정과 구별되는 온라인 불규칙 다변량 시계열 예측 문제를 공식적으로 정의한 최초의 논문입니다.
• 프레임워크 설계: 원칙적인 온라인 적응을 가능하게 하는 모델-중립적 프레임워크인 Under-Cali 를 도입했습니다. 이는 샘플 불확실성에 기반한 차별화된 보정을 수행하는 이중 전문가 게이트형 보정기를 특징으로 합니다.
• 적응 메커니즘: 소스 모델을 수정하지 않고 안정적인 온라인 예측을 보장하기 위해 업데이트를 자율적으로 트리거하고 샘플을 서로 다른 전문가에게 할당하는 적응형 라우팅 모듈을 개발했습니다.
• 효율성: 이 프레임워크는 소스 예측자를 고정된 상태로 유지하면서 소수의 매개변수 (보정 모듈과 UE) 만 업데이트하여 자원 효율성을 보장합니다.

실험 결과
저자들은 tPatchGNN, HyperIMTS, mTAN, Transformers 와 같은 SOTA 방법을 포함한 21 가지 다른 소스 예측자에 걸쳐 4 가지 IMTS 벤치마크 (MIMIC, PhysioNet, Human Activity, USHCN) 에서 Under-Cali 를 평가했습니다.

• 성능: Under-Cali 는 모든 아키텍처와 데이터셋에서 일관되게 예측 성능 (MSE 로 측정) 을 향상시켰습니다. 주목할 만한 개선 사항으로는 Human Activity 데이터셋에서 tPatchGNN 의 MSE 가 8.41% 감소했고 Warpformer 는 21.84% 감소했습니다.
• 강건성: 이 방법은 비적응형 베이스라인에 비해 긴 시간 범위 예측과 다양한 루크백 길이에서 우수한 안정성을 보여주었습니다.
• 비교: Under-Cali 는 기존 온라인 학습 및 테스트 시간 적응 (TTA) 방법 (OneNet, FSNet, D3A, TAFAS 등) 보다 우수한 성능을 발휘했습니다. 특히 정규 시계열을 위해 설계된 방법들 (D3A 및 TAFAS 등) 은 종종 IMTS 에서 성능이 저하되었으나, Under-Cali 는 정확도를 유지하거나 향상시켰습니다.
• 효율성: 이 프레임워크는 GPU 메모리 풋프린트를 미미하게만 증가시켰고, 배치당 0.1~0.4 초 이내의 추론 지연 시간을 유지하여 배포의 실용성을 입증했습니다.
• 애블레이션: 실험을 통해 모든 구성 요소 (UE, 이중 전문가 GDC, ARM) 가 필요하며, 어떤 구성 요소를 제거하거나 무작위 라우팅/트리거를 사용할 경우 최적이지 않은 성능이 나타난다는 것이 확인되었습니다.

의의
본 논문은 Under-Cali 가 온라인 IMTS 예측의 중요한 격차에 대한 강건하고 모델-중립적인 해결책을 제공한다고 주장합니다. 불확실성을 제어 신호로 활용하고 신뢰할 수 있는 샘플과 신뢰할 수 없는 샘플을 위한 보정 경로를 격리함으로써, 이 프레임워크는 기존 시간적 가정이 실패하는 동적 환경에서 안정적인 적응을 달성합니다. 이는 기존 오프라인 IMTS 모델이 전체 재훈련의 계산 비용이나 직접 미세 조정의 불안정성 없이 새로운 데이터 분포를 지속적으로 흡수할 수 있게 합니다. 이 연구는 불규칙 시계열 응용 분야에서 분포 이동을 처리하는 새로운 기준을 수립합니다.