기술 요약: Timeflies – 존재가 가치에 앞선다 (Existence Precedes Value)

1. 문제 정의

실제 세계의 시계열 예측은 센서의 휴면, 전송 지연, 이벤트 기반 샘플링 등으로 인한 높은 수준의 불완전성과 불규칙성으로 인해 빈번하게 어려움을 겪습니다. 기존 방법론들은 경직된 "임퓨테이션 후 예측(impute-then-forecast)" 파이프라인에서 연속 시간 모델(예: Neural ODEs, 연속 시간 그래프 네트워크)로 진화하며 이러한 역사적 불규칙성을 더 잘 처리해 왔으나, 결정적인 한계점인 **완벽한 예견 가정(perfect foresight assumption)**에 직면해 있습니다.

현재의 최첨단 모델들은 추론 단계에서 미래 유효 관측치의 타임스탬프가 사전에 알려져 있다고 가정합니다. 그러나 실제 시스템에서는 특정 미래 시점에 유효한 관측이 발생할지 여부가 불분명한 경우가 많습니다. 정보의 관측 가능성(observability)을 먼저 확인하지 않고 수치적 값을 예측하는 것은 실무적으로 부적절할 수 있습니다. 본 논문은 결측(missingness)을 단순히 보정해야 할 정적인 데이터 결함이 아니라, 시스템의 행동 패턴을 반영하는 심오한 시간적 신호로 취급해야 한다고 주장합니다.

2. 방법론: Timeflies 프레임워크

이를 해결하기 위해 저자들은 **미래 관측 가능성 추론(future observability inference)**과 **가치 추정(value estimation)**을 결합된 문제로 재정의한 통합 예측 프레임워크인 Timeflies를 제안합니다. 핵심 철학은 "존재가 가치에 앞선다(Existence Precedes Value)"는 것입니다. 즉, 수치적 예측은 해당 관측이 실제로 실현될 때에만 의미를 갖습니다.

아키텍처 개요

Timeflies는 **관측 스트림(Observation Stream)**과 **가치 스트림(Value Stream)**으로 구성된 대칭적 이중 스트림 구조를 채택하며, 세 가지 시너지 모듈을 통해 결합됩니다.

1. 신뢰도 인식 패치 임베딩 (Reliability-Aware Patch Embedding):

   • 입력 시퀀스는 패치 단위로 나뉩니다.
   • 결측값으로 인한 왜곡을 방지하기 위해 관측된 항목에 대해서만 통계량을 계산하는 **마스크 인식 정규화(Mask-Aware Normalization)**가 가치 시퀀스에 적용됩니다.
   • 관측 스트림은 게이트 퓨전 메커니즘을 사용하여 결측 위치와 간격을 인코딩합니다.
   • 각 패치 내의 관측 비율과 결측 간격 지속 시간을 기반으로 **패치 신뢰도 점수($\rho$)**를 계산합니다. 이 점수는 관측 패턴의 주입을 조절하여, 노이즈가 많은 희소한 패치의 기여도는 줄이고 신뢰할 수 있는 패치의 기여도는 강화합니다.

2. 관측 가이드 가치 어텐션 (Observation-Guided Value Attention):

   • 두 스트림 모두 장기 의존성을 포착하기 위해 셀프 어텐션을 활용합니다.
   • 결정적으로, 관측 스트림은 독립적으로 작동하지 않고 교차 트랙 조건부 어텐션(Cross-track Conditioned Attention) 메커니즘을 통해 가치 스트림을 가이드합니다.
   • 어텐션 맵은 가치 스트림의 의미적 상관관계, 관측 스트림의 구조적 상관관계, 그리고 신뢰도 가중 항의 융합체입니다. 이를 통해 어텐션이 신뢰할 수 없는 희소한 키(key)로부터 멀어져 정보가 풍부한 패치로 향하도록 유도합니다.

3. 이중 예측 헤드 (Dual Prediction Head):

   • 두 스트림의 고차원 표현은 예측 지평(prediction horizon)으로 매핑됩니다.
   • 관측 가능성 예측: 분류 헤드가 각 미래 시점에 유효한 관측이 발생할 확률($\hat{O}$)을 예측합니다.
   • 가치 예측: 회귀 헤드가 미래 상태 값($\hat{Y}$)을 예측합니다.
   • 게이트 퓨전: 예측된 관측 가능성은 가치 예측에 소프트 게이트 역할을 합니다. 최종 가치 추정치는 직접적인 가치 스트림 출력과 관측 스트림의 기여도를 예측된 존재 확률에 따라 가중치를 두어 결합한 결과입니다. 이는 존재 확률이 높을 때만 관측 특징이 예측에 유의미하게 영향을 미치도록 보장합니다.

학습 목적 함수

모델은 다음과 같은 공동 손실 함수로 학습됩니다:
$$\mathcal{L} = \mathcal{L}_{val} + \eta \cdot \mathcal{L}_{obs}$$

• $\mathcal{L}_{val}$: 실제 관측값이 존재하는 타임 스텝에서만 계산된 평균 제곱 오차(MSE).
• $\mathcal{L}_{obs}$: 관측된 위치와 결측된 위치 사이의 클래스 불균형을 처리하기 위한 포컬 바이너리 크로스 엔트로피(Focal BCE).
• $\eta$: 두 작업 간의 균형을 맞추는 하이퍼파라미터.

3. 주요 기여

새로운 예측 패러다임

본 논문은 기존 모델들에 만연한 "오라클 타임스탬프 가정(oracle timestamps assumption)"에 도전합니다. 모델이 수치적 값을 추정하기 전에 관측이 발생할지 여부를 명시적으로 예측하는 패러다임을 개척했습니다. 이는 단순한 수치적 외삽에서 정보 생성 메커니즘을 추론하는 것으로 초점을 전환합니다.

기술적 진보 (Timeflies)

Timeflies는 시계열을 두 개의 상호작용하는 스트림으로 명시적으로 분해합니다. 과거의 관측 리듬을 동적 컨텍스트로 추출함으로써, 이 아키텍처는 존재 패턴이 상태 예측을 가이드하고 정교화할 수 있게 합니다. 이러한 깊은 상호작용은 정보의 관측 가능성과 그 기저의 수치적 가치 사이의 간극을 메웁니다.

경험적 및 실용적 효용성

• Shadow 벤치마크: 프레임워크를 엄격하게 검증하기 위해, 저자들은 공공 데이터셋(GIFT-Eval)의 자연스러운 결측 간격과 실제 산업용 이커머스 데이터를 결합한 종합 벤치마크인 Shadow를 구축했습니다. 특히, 자체 보유 데이터셋은 비무작위적(non-random)이며 오프피크 비활성(off-peak inactivity)과 같은 구조적 패턴을 인코딩하는 순수 자연 결측치를 포함하며, 결측 비율은 <0.1%에서 >89%까지 다양합니다.
• OVJE 지표: 저자들은 관측-가치 결합 엔트로피(Observation-Value Joint Entropy, OVJE) 지표를 도입했습니다. 전통적인 주변 오차 지표(MSE/MAE)와 달리, OVJE는 결합 분포 $P(y_t, o_t | x_t)$의 음의 로그 가능도를 계산함으로써 존재 추론과 가치 추정의 결합 능력을 평가합니다.

4. 실험 결과

Shadow 벤치마크에 대한 광범한 실험 결과, Timeflies는 Transformer 기반(PatchTST, iTransformer, FEDformer), 선형 기반(OLinear, DLinear), CNN 기반 방법들을 포함한 기존 베이스라인들을 일관되게 능가함을 입증했습니다.

• 성능: Timeflies는 모든 희소성 영역(결측 없음, 낮음, 중간, 높음)에서 최첨단 성능을 달성했습니다.
• 희소성 민감도: 데이터 희소성이 증가함에 따라 성능 격차가 크게 벌어집니다. 고희소성 환경에서 전통적인 베색라인들은 값을 맹목적으로 외삽하다가 성능이 급격히 저하되는 반면, Timeflies는 결측으로 인한 노이즈로부터 실제 신호를 효과적으로 분리해냅니다.
• 강건성: 극단적인 결측 변화(예: 결측 <1%로 학습하고 결측 >90%로 테스트)가 있는 데이터셋에서도 Timeflies는 견고한 성능을 유지하지만, 경쟁 모델들은 처참하게 실패합니다.
• 절제 연구(Ablation Studies): 핵심 구성 요소(마스크 인식 정규화, 관측 가이드 어텐션, 패치 신뢰도, 포컬 손실) 중 하나라도 제거하면 성능 저하가 발생하여, 각 모듈의 구조적 필요성을 확인했습니다.

5. 의의 및 주장

본 논문은 미래의 관측 가능성을 명시적으로 모델링하는 것이 불규칙한 환경에서 신뢰할 수 있는 수치 예측을 위한 필수적인 관문이라고 주장합니다. 결측을 결함이 아닌 구조화된 사전 정보(prior)로 취급함으로써, Timeflies는 의사결정 시스템이 관측 불확실성을 포함할 수 있도록 합니다.

저자들은 본 연구가 자연적으로 발생하는 결측 패턴을 가진 GIFT-Eval 벤치마크에 집중하며, 결측 메커니즘이 정적이라고 가정한다는 점을 겸허히 밝힙니다. 또한, 완전 관측된 환경에서도 관측 인식 모듈의 계산 오버헤드가 일정하다는 점과 채널 독립성 가정을 한계점으로 인정합니다. 그럼에도 불구하고, 이 연구는 관측 가능성과 수치적 회귀를 연결함으로써 데이터 무결성을 보장할 수 없는 실제 배포 환경을 위한 더욱 현실적인 접근 방식을 제시하며 시계열 예측의 새로운 길을 열었습니다.