기술 요약: Falcon-X

문제 제기

시계열 기반 모델 (TSFMs) 은 대규모 교차 도메인 사전 학습을 활용하여 예측 방식을 혁신하고 있습니다. 그러나 기존 TSFMs 는 이질적인 다변량 데이터를 처리할 때 두 가지 근본적인 한계에 직면해 있습니다:

1. 의미 불일치 (Semantic Misalignment): 대부분의 모델은 원시 변수 공간에서 직접 작동합니다. 서로 다른 데이터셋의 이질적인 물리량 (예: 온도 대 교통량) 을 혼합할 때, 표준 그룹 어텐션 메커니즘은 각기 다른 의미를 정렬하지 못합니다. 이로 인해 "의미 붕괴 (semantic collapse)"가 발생하여, 모델이 전이 가능한 시간적 구조 대신 가짜이고 데이터셋 고유의 상관관계를 학습하게 됩니다.
2. 제한된 관계 표현력 (Limited Relational Expressivity): 실제 세계 시스템에는 시너지 (긍정적) 와 대립 (부정적) 의존성을 포함한 복잡한 상호작용이 존재합니다. 음수가 아닌 소프트맥스 점수에 의존하는 표준 어텐션 메커니즘은 주로 집계 효과를 포착할 뿐, 반대되는 역동성이나 대립적 관계를 명시적으로 모델링하는 데 어려움을 겪습니다.

현재 접근법들은 다변량 시계열을 평탄화하거나 원시 공간 내에서 그룹 어텐션을 사용하는 경우가 많은데, 이는 차원 증가에 따라 확장성이 떨어지거나 이질적인 의미를 분리하지 못해 제로샷 (zero-shot) 전이 능력을 제한합니다.

방법론: Falcon-X

Falcon-X 는 물리 변수를 상호작용 공간에서 분리하도록 설계된 인코더 전용 기반 모델 (5 억 9 천 1 백만 개 파라미터) 입니다. 이는 네 가지 주요 단계로 구성된 통합 잠재 프로토타입 공간 (Unified Latent Prototype Space) 패러다임을 도입합니다:

1. 전처리 및 토큰화

• 정규화: 입력은 관측된 값만으로 계산된 인스턴스별 평균과 표준편차를 사용하여 아크사인 (arcsine) 변환을 거치며, 이는 결측값을 보존합니다.
• 토큰화: 시퀀스에는 상대적 타임스탬프와 이진 관측 마스크가 추가됩니다. 그런 다음 비겹겹이 패치로 분할되고 잔차 패치 임베딩 메커니즘을 통해 잠재 차원으로 투영됩니다.

2. 시간 어텐션 (Time Attention)

Falcon-X 는 내재적 시간 패턴을 먼저 포착하기 위해 인코더 전용 트랜스포머 아키텍처를 사용합니다. $n$개의 시간 어텐션 레이어가 시간 차원을 따라 각 변수에 독립적으로 적용됩니다. 이는 교차 변수 상호작용이 발생하기 전에 강력한 시간적 역동성이 추출되도록 하여, 조기 의미 얽힘을 방지합니다.

3. 변수 어텐션 (핵심 혁신)

이 단계는 이질적인 입력과 통합 표현 사이의 간극을 메웁니다:

• 통합 프로토타입 차분 어텐션 (UPDA): 원시 변수를 혼합하는 대신, Falcon-X 는 이를 고정 차원의 잠재 프로토타입 공간 ($C$) 으로 투영합니다. 이는 시너지 ($K_{pos}$) 와 대립 ($K_{neg}$) 을 나타내는 두 개의 학습 가능한 키 행렬을 사용하는 차분 어텐션 (Differential Attention) 메커니즘을 활용합니다.
  • 모델은 두 키에 대한 어텐션 점수를 계산합니다: $A_{pos} = \text{softmax}(QK_{pos}^T)$ 및 $A_{neg} = \text{softmax}(QK_{neg}^T)$.
  • 통합 표현은 차분 점수에 기반하여 값을 집계함으로써 유도됩니다: $H_C = (A_{pos} - \lambda A_{neg})^T V$.
  • 직교성 손실 (orthogonality loss) 은 $K_{pos}$와 $K_{neg}$를 제약하여 의미적 구별성을 보장합니다. 이를 통해 모델은 긍정적 및 부정적 친화력을 명시적으로 포착할 수 있습니다.
• 잠재 엔티티 어텐션 (LEA): 공유 프로토타입 공간에서 정렬된 후, 글로벌 교차 변수 상호작용은 표준 멀티헤드 어텐션을 통해 수행됩니다. 모든 엔티티가 차원 무관한 동일한 의미 공간에 존재하기 때문에, 이는 서로 다른 변수 수와 물리적 의미를 가진 데이터셋 간의 원활한 제로샷 전이를 용이하게 합니다.
• 변수 재조립 라우터 (VRR): 특정 궤적을 재구성하기 위해 요청 - 배분 메커니즘이 사용됩니다. 원시 시간 임베딩에서來的인 라우팅 요청 ($R_{req}$) 은 프로토타입 인덱스 ($P_{idx}$) 와 매칭되어 소스 컨텍스트 ($S_{ctx}$) 에서 관련 의미 페이로드를 검색합니다.
  • 최종 출력은 게이트된 잔차 연결을 통해 원시 시간 임베딩과 재조립된 교차 변수 표현을 융합합니다: $\hat{H} = H_T + G(H_T) \odot H_V$. 이 게이트는 융합을 동적으로 조절하여, 약하게 상관된 시스템에서는 의미 간섭을 방지하면서 강하게 상관된 시스템에서는 의존성을 활용합니다.

4. 예측 헤드

이 모델은 양자 손실 (Quantile Loss) 을 사용하여 일련의 분위수 (quantiles) 에 걸쳐 미래 분포를 예측하는 확률적 예측 패러다임을 채택합니다.

주요 기여

1. 새로운 이질적 모델링 패러다임: Falcon-X 는 원시 공간 혼합에서 통합 잠재 프로토타입 공간으로 전환합니다. 이는 데이터셋 간의 의미적 불일치를 해결하는 보편적 좌표계를 생성하여 원칙적인 제로샷 지식 전이를 가능하게 합니다.
2. 아키텍처 혁신:
   • 차분 프로토타입 어텐션: 음수가 아닌 어텐션의 한계를 극복하고 시너지 및 대립 역동성을 명시적으로 모델링합니다.
   • 변수 재조립 라우터: 글로벌 컨텍스트와 로컬 시간 신호를 적응적으로 융합하는 게이트 메커니즘으로, 다양한 의존성 강도 전반에 걸쳐 견고성을 보장합니다.
3. 경험적 우수성: 이 모델은 포괄적인 벤치마크에서 최첨단 성능을 보여주어 구조적 적응성을 입증했습니다.

실험 결과

Falcon-X 는 자연, 에너지, 금융, 의료 등 다양한 도메인을 다루는 두 개의 대규모 벤치마크인 GIFT-Eval과 fev-bench에서 평가되었습니다.

• GIFT-Eval: Falcon-X 는 0.666 MASE 및 0.453 CRPS로 전체 최우수 성과를 달성했습니다. STRIDE(+1.2% MASE), Toto-2.0-FT(+1.9% MASE), Timer-S1(+3.9% MASE) 등 강력한 베이스라인을 능가했습니다. 특히, 예측 지평이 길어질수록 그 우위가 커져 중기 (0.68 MASE) 및 장기 (0.70 MASE) 결과에서 최우수 성적을 거두었습니다.
• fev-bench: Falcon-X 는 다른 최근 모델인 TiRex 및 Moirai 2.0 을 능가하면서, 순전히 내생적 목표 시계열에만 의존하여 Chronos-2(0.652 대 0.645 MASE) 에 근접한 순위를 기록했습니다.
• 절대 실험 (Ablation Studies): 부정적 프로토타입 키 ($K_{neg}$) 를 제거할 때 가장 심각한 성능 저하가 발생하여 대립적 관계 모델링의 필요성이 확인되었습니다. 단일 변수 + 다변량의 결합 학습은 2 단계 커리큘럼 학습보다 우수함이 입증되었습니다.
• 확장성: 이 모델은 신경 확장 법칙을 준수하여 파라미터가 5 천 9 백만 개에서 5 억 9 천 1 백만 개로 확장됨에 따라 일관된 성능 개선을 보였습니다.

중요성 및 주장

이 논문은 Falcon-X 가 복잡한 다변량 환경을 위한 원칙적이고 확장 가능한 패러다임을 제공한다고 주장합니다. 물리 변수를 상호작용 공간에서 분리하고 시너지 및 대립이라는 이중 의존성을 명시적으로 모델링함으로써, 현재 TSFMs 의 의미 정렬 및 관계 표현력 병목 현상을 해결합니다. 저자들은 이 접근법이 원시 변수 차원에 종속되지 않고 재사용 가능한 교차 도메인 패턴을 학습할 수 있도록 하여 견고한 제로샷 구조 전이를 가능하게 한다고 봅니다. 이 연구는 더 통합적이고 표현력 있는 시계열 기반 모델을 향한 한 걸음으로 제시되며, 향후 연구를 지원하기 위해 코드가 공개되었습니다.