기술 요약: Chronicle

문제 정의

실제 세계의 시계열 데이터는 본질적으로 다중 모달이며, 텍스트 메타데이터, 설명, 뉴스, 보고서 등이 수반됩니다. 그러나 기존 시계열 기초 모델 (TSFMs) 은 고립된 수치 시퀀스를 처리하여 이러한 텍스트 컨텍스트를 통합할 메커니즘이 부족합니다. 반면, 언어와 시계열을 연결하려는 다중 모달 모델은 세 가지 체계적인 한계에 직면합니다:

1. 사후 적응 (Post-hoc Adaptation): 모든 모델이 사전 훈련된 언어 모델 (LLM) 에서 시작하여 이를 시계열에 적응시킵니다. 결과적으로 내부 표현은 오직 텍스트에 의해 형성되어, 시계열 모달리티가 시간 데이터용으로 설계되지 않은 표현 공간에 맞춰지도록 강요받습니다.
2. 평가 격차: 이러한 모델들은 어느 영역 (전용 TSFM 이나 전용 LLM) 에서도 최첨단 단일 모달 기초 모델에 비해 거의 평가되지 않아, 결합 훈련의 필요성이 입증되지 않은 채 남아 있습니다.
3. 아키텍처 비대화: 많은 모델이 대화형 추론을 목표로 하며 거대한 백본 (8~14B 파라미터) 을 요구하여, 범용 시간 표현 학습이라는 목표와 추론 에이전트 구축이라는 목표를 혼동합니다.

이 논문이 다루는 핵심 질문은, 소형 모델이 파국적 간섭 없이 텍스트와 시계열 모두에 대한 고품질 표현을 처음부터 학습할 수 있는지, 그리고 사전 훈련된 LLM 을 적응시키는 것에 비해 결합 사전 훈련이 필요한지 여부입니다.

방법론

저자들은 자연어와 시계열을 단일 통합 아키텍처 내에서 처음부터 훈련한 324M 파라미터 디코더 전용 트랜스포머인 Chronicle을 제시합니다.

아키텍처

• 공유 백본: 두 모달리티는 동일한 16 레이어 트랜스포머 블록, 어텐션 메커니즘, 잔여 스트림을 공유합니다. 모달리티별 구성 요소는 입력 및 출력 인터페이스로 제한됩니다.
• 입력 표현:
  • 텍스트: 출력 헤드와 공유된 임베딩을 가진 131k 항목 BPE 어휘를 통해 토큰화됩니다.
  • 시계열: PatchTST-FM 과 Chronos-2 에 따라, 시계열은 (가시 값만 사용하여) 표준화되고 이상치를 억제하기 위해 역쌍곡선 함수를 통해 변환됩니다. 그런 다음 겹치지 않는 패치 ($P=32$) 로 분할됩니다. 각 패치는 시간 램프, 정규화된 값, 유효성 마스크, 채널 램프 (다변량 입력용) 를 연결한 4P 차원 특징 벡터로 표현됩니다. 이러한 벡터는 공유 임베딩 차원 ($d=1024$) 으로 투영됩니다.
• 출력 헤드:
  • 텍스트: 로그 소프트 캡핑이 적용된 연결된 언어 모델 헤드로, 교차 엔트로피 ($L_{CE}$) 를 통해 최적화됩니다.
  • 시계열: 21 개의 분위수 수준 ($\tau \in [0.05, 0.95]$) 을 예측하는 분위수 헤드로, 마스크된 분위수 손실 ($L_{QL}$) 을 통해 최적화됩니다.
• 훈련 목적 함수: 총 손실은 손실 간의 규모 차이를 고려하여 기울기 기여도를 균형 있게 조정하기 위해 가중 합 $L = w_{text}L_{CE} + w_{TS}L_{QL}$이며, 가중치는 $w_{text}=1.0$, $w_{TS}=2.5$입니다.

훈련 전략

Chronicle 은 두 단계 사전 훈련 프로세스를 사용합니다:

1. 1 단계 (단일 모달 사전 훈련): 모델은 텍스트 전용 및 시계열 전용 배치의 92/8 비율로 훈련됩니다. 이는 백본이 각 모달리티에 대한 견고한 표현을 독립적으로 학습하도록 보장합니다. 텍스트 데이터는 FineWeb-Edu 와 Dolmino-mix 에서, 시계열 데이터는 KernelSynth 로 증강된 GiftEvalPretrain 에서 제공됩니다.
2. 2 단계 (교차 모달 정렬): 컨텍스트 길이는 4096 으로 확장됩니다. 명시적인 교차 모달 대응 관계를 확립하기 위해 소수의 시계열 토큰 (5%) 이 ChatTS 와 Merrill 등으로부터의 인터리브된 텍스트 및 시계열 시퀀스로 대체됩니다. 모달리티별 능력을 보존하기 위해 훈련의 대부분은 단일 모달로 유지됩니다.

주요 기여

1. 처음부터의 결합 사전 훈련: Chronicle 은 사전 훈련된 LLM 을 적응시키는 대신, 단일 공유 트랜스포머 백본 내에서 무작위 초기화에서 텍스트와 시계열을 엔드투엔드로 학습한 최초의 모델입니다.
2. 엄격한 교차 도메인 평가: 이 모델은 두 도메인 (NLU 를 위한 규모 일치 LLM 과 예측/분류를 위한 전용 TSFM) 의 전용 기초 모델에 대해 벤치마크되어, 다중 모달 시계열 문헌의 오랜 격차를 해소했습니다.
3. 강력한 고정 백본 성능: Chronicle 은 데이터셋별 백본 재훈련 없이 다중 모달 작업에서 최첨단 결과를 달성하여, 소형 모델이 범용 표현 엔진으로 기능할 수 있음을 입증했습니다.

결과

언어 이해 (NLU)

19 개 NLU 작업 (DCLM 스위트) 에서 평가된 Chronicle(2 단계) 은 평균 정확도 0.406을 달성하여 Gemma-3-270M-PT(0.406) 와 동급이고 GPT-2(0.324) 보다 우수합니다. 주목할 점은 규모가 일치하는 텍스트 전용 경쟁 모델보다 약 43~87 배 적은 약 138B 텍스트 토큰만 노출되었음에도 불구하고 이를 달성했다는 것입니다. 이는 시계열에 약 8% 의 컴퓨팅 자원을 할당하는 것이 파국적 간섭을 초래하지 않음을 검증합니다.

제로샷 확률적 예측 (GIFT-Eval)

GIFT-Eval 벤치마크 (97 개 작업) 에서 1 단계(순수 단일 모달 훈련) 는 MASE 0.978과 CRPS 0.690을 달성하여 여러 감독 기반선 (예: N-BEATS, DLinear) 과 통계적 방법을 능가하지만, PatchTST-FM-r1 과 같은 전용 TSFM 에는 미치지 못합니다. 2 단계는 정렬 단계로 인해 성능이 약간 하락합니다 (MASE 1.053). 이는 순수 예측 성능과 다중 모달 전이 능력 사이의 트레이드오프를 강조합니다.

하위 도메인 다중 모달 작업

• 다중 모달 분류 (TimeCAP): Chronicle 은 모든 MM-TSFlib 및 FM Fusion 기반선을 능가합니다. LoRA($r=64$) 를 적용한 2 단계는 최고의 매크로-F1(0.613) 과 AUC(0.757) 를 달성합니다.
• 다중 모달 예측 (Time-MMD): Chronicle 2 단계 (선형 프로브) 는 전체 정규화 MAE(0.514) 와 평균 순위(2.56) 에서 최고의 성과를 거두어, BERT+TNet(0.621) 과 같은 강력한 기반선을 능가합니다.
• 시계열 분류 (UCR/UEA): 24 개 데이터셋에서 Chronicle 1 단계는 고정 임베딩 분류에 대한 새로운 기준을 설정하여 0.736 정확도와 0.712 F1을 기록하며, Moirai-2(0.714) 와 TimesFM(0.611) 과 같은 전용 TSFM 을 능가합니다.

기술적 뉘앙스

• 토큰 반복: 짧은 시계열 작업 (TimeCAP) 의 경우, 공유 시퀀스 내 텍스트 - TS 토큰 비율을 재조정함으로써 시간 토큰 블록을 반복 ($r=64$) 하는 것이 성능을 크게 향상시킵니다.
• 채널 인식: 다변량 입력에서 채널 정체성을 명시적으로 인코딩하는 것은 평균 채널 풀링에 비해 분류 성능을 평균적으로 향상시킵니다.

중요성 및 주장

이 논문은 텍스트와 시계열이 파국적 간섭 없이 트랜스포머 백본을 공유할 수 있음을 Chronicle 이 입증했다고 주장하며, 다중 모달 시계열 모델이 반드시 사전 훈련된 LLM 을 적응시켜야 한다는 지배적인 가정에 도전합니다.

저자들은 처음부터의 결합 사전 훈련이 범용 시간 표현에 대한 더 직접적인 경로라고 주장합니다. 순수 예측 분야에서 Chronicle 과 전용 TSFM 사이에는 여전히 격차가 존재합니다 (컴퓨팅 할당량과 인과적 다음 패치 목적 함수로 인한). 그러나 이 모델은 컴팩트한 324M 파라미터 아키텍처에서 언어 이해와 시간 표현을 성공적으로 통합합니다. 결과는 다중 모달성의 이점이 단순히 고정된 LLM 에 텍스트를 추가하는 기능만이 아니라, 두 모달리티가 처음부터 표현을 형성하는 통합 훈련 패러다임에서 비롯될 수 있음을 시사합니다.