기술 요약: TempoWave – 시계열 예측을 위한 다중 웨이브릿 숫자 임베딩 (Multi-Wavelet Number Embeddings)

1. 문제 정의

대규모 언어 모델(LLM)을 시계열 예측에 통합하는 과정에서 근본적인 구조적 불일치 문제가 발생한다. LLM은 이산적인 토큰 예측에 최적화되어 있는 반면, 시계리 예측은 연속적인 수치 값을 정밀하게 모델링해야 한다. 표준적인 언어 중심의 토큰화 방식(예: "2026"을 "20"과 "26"으로 분절하는 방식)은 숫자를 그 크기와 연결되지 않은 하위 토큰(sub-tokens)으로 파편화한다. 이러한 파편화는 서수적 관계를 깨뜨리고, 시간적 프로세스에 내재된 연속성을 모호하게 하며, 수치적으로 멀리 떨어진 값들 사이에 가짜 유사성을 도입한다. 결과적으로, 실수 시퀀스를 이산적 토큰으로 변환하는 계층은 주요한 병목 구간이 되며, 이는 모델이 고차원적인 시간적 패턴을 포착하더라도 수치적 동작의 신뢰성을 떨어뜨리는 원인이 된다.

이 간극을 메우기 위한 기존의 시도들—특화된 파운데이션 모델, LLM과 도구를 결합한 에이전트 시스템, 또는 패칭(patching) 및 양자화(quantization)와 같은 입력 적응 기법 등—은 종종 수치적 충실도(numerical faithfulness)를 희생하거나, 미세한 변화를 흐리게 만들거나, 혹은 종단간 미분 가능성(end-to-end differentiability)을 저해하는 외부 구성 요소에 의존한다. 따라서 표준적인 트랜스포머 입력 공간 내에서 원칙적이고 정보 보존적인 방식으로 연속적인 수치 값을 표현하는 데에는 여전히 지속적인 격차가 존재한다.

2. 방법론: TempoWave

저자들은 다중 웨이브릿, 다중 스케일 계수를 통해 스칼라 관측값을 밀집 벡터 임베딩으로 매핑하도록 설계된 플러그 앤 플레이(plug-and-play) 방식의 시간적 웨이브릿 숫자 인터페이스인 TempoWave(Multi-Wavelet Number Embedding)를 제안한다.

핵심 메커니즘

• 디지트 레벨 토큰화(Digit-Level Tokenization): 전체 숫자를 토큰화하는 대신, 입력 시계열 값을 고정 정밀도 문자열(예: $V.FFFF$)로 렌더링한다. 각 자리 숫자($d \in {0, \dots, 9}$)는 개별 토큰으로 취급된다.
• 웨이브릿 기반 임베딩 구축:
  • 신호 표현: 각 자리 숫자 $d$는 $\tilde{d} \in [0, 1]$로 정규화되며, 고정된 그리드 상의 이산 임펄스(크로네커 델타)로 표현된다.
  • 다중 웨이브릿 계수: 숫자 신호는 여러 스케일 $S$에 걸쳐 사전 정의된 웨이브릿 패밀리 $\Psi$(예: Haar, db4, Morlet)에 투영된다. 숫자 $d$에 대한 웨이브릿 계수는 숫자 신호와 샘플링된 웨이브릿 간의 내적(inner product)으로 계산된다: $W_{\psi_i, s_j}(d) = \langle f_d, \psi_{i, s_j} \rangle$.
  • 임베딩 생성: 이 계수들을 하나의 특징 벡터 $\phi(d)$로 결합하고, 고정된 정렬 함수 $g(\cdot)$를 통해 LLM의 임베딩 차원 $D$로 매핑한다. 이를 통해 숫자 임베딩 $E(d) \in \mathbb{R}^D$가 생성된다.
• 통합: 입력 시퀀스의 숫자 위치에 대한 표준 토큰 임베딩은 이 계산된 $E(d)$ 벡터로 대체되며, 텍스트 및 컨텍스트 토큰은 표준 임베딩을 유지한다. LLM 백본은 변경되지 않으며, 미래의 숫자 토큰을 예측하도록 지도 미세 조정(SFT)을 통해 학습된다.

설계 원칙

• 구조적 충실도(Structural Faithfulness): 숫자를 원시 스칼라 크기가 아닌 구조화된 다중 스케일 패턴을 통해 인코딩함으로써, TempoWave는 수치적 정체성이 상대적 패턴에 의해 결정되도록 보장한다. 이는 트랜스포머에서 흔히 사용되는 레이어 정규화(LayerNorm, RMSNorm 등)에 의한 임베딩의 재스케일링 및 재중심화에 대해 견고함을 제공한다.
• 단조 이웃 일관성(Monotonic Neighborhood Consistency): 다중 웨이브릿 구축은 개선된 분리성을 가진 유한한 디지트 코드북을 유도한다. 이론적 분석에 따르면, 웨이브릿-스케일 쌍에 걸쳐 계수를 결합하면 숫자 임베딩 간의 쌍별 거리를 증가시켜, 강력한 최근접 이웃 회복 가능성과 수치적 순서 보존을 보장한다.

3. 주요 기여

1. 웨이브릿 기반 숫자 인터페이스: TempoWave는 숫자의 언어적 토큰화에 의존하지 않고 직접 사용할 수 있는 숫자 인터페이스를 제공함으로써, LLM의 범용적인 맥락 추론 능력과 정밀한 수치 예측 사이의 모달리티 간극을 효과적으로 메운다.
2. 충실하고 안정적인 표현: 본 방법론은 수치적 충실도 및 안정성과 관련된 속성, 즉 값들 간의 개선된 분리성과 일반적인 정규화 연산에 대한 견고성을 확립한다.
3. 진단 기능을 갖춘 종합적 평가: 저자들은 다양한 벤치마크에 걸친 광범한 실험을 제공하며, 임베딩 인터페이스가 모델 내의 수치적 이웃을 어떻게 재형성하는지 설명하기 위해 진단 분석(예: 단조 이웃 일관성 프로빙)을 도입한다.

4. 실험 결과

저자들은 다섯 가지 컨텍스트 풍부(context-enriched) 예측 벤치마크에서 TempoWave를 평가하였다:

• 데이터셋: AUL(호주 전력), BIT(비트코인), MSPG(멜버른 태양광 발전), PTF(파리 교통 흐름), LEU(런던 전력 사용량). 이 데이터셋들은 역사적 시계열을 텍스트 또는 이벤트 기반 컨텍스트(예: 뉴스, 날씨, 날짜)와 결합한 형태이다.
• 베이스라인: 표준 LLM 토큰화, 대안적 임베딩 인터페이스(예: 푸리에 기반 FoNE), 특화된 시계열 모델(DLinear, Autoformer, TimesNet), 그리고 시계열 파운데이션 모델(Chronos, Moirai)을 포함하여 비교하였다.
• 성능:
  • TempoWave는 5개 데이터셋의 10개 보고된 지표(RMSE 및 MAE) 중 **7개에서 새로운 SOTA(State-of-the-Art)**를 달성했다.
  • 모든 지표에서 상위 2위 안에 들었다.
  • 이전 최고 방법론과 비교했을 때, TempoWave는 평균 7.0%의 상대적 MAE 개선을 보였으며, 특히 LEU(14.4%)와 AUL(11.2%)에서 유의미한 이득을 보였다.
  • 푸리에 기반 인터페이스와 비교하여 비정상성(non-stationary) 및 이벤트 중심 데이터셋(예: 비트코인)에서 우수한 견고성을 입증했다.
• 절제 연구(Ablation Studies):
  • 컨텍스트: 풍부한 컨텍스트 정보(Catch22 피처, 상황적 컨텍스트)를 통합하는 것이 성능을 일관되적으로 향상시켰으며, 풀-컨텍스트(full-context) 설정에서 최상의 결과를 얻었다.
  • 임베딩 정렬: 토큰 ID 차이 분포 분석 결과, TempoWave는 0을 중심으로 하는 매끄러운 단봉형(unimodal) 분포를 생성하여 강력한 국소 근접성과 기저 시계열 역학과의 정렬을 보여주었다. 반면, 베이스라인들은 더 평탄한 분포나 이상한 스파이크를 보여, 약한 정렬이나 과적합을 시사했다.

5. 의의 및 주장

본 논문은 숫자 인터페이스가 LLM 기반 시계열 예측의 핵심 병목 구간이라고 주장한다. TempoWave를 도입함으로써, 저자들은 원칙적인 다중 해상도 임베딩이 LLM의 맥락적 추론 능력을 정밀한 수치 예측과 더 잘 결합할 수 있음을 입증한다.

이 연구의 의의는 다음과 같다:

• 수치 구조의 보존: 연속적인 값을 표현함에 있어 이산적인 트랜스포머 아키텍처 내에서 서수적 관계와 다중 스케일 시간 구조(국소적 변동 및 글로벌 트렌드)를 존중하는 방법을 제시한다.
• 견고성: 정규화 및 분포 변화(distribution shifts) 하에서의 LLM의 취약한 수치 추론 문제를 해결한다.
• 일반화 가능성: 적절한 숫자 기반 인터페이스를 갖춘 표준 LLM 백본이, 특히 이질적인 텍스트 신호(컨텍스트 인식 예측)의 통합이 필요한 시나리오에서 특화된 시계열 모델보다 뛰어난 성능을 낼 수 있음을 보여준다.

저자들은 결론적으로 여전히 과제가 남아있지만, TempoWave가 더 충실하고 신뢰할 수 있는 LLM 기반 예측을 위한 경로를 제공하며, 향후 연구에서 이산화에 의존하는 비-컨텍스트 파이프라인에 대한 적용 가능성을 탐색할 수 있을 것이라고 제언한다.