기술 요약: 효율적인 시계열 예측을 위한 바이트 쌍 인코딩(Byte Pair Encoding)

문제 정의

시계열 예측을 위한 현재의 토큰화 방법들, 특히 트랜스포머(Transformer) 아키텍처를 활용하는 방식들은 상당한 비효율성과 유연성 부족 문제를 겪고 있습니다. 기존의 접근 방식은 주로 다음 두 가지 범주로 나뉩니다:

1. 샘플 기반 토큰(Sample-based tokens): 모든 개별 시점(time step)을 하나의 토큰으로 취급합니다. 이는 각 토큰이 최소한의 시간적 정보만을 담게 하여 지나치게 긴 시퀀스를 생성하며, 특히 긴 시퀀스를 처리할 때 트랜스포머 모델에 상당한 계산적 부담을 지웁니다.
2. 패치 기반 토큰(Patch-based tokens): 시계열을 고정된 길이의 부분 시퀀스(패치)로 나눕니다. 이 방식은 시퀀스 길이 문제를 완화하지만, 경직된 패치는 다양한 길이와 복잡성을 가진 다양한 시간적 패턴에 적응할 수 없습니다. 이러한 적응성의 결여는 제로샷(zero-shot) 설정에서 파운데이션 모델의 일반화 능력을 저해합니다.

이러한 한계는 최적화되지 않은 예측 성능과 높은 계산 오버헤드를 초고래하며, 긴 시계열의 효율적인 처리를 방해합니다.

방법론

저자들은 **시계열을 위한 바이트 쌍 인코딩(BPE for Time Series)**을 제안하며, 이는 이 분야에서 최초의 패턴 중심 토큰화 스킴입니다. 이 방법은 두 가지 주요 단계와 하나의 사후 최적화 기법으로 작동합니다:

1. 적응형 모티프 기반 토큰화 (Adaptive Motif-Based Tokenization)

자연어 처리(NLP)의 BPE에서 영감을 받은 이 방법은 반복되는 패턴을 단일 토큰으로 병합하여 시계열을 압축합니다.

• 이산화(Discretization): 연속적인 시계열 $z$는 먼저 등확률 빈(bin)으로 구성된 어휘 집합 $\Omega$를 사용하여 일련의 이산 기호로 양자화됩니다. 이는 회귀 작업을 이산 어휘 집합에 대한 분류 작업으로 변환합니다.
• 모티프 추출(Motif Extraction): 반복적인 알고리즘을 사용하여, 이산화된 시퀀스에서 가장 빈번하게 나타나는 인접 토큰 쌍을 식별하고 이를 새로운 토큰 ID로 병합합니다. 이 과정은 계층적으로 반복되어 빈번한 시계열 모티프(다양한 길이의 패턴)를 담은 어휘 집합 $\Psi$를 구축합니다.
• 압축(Compression): 반복되는 패턴을 그에 대응하는 모티프 토큰으로 교체함으로써 양자화된 시퀀스를 압축합니다. 이는 복잡한 패턴이 단일 토큰으로 표현되는 가변 길이의 토큰 시퀀스를 생성하여 적응형 압축을 가능하게 합니다. 이 알고리즘은 시퀀스 길이에 대해 선형 복잡도 $O(|\Psi| \cdot n)$를 가집니다.

2. 조건부 디코딩 (Conditional Decoding)

연속 값을 양자화하면서 발생하는 이산화 오차를 해결하기 위해, 저자들은 가볍고 사후적인 최적화 방법인 조건부 디코딩을 도입합니다.

• 메커니즘: 양자화된 토큰을 고정된 빈의 중심값으로 다시 매핑하는 대신, 디코딩 값은 이전 샘플에 따라 결정됩니다. 구체적으로, 샘플 $z_i$의 재구성은 이전 샘플 $z'_{i-1}$의 양자화된 값에 의존합니다.
• 최적화: 이러한 조건부 매핑을 위한 파라미터($\hat{\omega}_{j,k}$)는 특정 토큰 전이에 대한 기초 연속 샘플들의 평균으로서 분석적으로 계산됩니다. 이는 메인 모델의 추가적인 학습이나 그래디언트 계산을 필요로 하지 않습니다.
• 효율성: 이는 추론 시 무시할 수 있는 수준의 계산 오버헤드만 추가하며(사전(dictionary) 조회와 동일), $M^2$개의 파라미터를 가진 1차 마르코프 가정에 의존합니다.

3. 모델 아키텍처

토큰화된 시퀀스는 표준 트랜스포머 아키텍처(구체적으로 T5 변형 모델)에 의해 처리됩니다. 모델은 유한한 어휘 집합 $V = \Omega \cup \Psi \cup \{MASK, EOS\}$로부터 다음 토کن ID를 범주형 분포를 통해 예측하며, 이를 통해 시계열 예측을 다음 토큰 예측 작업으로 효과적으로 변환합니다.

주요 기여

1. 적응형 토큰화: 빈번한 모티프의 이산 어휘 집합을 기반으로 샘플들을 단일 토큰으로 병합하는 새로운 전략을 제시합니다. 이는 제한된 이산화 오차를 유지하면서 적응형 압축을 가능하게 합니다.
2. 조건부 디코딩: 시계열의 연속적 특성을 활용하여 이산화 오차를 줄이고, 파운데이션 모델을 재학습시키지 않고도 예측 품질을 크게 향提升하는 가볍고 그래디언트가 필요 없는 사후 최적화 방법을 제공합니다.
3. 실증적 검증: 다양한 데이터셋(ETTh1, ETTm1, Weather, Electricity, Traffic, Solar, Fev-bench)에 대한 제로샷 설정에서 모티프 기반 토큰화가 샘플 기반 및 패치 기반 베이스라인보다 우수함을 입증하는 광범위한 분석을 수행했습니다.

실험 결과

본 방법은 Chronos 파운데이션 모델(1,100만 개의 시계열로 학습됨)에서 평가되었으며, 7개의 다양한 데이터셋에 대해 샘플 기반 및 패치 기반 베이스라인과 비교되었습니다.

• 성능 향상: Chronos 파운데이션 모델에서 모티프 기반 토큰화는 샘플 기반 토큰화 대비 평균 **40%**의 예측 성능(MSE) 향상을 보였습니다. 조건부 디코딩을 적용했을 때 MSE 감소율은 최대 **48%**에 달했습니다.
• 효율성: 토큰 수와 자기회귀(autoregressive) 단계를 줄임으로써 평균 2314%(약 23배 가속)의 효율성 증대를 달왔습니다. 특정 사례(예: Traffic 데이터셋)에서는 56.66배의 가속을 기록했습니다.
• SOTA와의 비교: 제안된 방법은 제로샷 설정에서 SOTA 파운데이션 모델들(MOMENT, Moirai, Time-MoE, LightGTS)을 능가하거나 대등한 성능을 보였으며, 미세 조정 없이 25개 케이스 중 19개에서 최고의 예측 성능을 달성했습니다.
• 적응성: 토커나이저는 가변적인 압축률(예: Traffic의 3.30에서 Weather의 23.15까지)을 보여주며, 데이터셋 내 및 데이터셋 간의 패턴 복잡성에 적응했습니다. 더 길고 복잡한 모티프가 더 나은 예측 품질과 상관관계가 있음이 발견되었습니다.
• 강건성: 제안된 방법은 샘플 기반 베이스라인에 비해 노이즈와 이상치에 대해 우수한 강건성을 보였으며, 알려지지 않은 과도적 패턴에 대해서는 치명적인 실패 없이 샘플 기반 토큰화로 자연스럽게 회귀하는 모습을 보였습니다.

의의 및 주장

본 논문은 NLP 토큰화의 효율성과 시계열 데이터의 연속적 특성 사이의 간극을 메우는 최초의 패턴 중심 시계열 토큰화 스킴을 도입했다고 주장합니다. 저자들은 본 방법이 다음과 같은 효과를 제공한다고 명시합니다:

• 계산 비용 절감: 시계열을 더 적고 정보가 풍부한 토큰으로 압축함으로써, 대규모 파운데이션 모델의 추론 시간과 자원 소비를 크게 낮춥니다.
• 일반화 능력 향상: 토큰화의 적응적 특성은 모델이 경직된 패칭 방식보다 미지의 데이터와 다양한 시간적 패턴에 더 잘 일반화될 수 있도록 합니다.
• 의미 있는 표현 제공: 학습된 토큰 임베딩이 통계적 모멘트(평균, 표준편차) 및 추세(trend)를 포함한 뚜렷한 시계열 특성을 포착함을 보여줌으로써 모티프의 의미론적 가치를 입증했습니다.
• 실용적인 최적화 제공: 조건부 디코딩은 이산 출력 어휘를 가진 모든 사전 학습된 모델의 성능을 높일 수 있는 보편적이고 저비용인 방법으로 제시됩니다.

저자들은 이 접근 방식이 더 지속 가능하고 효율적인 시계열 모델에 기여하며, 잠재적으로 대규모 파운데이션 모델의 학습 및 배포에 따른 환경적 영향을 줄일 수 있다고 결론짓습니다. 또한, 계산 비용 문제로 인해 T5 백본에 대한 하이퍼파라미터 탐색을 수행하지 못했음을 인정하며, 향후 연구에서 더 최근의 트랜스포머 아키텍처를 탐구할 수 있음을 시사했습니다.