From Tokenizer Bias to Backbone Capability: A Controlled Study of LLMs for Time Series Forecasting

이 논문은 토크나이저-디토크나이저 쌍의 편향을 통제하고 대규모 사전 학습을 통해 LLM 의 시간 계열 예측 본질적 능력을 평가한 결과, LLM 백본은 큰 잠재력을 보이지만 대규모 시간 계열 데이터로 특화되어 훈련된 모델만큼 일관되게 뛰어난 성능을 내지는 못함을 밝혔습니다.

핵심

🕵️‍♂️ 핵심 비유: "유명 요리사 vs. 현지 소스"

이 논문의 주인공은 **거대 언어 모델 (LLM)**입니다. 이 모델은 방대한 양의 책과 글을 읽어서 언어를 완벽하게 이해하는 **'유명 요리사'**라고 상상해 보세요.

최근 연구자들은 이 유명 요리사에게 "이제부터는 주식 차트나 날씨 데이터를 요리해 줘"라고 시켰습니다. 하지만 문제는 **요리사에게 재료를 건네는 '도구 (Tokenizer)'**에 있었습니다.

1. 기존 연구의 문제점: "맞춤형 소스에 중독된 요리사"

기존 연구들은 다음과 같은 방식으로 실험했습니다.

• 상황: 요리사 (LLM) 는 **동결 (Frozen)**되어 있습니다. 즉, 원래의 지식을 그대로 유지하며 새로운 것을 배우지 못합니다.
• 도구: 연구자들은 아주 작은 데이터셋 (예: 1 주일 치의 날씨 데이터) 만으로 '도구 (Tokenizer)'를 훈련시켰습니다.
• 결과: 이 도구가 아주 작은 데이터에 맞춰서 완벽하게 최적화되었습니다. 마치 요리사가 "오늘은 이 작은 양의 소스만 있으면 최고로 맛있는 요리를 만든다"는 식으로, 소스 (도구) 가 요리사 (LLM) 의 실력을 가리고 있는 상황이 된 것입니다.

비유: 유명 요리사 (LLM) 가 아니라, **그날그날의 재료를 완벽하게 다듬어 주는 비서 (Tokenizer)**가 실력을 발휘한 것입니다. 그래서 "요리사가 정말로 능력이 있을까?"라고 묻기엔, 비서가 너무 잘해서 요리사의 실력을 가려버린 것이죠.

2. 이 연구의 해결책: "공정한 시험"

저자들은 이 문제를 해결하기 위해 세 가지 다른 요리사를 준비했습니다. 모두 같은 주방 (아키텍처) 을 쓰지만, 훈련 방식만 다릅니다.

1. 원래 요리사 (Train-TD): 원래의 언어 지식을 가진 요리사. 하지만 비서 (Tokenizer) 만을 대량의 데이터로 훈련시켜 편향을 없앴습니다.
2. 시계열 전문 요리사 (Train-B): 언어 지식은 버리고, 오직 시계열 데이터만 대량으로 배운 요리사.
3. 완전 훈련 요리사 (Train-BTD): 비서와 요리사 모두 처음부터 시계열 데이터로 함께 훈련한 요리사.

이제 이 세 명에게 **아직 본 적 없는 새로운 데이터 (Zero-shot)**를 주고 요리를 시켰습니다.

3. 놀라운 결론: "요리사의 실력은 생각보다 평범하다"

실험 결과는 다음과 같았습니다.

• 비서 (Tokenizer) 가 너무 잘해서 요리사를 가렸다: 기존 연구들은 작은 데이터만 썼기 때문에, 비서만 잘 훈련되면 요리사 (LLM) 가 없어도 결과가 비슷했습니다.
• LLM 의 언어 지식은 시계열에 도움이 안 됨: "책을 많이 읽은 요리사 (GPT-2)"가 시계열 데이터를 예측하는 데는 큰 도움이 되지 않았습니다. 오히려 **시계열 데이터만 전문적으로 배운 요리사 (Train-B)**가 더 잘했습니다.
• LLM 이 정말로 필요할까?: LLM 을 쓰지 않고, 시계열 데이터만 5 천만 개 정도 학습한 간단한 모델이, 거대 LLM 을 동결하고 쓰는 것보다 더 나쁘지 않은, 혹은 더 좋은 결과를 냈습니다.

💡 요약 및 교훈

이 논문은 **"LLM 이 시계열 예측에 마법처럼 쓰이는 것은 아니다"**라고 말합니다.

• 기존의 착각: "LLM 이니까 무조건 잘할 거야"라고 생각했지만, 실제로는 데이터를 가공하는 도구 (Tokenizer) 가 너무 잘 맞춰져서 LLM 의 실력을 숨기고 있었다.
• 진실: LLM 의 언어적 지식은 주식이나 날씨 예측에는 큰 도움이 되지 않습니다. 오히려 시계열 데이터 자체를 대량으로 학습한 전용 모델이 더 효율적입니다.
• 미래: 만약 LLM 을 써야 한다면, 단순히 언어 지식을 가져다 쓰는 게 아니라, 시계열 데이터로 **재교육 (Fine-tuning)**을 시키거나 아예 처음부터 시계열용으로 훈련시켜야 합니다.

한 줄 요약:

"유명한 요리사 (LLM) 를 데려왔는데, 그보다 **재료 손질하는 비서 (Tokenizer)**가 너무 잘해서 요리사의 실력을 가리고 있었다는 것을 밝혀낸 연구입니다. 결국 시계열 예측에는 시계열만 전문적으로 배운 요리사가 더 낫다는 결론입니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

최근 사전 학습된 대규모 언어 모델 (LLM) 을 시계열 예측의 백본 (Backbone) 으로 활용하는 연구가 활발해지고 있습니다. 기존 접근법은 시계열 데이터를 패치 (patch) 로 나누어 토큰화 (Tokenizer) 하고, 이를 LLM 에 입력한 후, 다시 수치로 변환 (Detokenizer) 하여 예측하는 방식을 취합니다.

하지만 이 논문은 기존 연구들의 평가 방식에 근본적인 문제가 있다고 지적합니다.

• Tokenizer-Detokenizer 편향 (Bias): 기존 연구들은 주로 소규모 데이터셋에서 Tokenizer 와 Detokenizer 만을 학습시키고 LLM 백본은 동결 (frozen) 시킵니다. 이 경우, Tokenizer 와 Detokenizer 가 소규모 데이터의 분포에 과도하게 적응 (overfitting) 하여, 실제 LLM 백본의 예측 능력을 가려버립니다.
• 평가의 왜곡: 작은 데이터셋에서 Tokenizer-Detokenizer 쌍이 강력한 예측 능력을 발휘할 수 있기 때문에, LLM 백본이 제거되거나 단순화되어도 성능이 크게 떨어지지 않는 것으로 나타납니다. 이는 LLM 의 실제 기여도가 과소평가되거나, 반대로 LLM 이 불필요하다는 오해를 불러일으킬 수 있습니다.
• Zero-shot/Few-shot 평가의 한계: 기존 제로샷 (zero-shot) 평가도 학습 데이터와 테스트 데이터의 분포가 유사할 때만 성능이 좋으며, Tokenizer-Detokenizer 가 학습 데이터에 편향되어 있어 LLM 의 진정한 일반화 능력을 측정하지 못합니다.

2. 제안된 방법론 (Methodology)

저자는 LLM 의 시계열 예측 능력을 공정하게 평가하기 위해 통제된 평가 프레임워크 (Controlled Evaluation Framework) 를 제안합니다. 핵심은 동일한 아키텍처를 사용하되 세 가지 다른 사전 학습 전략을 적용하여 모델을 비교하는 것입니다.

2.1 모델 아키텍처

• 구조: 12 층 GPT-2 (Decoder-only) 백본을 사용합니다.
• 입출력: 시계열 데이터를 패치로 나누고, 2 층 MLP 기반의 Tokenizer 와 Detokenizer 를 통해 LLM 의 토큰 공간에 매핑합니다.

2.2 세 가지 사전 학습 전략

1. Train-TD (Train Tokenizer-Detokenizer):
   • GPT-2 의 사전 학습된 가중치 (텍스트 지식) 를 백본으로 고정합니다.
   • 대규모 시계열 데이터셋 (UTS 2G, 약 1 억 샘플) 에서 Tokenizer 와 Detokenizer 만 학습시킵니다.
   • 목적: LLM 의 텍스트 지식을 유지하면서 토크나이저가 편향되지 않도록 대규모 데이터로 학습시킴.
2. Train-B (Train Backbone):
   • Train-TD 에서 학습된 Tokenizer-Detokenizer 를 재사용합니다.
   • Transformer 백본의 가중치는 무작위로 초기화하고, 대규모 시계열 데이터셋에서 백본만 학습시킵니다.
   • 목적: 텍스트 지식을 시계열 지식으로 대체하여 백본의 순수한 시계열 예측 능력을 측정.
3. Train-BTD (Train Backbone and Tokenizer-Detokenizer):
   • 모든 파라미터 (백본, 토크나이저, 디토크나이저) 를 무작위 초기화합니다.
   • 대규모 시계열 데이터셋에서 전체 모델을 엔드 - 투 - 엔드 학습시킵니다.
   • 목적: 시계열에 최적화된 완전한 대형 모델로서의 성능을 검증.

2.3 실험 설정

• 데이터: 사전 학습에는 UTS 데이터셋 (약 1 억 샘플) 을 사용. 평가에는 ETTH1/2, ETTM1/2, Traffic, Electricity, Exchange rate 등 7 개의 실제 세계 데이터셋 사용.
• 평가 방식:
  • Zero-shot: 미세 조정 (Fine-tuning) 없이 사전 학습된 모델을 직접 테스트.
  • Few-shot: 테스트 데이터의 10% 만으로 미세 조정 후 평가.
• 비교 대상: Timer, Moirai, Chronos 등 기존 대형 시계열 모델 및 DI-GPT (동결된 백본, 무작위 초기화) 를 베이스라인로 사용.

3. 주요 결과 및 분석 (Key Results & Analysis)

3.1 Tokenizer-Detokenizer 의 편향 확인

• 소규모 데이터셋에서 학습된 Tokenizer-Detokenizer 는 백본의 지식과 무관하게 높은 성능을 냅니다. 이는 기존 연구들이 LLM 백본의 역할을 과소평가하게 만든 주원인임을 보여줍니다.
• 대규모 데이터로 학습된 Tokenizer-Detokenizer 를 사용하면 Zero-shot 성능이 크게 향상되며, LLM 백본의 기여도가 명확히 드러납니다.

3.2 사전 학습 지식의 효과성

• Train-TD vs Train-B: 텍스트 기반 사전 학습 지식 (Train-TD) 을 시계열 지식 (Train-B) 으로 대체했을 때 대부분의 데이터셋에서 성능이 향상되었습니다. 이는 기존 LLM 의 텍스트 지식이 시계열 예측에 직접적으로 유용하지 않음을 시사합니다.
• Train-B vs Train-BTD: Train-BTD (전체 학습) 가 Train-B (백본만 학습) 보다 성능이 우수했습니다. 이는 LLM 백본에 맞춰 학습된 Tokenizer-Detokenizer 가 시계열 작업에는 적합하지 않으며, 백본과 토크나이저가 함께 최적화되어야 함을 의미합니다.

3.3 어휘 (Vocabulary) 정렬의 비효율성

• LLM 의 어휘와 시계열 토큰을 정렬하려는 시도 (Cross-attention 등) 는 오히려 Zero-shot 성능을 저하시켰습니다.
• 시계열 토큰은 LLM 의 어휘 공간 밖 (Out-of-Distribution) 에 위치하며, LLM 은 어휘 모델링 능력을 시계열 예측에 직접 적용하기보다 아웃 - 오브 - 도메인 일반화를 통해 예측을 수행합니다.

3.4 모델 규모와 성능

• LLM 규모 증가: GPT-2(128M) 보다 큰 Qwen-1.8B 나 LLaMA3-8B 를 사용해도 Zero-shot 성능이 향상되지 않았습니다. 오히려 일부 데이터셋에서는 성능이 떨어졌습니다.
• 데이터 효율성: GPT-2 백본과 동등한 성능을 내기 위해 필요한 시계열 데이터 양은 약 1500 만~5000 만 개로 추산되었습니다. 이는 LLM 이 가진 방대한 파라미터 대비 시계열 예측에 대한 효율성이 낮음을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. Tokenizer-Detokenizer 편향의 발견: 기존 LLM 기반 시계열 예측 연구가 소규모 데이터셋에서 토크나이저와 디토크나이저의 과도한 적응으로 인해 LLM 백본의 실제 능력을 제대로 평가하지 못했음을 규명했습니다.
2. 통제된 평가 프레임워크 제안: 동일한 아키텍처에 다양한 사전 학습 전략 (Train-TD, Train-B, Train-BTD) 을 적용하여 LLM 의 본질적인 예측 능력을 분리하고 정량화하는 새로운 방법론을 제시했습니다.
3. LLM 의 한계와 통찰:
   • 텍스트 기반 LLM 의 사전 학습 지식이 시계열 예측에 직접적인 이점을 주지 않음.
   • LLM 백본을 미세 조정하는 것보다 무작위 초기화 후 시계열 데이터로 학습하는 것이 더 효율적일 수 있음.
   • 더 큰 언어 모델이 반드시 더 좋은 시계열 예측 성능을 보장하지는 않음.
   • 시계열 예측을 위해 LLM 백본을 활용하려면 텍스트 지식보다 시계열 특화 데이터로 대규모 학습이 필요함.

5. 의의 및 결론 (Significance)

이 논문은 "LLM 이 시계열 예측에 혁신을 가져올 것인가?"라는 질문에 대해 신중한 시각을 제공합니다.

• 기존 연구들이 LLM 의 성능을 과장하거나, 반대로 아키텍처의 효과만 보고 LLM 의 가치를 부정하는 오류를 지적했습니다.
• LLM 을 시계열 예측에 적용할 때는 Tokenizer-Detokenizer 의 편향을 제거하고, 대규모 시계열 데이터로 백본을 재학습하거나 시계열에 특화된 아키텍처를 설계해야 함을 강조합니다.
• 단순히 텍스트 LLM 을 가져와서 시계열에 적용하는 것만으로는 한계가 명확하며, 시계열 데이터의 특성을 반영한 새로운 학습 전략이 필요함을 시사합니다.

결론적으로, LLM 백본은 시계열 예측에 일부 가능성을 보이지만, 현재 상태에서는 전용으로 학습된 시계열 모델 (예: PatchTST, ModernTCN 등) 을 능가하지 못하며, 그 잠재력을 끌어내기 위해서는 토크나이저 편향을 해소하고 시계열 데이터에 대한 대규모 학습이 필수적입니다.