Thoth: Mid-Training Bridges LLMs to Time Series Understanding

이 논문은 'Book-of-Thoth'라는 고품질 중간 학습 코퍼스를 활용하여 시계열 데이터와 자연어 간의 정렬을 달성한 최초의 범용 시계열 이해 LLM 인 'Thoth'를 제안하고, 이를 통해 기존 모델 대비 우수한 시계열 추론 성능과 데이터 부족 상황에서의 적응력을 입증합니다.

핵심

📜 '토트 (Thoth)': 시계열 데이터를 이해하는 AI 의 새로운 등용문

이 논문은 **"대형 언어 모델 (LLM)"**이라는 똑똑한 AI 가 왜 숫자 흐름 (시계열 데이터) 을 이해하는 데 어려움을 겪는지, 그리고 이를 해결하기 위해 개발된 새로운 방법 **'토트 (Thoth)'**에 대해 설명합니다.

비유를 들어 쉽게 설명해 드릴게요.

---

1. 문제: "책은 잘 읽는데, 그래프는看不懂?" 📚📉

지금까지의 AI(예: GPT, Qwen 등) 는 수백만 권의 책과 인터넷 글을 읽으며 언어를 배우고 논리를 익혔습니다. 마치 만능 지식인처럼요.
하지만 현실 세계의 데이터는 책으로만 존재하지 않습니다. 주식 가격, 날씨 변화, 심박수, 교통량 등은 모두 **시간이 지남에 따라 변하는 숫자 (시계열 데이터)**로 기록됩니다.

• 현재 상황: AI 는 "주식이 올랐나요?"라고 물으면 "글쎄요, 문맥상 그렇네요"라고 추측만 할 뿐, 실제 숫자의 흐름을 정확히 읽지 못합니다.
• 원인: AI 는 '글'을 배우는 데만 특화되어 있어, '숫자의 흐름'이라는 새로운 언어를 모릅니다.

2. 해결책: '토트 (Thoth)'와 '토트의 서 (Book of Thoth)' 🌙📖

연구진은 AI 가 시계열 데이터를 이해하도록 돕기 위해 **중간 교육 (Mid-training)**이라는 새로운 단계를 도입했습니다.

🏗️ 중간 교육이란 무엇인가요?

AI 의 학습 과정을 건축에 비유해 볼까요?

1. 사전 학습 (Pre-training): 넓은 기초 공사. 모든 지식을 쌓는 단계.
2. 후속 학습 (Post-training): 특정 직업 (예: 의사, 변호사) 을 위한 전문 교육.
3. 중간 교육 (Mid-training - 토트의 역할): 기초 공사와 전문 교육 사이의 '연결 다리'입니다.

기존에는 AI 가 기초 공사를 끝내고 바로 전문 교육 (예: 주식 분석) 을 받으면, 기초 지식이 잊히거나 (망각) 전문성만 생기는 문제가 있었습니다. 하지만 중간 교육을 통해 AI 는 일반적인 지식은 유지하면서, 시계열 데이터라는 '새로운 언어'를 자연스럽게 습득하게 됩니다.

📚 '토트의 서 (Book of Thoth)'란?

AI 를 가르치기 위해 연구진이 만든 특별한 교재입니다.

• 기존 교재: "이 그래프는 상승 추세가 맞나요? (O/X)"처럼 특정 문제만 풀게 하는 것.
• 토트의 서:
  • 시계열 → 글: 복잡한 숫자 그래프를 보고 "이 그래프는 아침에 조용하다가 오후에 급격히 치솟았다"라고 자연스럽게 설명하는 법을 배웁니다.
  • 글 → 시계열: "비가 오면 수위가 오르는 그래프"라는 글을 읽고, 그에 맞는 숫자 그래프를 그려내는 법도 배웁니다.

이처럼 글과 숫자를 서로 번역하듯 가르쳐서, AI 가 데이터의 흐름을 언어처럼 자연스럽게 이해하게 만든 것입니다.

3. 새로운 시험: 'KnoTS' (지식 기반 시계열 퀴즈) 🧠🔍

단순히 그래프를 보는 것을 넘어, **실제 상황 (도메인 지식)**을 적용해 추론할 수 있는지 테스트하기 위해 새로운 시험을 만들었습니다.

• 예시: "지하의 이산화탄소 농도가 갑자기 떨어졌는데, 왜 그럴까?"
  • 일반 AI: "데이터가 떨어졌네요." (단순 관찰)
  • 토트 (Thoth): "아, 기압이 급격히 올라가서 공기가 아래로 밀려 내려가면서 이산화탄소가 희석된 모양이군요. 비가 온 뒤에는 토양이 막혀서 기체 교환이 안 된 것 같습니다." (기상 지식 + 데이터 흐름을 결합한 추론)

이 시험을 통해 토트는 단순한 계산기를 넘어, 상황을 이해하고 판단하는 능력을 갖췄음을 증명했습니다.

4. 결과: 작은 AI 도 대박! 🚀

• 성능: 토트는 기존 AI 들보다 훨씬 정확하게 시계열 문제를 풀었습니다. 특히 80 억 개의 파라미터 (매개변수) 를 가진 작은 모델이, 2350 억 개의 파라미터를 가진 거대 모델과 맞먹는 성능을 냈습니다.
• 데이터 부족 상황에서도 강함: 새로운 데이터를 아주 조금만 줘도 (Few-shot), 금방 적응해서 뛰어난 성능을 발휘했습니다. 이는 중간 교육이 AI 에게 **강력한 '예비 지식'**을 심어주었기 때문입니다.

---

💡 한 줄 요약

"토트 (Thoth)"는 AI 에게 '숫자의 언어'를 가르쳐주는 중간 교육 과정입니다. 마치 AI 가 '책'만 읽던 상태에서 '현실의 흐름'을 읽는 능력을 키워주어, 주식, 날씨, 의료 등 실생활의 복잡한 데이터 문제를 해결할 수 있게 만든 것입니다.

이 기술은 앞으로 AI 가 단순한 챗봇을 넘어, 실제 데이터를 분석하고 미래를 예측하는 진정한 의사결정 파트너가 되는 데 중요한 디딤돌이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 일반 목적의 추론과 텍스트 생성에서 뛰어난 성과를 보이지만, 시계열 데이터 (Time Series Data) 를 이해하고 추론하는 데에는 여전히 한계가 있습니다.

• 현황: 실제 세계의 데이터 (금융, 의료, 교통 등) 는 언어가 아닌 시계열 형태로 기록되는 경우가 많습니다.
• 한계: 기존 LLM 은 언어 모델링에 기반하여 설계되었기 때문에, 시계열 데이터의 미세한 시간적 의존성 (temporal dependencies) 과 복잡한 동역학을 포착하는 데 어려움을 겪습니다.
• 기존 접근법의 부족: 기존 연구들은 주로 작업별 (task-specific) 지도 미세 조정 (SFT) 에 의존합니다. 이는 방대한 레이블 데이터가 필요하며, 다양한 시계열 패턴과 도메인 간 일반화 능력이 제한되어 확장성이 떨어집니다.

2. 제안된 방법론 (Methodology)

이 논문은 중간 훈련 (Mid-training) 을 시계열 이해를 위한 핵심 단계로 도입하여 LLM 과 시계열 데이터를 연결하는 Thoth 모델 계열을 제안합니다.

가. Book-of-Thoth (중간 훈련 코퍼스)

LLM 이 시계열과 자연어 간의 작업 및 도메인 무관한 정렬을 할 수 있도록 구축한 대규모 시계열 중심 데이터셋입니다.

• 구성 요소:
  1. 시계열 → 텍스트 (TS-to-Text): KernelSynth 를 통해 생성된 다양한 시계열 데이터를 GPT-5.2 를 활용하여 구조화 (trend, seasonality 등) 및 비구조화된 텍스트로 설명합니다.
  2. 텍스트 → 시계열 (Text-to-TS): 생성된 텍스트 설명을 바탕으로 해당 시계열 데이터를 복원하는 역방향 작업 데이터를 구성합니다.
  3. 시계열 지식 (TS Knowledge): Forecasting: Principles and Practice 등 권위 있는 교재에서 추출한 시계열 분석 이론 및 지식을 포함합니다.
• 전략: 중간 훈련 중 일반적 능력의 상실을 방지하기 위해, 일반 LLM 사전 학습 데이터 (C4, No Robots 등) 를 일정 비율 혼합하여 훈련합니다.

나. Thoth 모델 아키텍처

• 베이스 모델: Qwen3 아키텍처 (Qwen3-30B-A3B-Instruct 및 Qwen3-8B) 를 기반으로 합니다.
• 훈련 방식: Book-of-Thoth 코퍼스를 사용하여 전체 파라미터 (Full-parameter) 미세 조정을 수행합니다. 기존 아키텍처는 변경하지 않고, 시계열 이해 능력을 강화하는 데 집중합니다.

다. KnoTS 벤치마크

• 기존 시계열 QA 벤치마크가 단순한 패턴 인식에 그친다면, KnoTS (Knowledge-intensive Time Series QA) 는 시계열 데이터와 도메인 지식의 결합을 요구하는 새로운 벤치마크입니다.
• 금융, 의료, 환경 등 실제 도메인 배경 지식을 바탕으로 시계열을 해석하고 추론하거나 의사결정을 내리는 능력을 평가합니다.

3. 주요 기여 (Key Contributions)

1. 중간 훈련의 도입: LLM 에 시계열 이해 능력을 부여하기 위한 중간 훈련 (Mid-training) 단계를 최초로 제안했습니다.
2. Book-of-Thoth 구축: 시계열과 자연어의 양방향 정렬을 가능하게 하는 대규모 고품질 코퍼스를 자동 생성했습니다.
3. Thoth 모델 계열 개발: 일반 목적 LLM 을 기반으로 시계열 이해 능력이 획기적으로 향상된 첫 번째 모델 계열을 공개했습니다.
4. KnoTS 벤치마크 제안: 도메인 지식과 시계열 추론을 통합적으로 평가하는 새로운 기준을 마련했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: ChatTime 및 Time-MQA 등 기존 시계열 QA 벤치마크에서 Thoth 는 베이스 모델 (Qwen3) 과 다른 오픈소스/상용 LLM 들을 압도적으로 능가했습니다. 특히 Thoth-30B-A3B 는 235B 파라미터 규모의 Qwen3 모델과 유사하거나 일부 영역에서 더 나은 성능을 보였습니다.
• 소수 샷 (Few-shot) 및 미세 조정: 데이터가 부족한 상황에서도 뛰어난 성능을 보였으며,下游 (Downstream) 작업에 대한 미세 조정 시 베이스 모델보다 훨씬 안정적이고 효과적인 성능 향상을 입증했습니다.
• KnoTS 평가: 도메인 지식과 시계열 추론이 결합된 KnoTS 벤치마크에서 Thoth 는 강력한 추론 능력을 보여주며, 기존 모델들이 도메인 지식을 활용하지 못하거나 시계열 패턴을 오해하는 오류를 크게 줄였습니다.
• 데이터 스케일링: Book-of-Thoth 의 데이터 양이 증가함에 따라 모델 성능이 꾸준히 향상되는 스케일링 법칙을 확인했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 시계열 이해를 위한 LLM 학습에 '작업별 미세 조정 (Post-training)' 중심의 접근에서 '중간 훈련 (Mid-training)' 을 통한 근본적인 능력 확대로의 전환을 제시했습니다.
• 실용성: Thoth 는 시계열 데이터가 핵심인 금융, 의료, 공학 등 다양한 분야에서 LLM 기반 의사결정 시스템의 신뢰성을 높이는 중요한 디딤돌이 됩니다.
• 미래 방향: 중간 훈련이 하류 작업을 위한 효과적인 '웜업 (Warm-up)' 역할을 함을 입증했으며, 향후 강화 학습 등을 통한 추가적인 추론 능력 강화의 가능성을 열었습니다.

이 논문은 LLM 이 시계열 데이터의 본질을 이해하고, 도메인 지식과 결합하여 복잡한 추론을 수행할 수 있도록 하는 새로운 방향성을 제시했다는 점에서 의의가 큽니다.