Chat-TS: Enhancing Multi-Modal Reasoning Over Time-Series and Natural Language Data

기술 요약: Chat-TS: 시계열 및 자연어 데이터에 대한 멀티모달 추론 능력 향상

문제 정의

대규모 언어 모델(LLM)은 시계열 데이터가 필수적인 의료, 금융, 교통 등의 분야에서 점점 더 많이 도입되고 있습니다. 그러나 현재의 LLM은 시계열 데이터와 그에 상응하는 텍스트 콘텐츠를 동시에 통합하여 추론하는 능력이 부족합니다. 기존의 접근 방식들은 시계열을 텍스트 형식으로 변환하거나 모델 가중치에 임베딩하는데, 이는 모델 고유의 자연어 이해(NLU) 및 추론 능력을 저해하는 경우가 빈번합니다. 또한, 이 분야는 멀티모달 학습 데이터의 부족과 시계열 추론을 평가하기 위한 대규모 벤치마크의 부재라는 문제를 안고 있습니다.

방법론

저자들은 모델의 핵심 언어 능력을 저하시키지 않으면서 시계열 및 텍스트 데이터를 추론할 수 있도록 설계된 프레임워크인 Chat-TS를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어집니다.

1. 이산 토큰화를 통한 어휘 확장

Chat-TS는 시계열 표현을 텍스트 임베딩으로 매핑하기 위해 커넥터(connector)를 사용하는 대신, 시계열 토큰을 포함하도록 LLM의 어휘(vocabulary)를 확장합니다.

• 토크나이저(Tokenizer): 연속적인 수치형 시계열 값을 이산 토큰으로 변환하기 위해 경량화된 이산 토크나이저를 도입했습니다. 이는 정규화된 시계열 범위 $[-s, s]$를 $K-1$개의 빈(bin)($K=8192$일 때)으로 양자화하며, 채널의 끝을 표시하기 위해 특수 토큰을 사용합니다.
• 장점: 이 방식은 복잡한 인코더-디코더 아키텍처를 학습시킬 필요 없이(이는 분포 외 문제(out-of-distribution issues)를 겪을 수 있음) 시계열 데이터의 거의 완벽한 재구성을 가능하게 합니다(특히 1,000개 미만의 포인트가 있는 시퀀스의 경우).

2. 학습 전략

프레임워크는 NLU 능력을 보존하면서 시계열 추론 기술을 습득하기 위해 2단계 학습 전략을 채택합니다.

• 1단계 (사전 학습 - Pre-training): 모델은 시계열 토큰에 대해 사전 학습됩니다. 두 가지 초기화 방법이 탐색되었습니다: 평균 초기화(기존 텍스트 토큰의 평균값으로 새로운 임베딩을 설정)와 시계열 사전 학습(임베딩 층과 최종 선형 층만 언프리징(unfreezing)함).
• 2단계 (지시어 튜닝 - Instruction Tuning): 듀얼 데이터셋 전략이 사용됩니다. 모델은 다음의 조합으로 미세 조정됩니다:
  • TS-Instruct: 시계열 데이터와 텍스트 지시어를 쌍으로 구성한 멀티모달 데이터셋.
  • Open-Orca: 대규모 순수 자연어 지시어 코퍼스.
    이러한 인터리빙(interleaving) 방식은 모델이 시계열과 관련된 지시를 따르는 법을 배우는 동시에 일반적인 언어 추론 강점을 유지하도록 보장합니다.

3. 데이터셋 큐레이션

데이터 부족 문제를 해결하기 위해 저자들은 세 가지 새로운 데이터셋을 기여합니다.

• TS Instruct 학습 데이터셋: GPT-4o-mini를 사용하여 생성된 다양한 멀티모달 데이터셋으로, 실제 세계의 시계열(LOTSA 및 Time-Series Classification Archive 출처)과 추론, 분류, 의사 결정 및 수학적 분석을 다루는 합성 대화형 지시어를 쌍으로 구성하였습니다.
• TS Instruct QA Gold 벤치마크: 멀티모달 추론 능력을 평가하기 위해 설계된, 인간이 검증한 1,056개의 객관식 질문 세트입니다.
• TS Instruct 정량적 프로빙 세트(Quantitative Probing Set): 수학 및 의사 결정 과제를 포함하는 정량적 평가를 위한 하위 세트입니다.

주요 기여

1. 새로운 데이터셋: TS Instruct 학습 데이터셋과 TS Instruct QA Gold 벤치마크의 공개는 멀티모달 시계열 학습 및 평가에 관한 문헌의 중요한 공백을 메웁니다.
2. 아키텍처: 시계열 토큰을 LLM 어휘에 직접 통합하여 중간 커넥터의 필요성을 제거하고, 모델의 원래 텍스트 생성 및 추론 능력을 보존하는 혁신적인 접근 방식을 제공합니다.
3. 성능: 제안된 방법은 기존의 강력한 자연어 숙련도를 유지하면서 멀티모달 추론 작업에서 최첨단(SOTA) 성능을 달달성합니다.

실험 결과

실험은 Llama 3.1-8B 모델을 베이스 모델로 사용하여 수행되었습니다.

• 시계열 추론: TS Instruct QA Gold 벤치마크에서 Chat-TS는 **67.22%**의 점수를 기록하여, 베이스 모델인 Llama 3.1-8B(54.22%)와 Phi-3-medium-4k(64.64%) 같은 다른 베이스라인들을 능가했습니다. 이는 기존 SOTA 베이스라인 대비 평균 약 **13%**의 향상을 나타냅니다.
• 일반화: 훈련 데이터와 구별되는 반사실적 추론(counter-factual reasoning) 과제를 가진 합성 데이터셋인 MCQ2TS에서 테스트했을 때, Chat-TS는 36.5%(베이스 모델)에서 **47.6%**로 향상되어 성능 향상이 데이터 오염 때문이 아님을 입증했습니다.
• NLU 보존: MMLU-Pro, Big-Bench-Hard, GPQA 벤치마크에 대한 절제 연구(ablation studies) 결과, 모든 Chat-TS 변형 모델이 베이스 Llama 3.1-8B 모델의 성능 범위 내(±2%)를 유지했습니다. 이는 시계열 추론의 통합이 모델의 자연어 능력을 저하시키지 않음을 확인시켜 줍니다.
• 절제 분석(Ablation Analysis): 시계열 데이터만으로 학습된 모델(텍스트 인터리빙 없이)은 지시 이행에 어려움을 겪었습니다. 가장 좋은 성능은 Open-Orca 텍스트 데이터와 TS-Instruct 멀티모달 데이터를 혼합하여 학습한 모델(PreOrcaTS)에서 나타났으며, 이는 모달리티 간 인터리빙의 필요성을 강조합니다.

의의 및 한계

본 논문은 Chat-TS가 멀티모달 추론을 위한 강력한 베이스라인을 구축하며, LLM이 기초적인 언어 기술을 희생하지 않고도 시계열 분석을 위해 효과적으로 증강될 수 있음을 보여준다고 주장합니다. 이 연구는 오픈 소스 모델, 데이터셋 및 코드를 통해 지원되는 텍스트와 시계열을 처리하기 위한 통합된 프레임워크를 제공합니다.

저자들은 다음과 같은 특정 한계를 인정합니다:

• 시계열 생성: 현재 모델은 정확한 시계열 예측 및 생성에 어려움을 겪고 있어, 기상이나 금융 예측 분야에서의 활용이 제한적입니다.
• 제로샷 분류: 제로샷 시계열 분류 성능이 약하며, 종종 추측하거나 반복하는 결과를 보입니다.
• 확장성: 실험은 접근성을 위해 8B 파라미터 모델로 제한되었습니다. 저자들은 데이터 볼륨과 모델 크기를 키우면 추가적인 개선이 이루어질 것이라고 제안합니다.

결론적으로, Chat-TS가 시계열 추론 분야에서 최첨단 수준을 진전시켰지만, 멀티모달 LLM의 잠재력을 완전히 실현하기 위해서는 향후 생성 능력과 분류 견고성을 해결해야 한다는 점을 명시하고 있습니다.