Prompting Underestimates LLM Capability for Time Series Classification

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 자연어 처리 분야에서 뛰어난 성능을 보이지만, 기존 연구들은 프롬프트 기반 평가 (Prompt-based evaluation) 를 통해 LLM 이 시계열 분류 (Time Series Classification) 작업에서 무작위 수준에 가까운 성능을 보인다고 결론지었습니다. 이는 LLM 이 시간적 구조 (temporal structure) 를 의미 있게 인코딩하지 못한다는 의문을 제기했습니다.

하지만 저자들은 이 결론이 모델의 표현 능력 (representational capacity) 부족이 아니라, 생성 (generation) 을 통한 정보 추출 방식의 한계에서 비롯된 것이라고 주장합니다. 즉, LLM 내부에는 분류에 유용한 시계열 정보가 존재하지만, 텍스트 생성 인터페이스 (프롬프팅) 를 통해 이를 효과적으로 꺼내지 못하고 있다는 가설을 검증합니다.

2. 방법론 (Methodology)

저자는 LLM 의 실제 표현 능력을 평가하기 위해 직접 프롬프팅 (Direct Prompting) 과 선형 프로빙 (Linear Probing) 을 병행하여 비교 분석했습니다.

• 데이터 및 입력 모달리티:
  • 6 가지 시계열 데이터셋 (CTU, EMG, HAR, HAD, RWC, TEE) 사용.
  • 텍스트 (Digit-based, d): 숫자를 자릿수 단위로 토큰화하여 텍스트로 변환.
  • 시각 (Visual, v): 시계열 데이터를 선 그래프나 스펙트로그램 이미지로 렌더링.
  • 멀티모달 (d+v): 텍스트와 이미지를 결합.
• 평가 패러다임:
  1. 프롬프트 기반 분류 (Prompting): LLM 에게 시계열 데이터와 질문을 입력하고 텍스트로 답변을 생성하게 함 (Zero-shot, Few-shot, CoT 등 다양한 프롬프트 전략 적용).
  2. 표현 프로빙 (Representation Probing): 동일한 프롬프트를 입력받아 모델의 내부 은닉 상태 (Hidden States) 를 추출합니다. 각 레이어의 마지막 토큰 임베딩을 사용하여 선형 로지스틱 회귀 (Linear Logistic Regression) 분류기를 학습시켜 클래스를 예측합니다.
• 베이스라인:
  • 무작위 프로브 (Random-Probe): 무작위 가중치를 가진 모델에서 추출한 임베딩으로 프로빙하여 기저선 (Floor) 설정.
  • SOTA 시계열 모델 (Attend, TS2Vec, Moment, OneFitsAll 등) 과 비교.

3. 주요 기여 (Key Contributions)

1. 프롬프트 성능과 표현 능력의 분리: 시계열 분류에서 프롬프트 수준의 성능과 LLM 의 내재된 표현 능력을 처음으로 명시적으로 분리하여 평가했습니다.
2. 프로빙의 우월성 입증: 단순한 선형 프로브가 복잡한 프롬프팅 파이프라인보다 일관되게 높은 성능을 보이며, 이는 관련 시계열 정보가 모델 내부에 존재하지만 프롬프팅을 통해 접근하기 어렵다는 것을 보여줍니다.
3. 레이어별 분석 (Layer-wise Analysis): 분류에 결정적인 시간적 정보가 Transformer 의 초기 레이어 (early layers) 에서 이미 나타나며, 시각 및 멀티모달 입력이 이를 증폭시킨다는 사실을 발견했습니다.

4. 주요 결과 (Key Results)

• 프롬프팅 vs 프로빙의 극심한 성능 격차:

  • 프롬프팅: 대부분의 모델에서 F1 점수가 0.15~0.26 수준으로 무작위 수준에 가까웠습니다.
  • 프로빙: 동일한 모델의 내부 표현을 선형 분류기로 접근했을 때 평균 F1 점수가 0.61~0.67로 크게 향상되었습니다.
  • 구체적 예시 (EMG 데이터셋):
    • Llama: 프롬프팅 (0.175) → 프로빙 (1.00, 완벽 분리)
    • Mistral: 프롬프팅 (0.393) → 프로빙 (0.933)
    • Qwen: 프롬프팅 (0.413) → 프로빙 (1.00)
  • 이는 모델이 시계열 패턴을 완벽하게 이해하고 있음에도 불구하고, 이를 텍스트로 출력하는 과정에서 실패함을 의미합니다.

• SOTA 모델 대비 경쟁력:

  • 선형 프로브를 사용한 vLLM(시각 - 언어 모델) 의 성능은 전문 시계열 모델 (Moment, TS2Vec 등) 과 경쟁하거나 일부 데이터셋 (EMG 등) 에서 능가했습니다.

• 모달리티의 영향:

  • 시각 정보 (v) 의 효과: 시각적 입력 (이미지) 을 포함하면 프로빙과 프롬프팅 모두 성능이 향상되었습니다. 특히 Mistral 과 Qwen 모델에서 시각 입력을 통한 프롬프팅 성능이 가장 높게 나타났습니다.
  • 텍스트만 (d) 의 견고성: 예상보다 텍스트 기반 토큰화만으로도 프로빙 시 유의미한 성능을 보였습니다.

• 프롬프트 안정성 (Stability):

  • 프롬프트의 문장 구조나 단어 선택을 미세하게 변경해도 성능 변동 (F1 점수 차이) 이 매우 컸습니다. 이는 프롬프트 기반 평가가 모델 능력보다는 프롬프트 엔지니어링의 민감도에 크게 의존함을 보여줍니다.

• 레이어 분석:

  • 시계열 분류에 유용한 정보는 모델의 초기 레이어 (대부분 1~5 레이어) 에서 이미 형성되기 시작하여, 깊은 레이어로 갈수록 강화되는 경향이 있었습니다. 이는 LLM 이 시계열을 '추론'하기 전에 먼저 '인코딩'하는 강력한 시퀀스 인코더임을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 평가 방법론의 재고: 기존 LLM 의 시계열 이해 능력 부족에 대한 주장은 모델의 본질적 한계가 아니라, 생성형 인터페이스 (Decoding Interface) 의 부적합성에서 기인한 것입니다.
• LLM 의 역할 재정의: LLM 은 시계열 분류를 위한 '추론 에이전트'보다는 강력한 범용 시퀀스 인코더 (Feature Extractor) 로서의 잠재력이 훨씬 큽니다.
• 실용적 시사점: 시계열 분석을 위해 LLM 을 재학습 (Fine-tuning) 하거나 복잡한 파이프라인을 구축하기보다, 프롬프팅 없이 내부 임베딩을 추출하여 간단한 선형 분류기를 결합하는 방식이 더 효율적이고 강력한 접근법일 수 있음을 시사합니다.

이 연구는 LLM 이 시계열 데이터를 얼마나 잘 이해하는지에 대한 기존 통념을 뒤집으며, 모델 내부 표현을 직접 활용하는 것이 생성형 인터페이스를 통한 평가보다 훨씬 정확한 성능 측정을 가능하게 함을 증명했습니다.