기술 요약: TimeSage-MT

문제 정의

시계열 분석은 금융, 의료, 에너지와 같은 고위험 도메인에서 의사결정을 내리는 데 매우 중요합니다. 대규모 언어 모델(LLM) 에이전트는 자연어 상호작용 및 도구 사용 능력에서 역량을 보여주지만, 신뢰할 수 있는 다회차(multi-turn) 시계열 추론을 수행할 수 있는지에 대한 검증은 아직 이루어지지 않았습니다. 기존 벤치마크(예: Monash, M4, UCR/UEA)는 예측이나 이상 탐지와 같이 고정된 목표를 가진 고립된 단일 단계 작업에 집중되어 있습니다. 이러한 벤치마크는 에이전트가 데이터 품질을 검사하고, 방법을 선택하며, 종속적인 계산을 체이닝하고, 변화하는 사용자 목표에 적응하며, 도메인 지식에 근거하여 결론을 도출해야 하는 실제 현장의 복잡한 분석 워크플로우를 평가하지 못합니다. 현재의 평가는 얕은 패턴 매칭이나 환각된 숫자를 진정한 추론과 혼동하는 경우가 많으며, 메모리, 불확실성 보정 또는 도메인 기반 의사결정에서의 실패를 진단할 수 있는 세밀함이 부족합니다.

방법론

벤치마크 구축 (TimeSage-MT)

저자들은 에이전트 기반 시계열 추론을 평가하기 위해 240개의 태스크와 2,680개의 대화 턴으로 구성된 다회차 벤치마크인 TimeSage-MT를 소개합니다. 이 벤치마크는 8개의 실제 도메인(의료, 에너지, 제조, 기후, 금융, 통신, 교통, 소매)을 포괄하며 네 가지 복잡도 수준으로 구성됩니다:

• L1 (개방형 탐색): 프로파일링 및 요약을 위한 3~10개 턴.
• L2 (다중 기술 분석): 체이닝된 분석 단계가 필요한 5~12개 턴.
• L3 (근거 기반 합성): 증거를 도메인별 보고서로 통합하는 8~15개 턴.
• L4 (전체 결정 경로): 구조화되고 실행 가능한 결정을 정교한 불확실성 보정과 함께 도출하는 12~20개 턴.

데이터 생성 파이프라인:
본 벤치마크는 재현 가능한 5단계 파이프라인을 통해 구축됩니다:

1. 데이터 선택: 파운데이션 모델의 사전 학습 코퍼스에서의 오염 가능성을 추적하는 메타데이터와 함께 65개의 화이트리스트 실세계 소스를 큐레이션합니다.
2. 프로파일링: 11가지 지표 프로파일(빈도, 정상성, 결측치 등)을 생성하고, 데이터를 80%의 가시적 데이터(구축용)와 20%의 홀드아웃 데이터(골드 타겟 추출용)로 분할합니다.
3. 태스크 할당: 프로파일의 실행 가능성에 따라 태스크를 레벨 및 도메인에 할당하여 균형 잡힌 할당량을 보장합니다.
4. 추론 경로 구축: 각 태스크에 대해 유형화된 유향 비순환 그래프(DAG)를 생성하여, 분석 노드의 순서, 의존성 및 예상 출력을 정의합니다.
5. 대화 생성: LLM(Claude Opus 4.6)을 사용하여 가시적 데이터와 추론 경로에 기반한 다회차 대화를 생성합니다. 결정적으로, 검증 가능한 답변 타겟(수치적 정답)은 대화 생성과는 독립적으로, 홀드아웃 데이터에 대해 참조 코드를 실행하여 결정론적으로 계산됩니다.

품질 관리: P2~P5를 포함하는 엄격한 4단계 검증 프로세스는 46개의 결정론적 체크(데이터 무결성, 분할 유효성, 코드 실행), 편향 및 누출에 대한 LLM 교차 패밀리 리뷰, 그리고 전문 대시보드를 통한 인간 주석 작업을 포함합니다.

평가 프로토콜

평가는 두 개의 병렬 스코어링 트랙을 사용합니다:

1. 결과 스코어링 (Outcome Scoring): 다섯 가지 차원(수치 정확도, 사실 검증, 분석 품질, 의사결정, 코드 정확성)에 걸쳐 최종 답변의 정확성을 측정합니다. 수치 및 코드 지표는 결정론적이며, 분석 및 의사결정 품질은 LLM 판정사를 사용합니다.
2. 역량 스코어링 (Capability Scoring): 9가지 역량 분류 체계(C1~C9)에 따라 에이전트의 행동을 진단합니다:
   • 기초: 읽기 (C1), 선택 (C2), 설정 (C3).
   • 추론: 기억 (C4), 체이닝 (C5), 적응 (C6).
   • 행동: 결정 (C7), 보정 (C8), 근거 제시 (C9).
     대부분의 하위 체크는 결정론적이지만, C7과 C9만 LLM 판정을 요구합니다.

평가 대상 시스템

본 벤치마크는 네 가지 시스템 설정 하에서 6개의 프런티어 LLM(Claude Sonnet 4.6, GPT-5.3-Codex, GLM-5.1, Qwen-3.5-122B-A10B, MiniMax-M2.7, Gemini-3-Flash-Preview)을 평가합니다:

1. 직접 답변 (Direct Answering): 도구나 코드 실행 없음.
2. 코드 기반 추론 (Code-Enabled Reasoning): Python 샌드박스 내에서의 실행.
3. 기술 가이드 코드 추론 (Skill-Guided Code Reasoning): 226개의 큐레이션된 시계열 기술 라이브러리에 접근.
4. TimeSage: 기술 라이브러리와 결정론적 검증 게이트를 활용하는 구조화된 에이전트 파이프라인 (Planner, Profiler, Executor, Evaluator, Reporter).

주요 결과

성능 트렌드

• 깊이 민감도 (Depth Sensitivity): 모든 모델은 L1(개방형 탐색)에서 가장 좋은 성능을 보이지만, L2 이상에서는 성능이 급격히 저하(10~15포인트)됩니다. 이는 현재의 에이전트들이 다회차 메모리, 의존성 체이닝, 복잡한 의사결정 워크플로우에서 어려움을 겪고 있음을 나타냅니다.
• 코드 vs. 추론: 코드 정확도(7178%)는 높지만, 수치 정확도(1518%) 및 사실 검증과 같은 다른 차원은 현저히 낮습니다. 이는 실행 가능한 코드를 생성하는 것이 신뢰할 수 있고 데이터에 기반한 분석을 보장하지는 않는다는 점을 드러냅니다.
• 역량 격차: 모델들은 **기억(C4)**과 **체이닝(C5)**에서는 강한 성능을 보이지만, 읽기(C1)(데이터 속성 오해)와 설정(C3)(잘못된 파라미터 설정)에서는 지속적인 약점을 보입니다. **근거 제시(C9)**와 보정(C8) 또한 여전히 어려운 과제로 남아 있습니다.

시스템 설계의 영향

• 코드 기반 추론: 실행 가능한 증거에 응답을 고정함으로써 직접 답변 방식보다 수치 정확도와 의사결정 측면에서 상당한 이득을 제공합니다.
• 기술 라이브러리: 모델마다 이점이 다릅니다. 강력한 모델(예: GPT-5.3-Codex)은 기술의 가이드를 받을 때 분석 품질과 의사결정에서 유의미한 향상을 보입니다. 반면 약한 모델(예: Qwen-3.5)은 미미한 향상만을 보여, 기술 라이브러리가 효과적으로 호출되고 통합되기 위해서는 역량 있는 백본(backbone)이 필요함을 시사합니다.
• 구조화된 파이프라인 (TimeSage): 트레이드오프를 발생시킵니다. 약한 백본의 경우, 구조화된 파이프라인은 수치 정확도와 사실 검증을 개선하지만 표현력을 제한하여 의사결정 점수를 낮출 수 있습니다. 강한 백본의 경우, 추가적인 오케스트레이션 계층이 계획 충돌을 유발하여 전반적인 성능을 저하시킬 수 있습니다.

의의 및 주장

본 논문은 TimeSage-MT를 에이전트 기반 시계열 추론을 위한 최초의 다회차 벤치마크로 포지셔닝합니다. 주요 기여는 평가 패러다임을 단일 단계 예측 정확도에서 전체 분석 궤적의 정확성으로 전환하는 것입니다.

저자들은 TimeSage-MT가 현재의 에이전트 시스템의 핵심적인 격차를 드러낸다고 주장합니다:

1. 긴 대화 과정에서 신뢰할 수 있는 추론을 유지하는 능력의 부재.
2. 불확실성 보정 및 도메인 기반 의사결정에서의 실패.
3. 구조화된 기술 통합이나 강력한 검증 없이 "코드 실행"만으로는 한계가 있다는 점.

본 벤치마크는 배포를 위한 인증서가 아니라 진단 도구로서 제시됩니다. 이를 통해 연구자들은 총합 점수를 넘어 특정 실패 모드(예: 데이터 오독 vs. 의존성 체이닝 실패)를 식별할 수 있습니다. 저자들은 신뢰할 수 있는 시계열 에이전트가 단순히 더 강력한 LLM을 넘어, 유연성과 엄격한 수치 검증 및 도메인 근거 사이의 균형을 맞추는 더 나은 **하네스 설계(harness design)**를 필요로 한다고 결론짓습니다. 이 연구는 실세계 시계열 애플리케이션을 위한 감사 가능하고 신뢰할 수 있는 AI 도구 개발을 위한 토대를 제공합니다.