기술 요약: 검증 가능한 에이전트형 데이터 과학을 향하여: 도구 기반 추론을 통한 불규칙한 TSQA 문제 해결

1. 문제 정의

실제 세계의 시계열 데이터는 압도적으로 불규칙합니다. 관측치는 비동기적이며, 결측값은 무작위라기보다 정보적(informative)인 경우가 많고, 샘플링 빈도는 센서와 운영 창(operational windows)에 따라 다양합니다. 복잡한 추론을 수행하는 대규모 언어 모델(LLM)과 AI 에이전트의 급격한 발전에도 불구하고, 기존의 시계열 질의응답(TSQA) 벤치마크(예: TSAQA, Time-MQA)는 주로 규칙적으로 샘플링된 입력을 가정합니다. 이는 현재의 모델들이 불규칙한 데이터가 초래하는 의미론적 및 구조적 도전 과제에 대해 엄격하게 테스트되지 않았다는 근본적인 평가 격차를 만듭니다.

또한, 기존의 불규칙 시계열 생성 방식은 무작위 드롭아웃(MCAR)이나 희소 마스킹(sparse masking)과 같은 합성 변환에 의존하는 경우가 많으며, 이는 실제 세계의 시나리오에서 발견되는 도메인 의미론 및 결측의 구체적인 원인(예: 임상적 필요에 의해 트리거되는 ICU 모니터링 또는 이상 징념 발생 시에만 로그를 기록하는 산업용 센서)을 포착하지 못합니다. 본 논문은 최근 연구(TIME-IMM)가 불규칙성에 대한 분류 체계를 확립했음에도 불구하고, 이전에는 이 분류 체계를 활용하여 벤치마킹 목적의 규칙에서 불규칙으로의 의미론적 변환을 수행한 파이프라인이 없었음을 지적합니다.

2. 방법론

저자들은 도구 기반 추론을 통해 불규칙한 단변량 TSQA에 대한 LLM 및 AI 에이전트를 평가하도록 설계된 벤치마크인 IRTS-ToolBench를 소개합니다. 이 방법론은 세 가지 핵심 구성 요소로 구축되었습니다.

A. LLM 가이드 불규칙 변환 파이프라인

규칙적인 시계열을 불규칙한 시퀀스로 연결하기 위해, 저자들은 규칙적인 시계열을 의미론적으로 근거가 있는 불규칙 시퀀스로 변환하는 3계층 파이프라인을 제안합니다.

1. 컨텍스트 풍부화(Context Enrichment): LLM이 각 시계열에 대해 도메인, 통계적 특징, 신호 특성을 포착하는 상세한 컨텍스트 설명을 생성합니다.
2. 분류 체계 선택(Taxonomy Selection): 풍부해진 컨텍스트를 바탕으로, LLM은 9가지 유형의 분류 체계(TIME-IMM을 따르는 트리거 기반, 제약 기반, 아티팩트 기반으로 분류) 중 가장 적절한 불규칙 유형을 선택하고, 이상 주석(anomaly annotations)이 포함된 변환 계획을 출력합니다.
3. 파라미터 생성(Parameter Generation): LLM은 계획을 검증된 수치 파라미터로 번역하여, 현실적인 결측 패턴과 지터링된 타임스탬프를 가진 불규칙 시퀀스를 생성합니다.

B. 벤치마크 구축

IRTS-ToolBench는 13개 도메인(예: 금융, 의료)에 걸친 10개 태스크 유형과 1,700개의 질문으로 구성됩니다. 태스크는 점진적인 추론 계층 구조로 조직됩니다.

• 표준 추론: 이상 탐지(Anomaly Detection), 분류(Classification), 규칙/불규칙 판별(Regular vs. Irregular Discrimination), 규칙성 회복(Regularity Recovery).
• 불규칙성 특화 추론: 특성 기술(Characterization, 시간적 속성), 시간적 관계(Temporal Relationship, 순서/인과관계), 불규칙성 원인 규명(Irregularity Cause Attribution).
• 규칙성-불규칙성 인터페이스 추론: 결측성 추론(Missingness Reasoning, 정보적 vs. 비정보적 간극), 불규칙성 심각도 추정(Irregularity Severity Estimation), 예측(Forecasting).

C. 도구 라이브러리 및 골든 도구 세트(Golden Tool Sets)

벤치마크는 두 계층으로 나뉜 30개의 도구 라이브러리를 포함합니다.

1. 불규칙성 연산자 (7개 도구): 특정 불규칙성을 처리합니다 (예: ALIGN ASOF, MISSING POLICY, RESAMPLE, GAP DETECT).
2. 고급 분석 도구 (23개 도구): 분석 프리미티브를 제공합니다 (예: TREND CLASSIFIER, SEASONALITY DETECTOR, FORECASTER, INTERPOLATE).

각 벤치마크 샘플에 대해, 질문에 올바르게 답하기 위해 필요한 최소한의 도구 세트를 정의하기 위해 다중 LLM 합의 프로토콜(GPT-5.1, Claude Sonnet 4.5, Gemini 2.5 Flash 사용)을 통해 골든 도구 세트를 구축합니다. 이를 통해 직접적인 LLM 프롬프팅과 에이전트형 도구 사용 프레임워크를 동시에 평가할 수 있습니다.

3. 주요 기여

1. 새로운 변환 파이프라인: 무작위 드롭아웃을 넘어 도메인 인지적 불규칙성 생성을 수행하는, 의미론적으로 근거가 있는 규칙에서 불규칙으로의 변환 파이프라인을 제시합니다.
2. 포괄적인 벤치마크 (IRTS-ToolBench): 불규칙한 단변량 TSQA를 위해 특별히 설계된, 10개 태스크 유형과 13개 도메인에 걸친 1,700개의 질문 데이터셋을 제공합니다.
3. 도구 기반 평가 프레임워크: 30개의 도구 라이브러리와 "골든 도구 세트" 구축 프로토콜을 통해, 정답의 정확성과 도구 호출에 관한 에이전트의 추론 행동을 동시에 평가할 수 있게 합니다.

4. 평가 결과

저자들은 여러 상용 및 오픈 소스 LLM(Claude-Opus-4.7, Qwen3.5-4B, Qwen3.6-27B, DeepSeek-V4-Flash 포함)에 대해 제로샷 성능을 평가했습니다.

• 전반적인 성능: Qwen3.6-27B가 78.59%의 가장 높은 전체 정확도를 달 기록하며 다른 모델들을 앞섰습니다. Claude-Opus-4.7과 같은 상용 모델은 74%에서 77% 사이의 일관된 정확도를 보였습니다.
• 도구 호출의 영향: 도구 호출은 명시적인 수치 분석이 필요한 태스크에서 상당한 개선을 제공했습니다. 예를 들어, Qwen3.6-27B는 이상 탐지에서 96.80%에서 99.60%로 향상되었고, 분류 태스크에서는 도구 사용 시 100%에 도달했습니다. DeepSeek-V4-Flash는 도구가 활성화되었을 때 불규칙성 심각도 추정(31.33%에서 98.67%로) 및 규칙성 회복(64.67%에서 89.33%로)에서 엄청난 상승을 보였습니다.
• 남은 과제: 도구 증강에도 불구하고, 시간적 관계 추론 및 규칙/불규칙 판별과 같은 고차원적 시간 추론 태스크는 여전히 어려웠으며, 모델 간 성능 차이가 크게 나타났습니다.
• 인간 베이스라인: 인간 검토자는 80%와 78%의 정확도를 달성하였는데, 이는 대부분의 질문이 이해 가능함에도 불구하고 규칙성 회복 및 결측성 추론과 같은 태스크는 인간에게도 도전적임을 시사합니다.

5. 의의 및 주장

본 논문은 IRTS-ToolBench를 "검증 가능한 에이전트형 데이터 과학"을 향한 필수적인 단계로 자리매김합니다. 그 의의는 다음과 같습니다.

• 평가 격차 해소: 기존 벤치마크가 실제 세계 시계열의 불규칙한 특성을 간과한다는 결정적인 한계를 해결합니다.
• 표준화: 불규칙한 시계열을 분석하는 LLM 기반 연구자들에게 표준화된 입력과 재현 가능한 평가 프로토콜을 제공합니다.
• 행동 통찰력: 골든 도구 세트를 활용함으로써, 연구자들이 단순히 모델이 정답을 맞히는지뿐만 아니라, 어떻게 추론하는지(즉, 불규칙성을 처리하기 위해 필요한 도구를 올바르게 식별하고 호출하는지)를 연구할 수 있게 합니다.

저자들은 현재의 LLM이 (컨텍스트와 도구의 지원을 받을 때 특히) 불규칙한 시계열에 대해 무시할 수 없는 추론 능력을 보여주지만, 여전히 고차원적 시간 추론에는 어려움을 겪으며 신뢰할 수 있는 에이전트형 도구 사용을 위한 강력한 스캐폴딩(scaffolding)이 필요하다고 결론짓습니다. 또한, 프롬프팅 및 합의 품질에 대한 민감성을 언급하며 자신들의 LLM 기반 생성 파이프라인의 한계를 인정하고, 향후 연구가 더 넓은 검증과 더 자연스럽게 불규칙한 소스 데이터를 포함하는 데 집중해야 한다고 제안합니다.