TSQAgent: Rating Time Series Data Quality via Dedicated Agentic Reasoning

기술 요약: TSQAgent

문제 정의
시계열(Time Series, TS) 데이터의 품질을 평가하는 것은 성능이 우수한 모델을 구축하는 데 필수적이지만, 품질 차원의 다면적인 특성(예: 결측치, 이상치, 노이즈, 분포 변화)으로 인해 본질적으로 매우 어려운 과제입니다. 대규모 언어 모델(LLM)이 시계열 작업에서 유망한 성과를 보여왔으나, 기존의 품질 평가 방식은 수동으로 정의된 차원에 크게 의존하거나 순수하게 텍스트 기반의 추론에 치중되어 있습니다. 이는 다음과 같은 중요한 질문을 제기합니다: LLM이 진정으로 관련 있는 품질 차원을 독립적으로 식별하고, 근거가 있고 정량적인 비교를 수행할 수 있는가? 현재의 증거들은 LLM이 이러한 작업에서 어려움을 겪고 있으며, 종종 불안정한 차원 선택과 품질 특성을 평가할 때 발생하는 환각 또는 신뢰할 수 없는 수치 추론 문제를 보인다는 것을 시사합니다.

방법론
이러한 한계를 해결하기 위해, 저자들은 전용 시계열 데이터 품질 등급 산정을 위해 설계된 새로운 에이전트 기반 추론 프레임워크인 TSQAgent를 제안합니다. 이 프레임워크는 평가 작업을 세 가지 협력적 역할로 분해합니다:

1. Perceiver (차원 선택): 이 에이전트는 입력된 시계열 쌍에 대한 고차원적 이해를 구축하고 평가를 위한 관련 품질 차원을 선택합니다. 일반적인 LLM이 무관한 차원을 과도하게 선택하는 경향을 극복하기 위해, Perceiver는 시계열 품질에 특화된 GRPO(Group Relative Policy Optimization) 전략을 사용하여 학습됩니다. 제안된 벤치마크를 통해 가이드되는 이 학습은, 가장 결정적인 의사결정에 유효한 품질 측면을 적응적으로 우선순위화하는 능력을 심어줍니다.
2. Inspector (정량적 분석): Inspector는 ReAct(Reasoning-Acting) 스타일의 상호작용 루프를 사용하여 미세한 차원별 분석을 수행합니다. 결정적으로, 이 에이전트는 통계적, 스펙트럼적, 구조적 측정을 포함하는 16개의 외부 분석 도구 세트를 갖추고 있습니다. 내부적 추론만으로 미묘한 차이를 해결하기 부족할 경우, Inspector는 이러한 도구들을 호출하여 정량적 증거를 확보하며, 도구의 출력값을 추론 과정에 직접 주입하여 근거 있는 비교를 보장합니다.
3. Adjudicator (집계 및 성찰): 이 에이전트는 차원 수준의 증거를 최종 판단으로 집계합니다. 이 에이전트는 증거의 일관성과 충분성을 평가하기 위해 성찰(reflection) 메커니즘을 채택합니다. 만약 증거가 상충되거나 불충분할 경우, Adjudicator는 최종 결과를 확정하기 전에 "재확인(recheck)"(특정 차원 재평가) 또는 "재계획(replan)"(Perceiver에게 추가 차원 선택 요청)을 트리거할 수 있습니다.

전역적 순위 지정 및 데이터 선택을 용이하게 하기 위해, TSQAgent가 생성한 쌍체 선호도(pairwise preferences)는 Bradley–Terry 최적화를 통해 스칼라 품질 점수로 변환되어 경량 등급 모델을 학습시키는 데 사용됩니다.

벤치마크 및 평가
저자들은 제어된 합성 생성 파이프라인을 통해 구축된 전용 벤치마크인 TSQBench를 소개합니다. 이는 두 가지 단계적 능력을 평가합니다:

• 차원 식별: LLM이 두 시계열 세그먼트 간에 어떤 품질 차원이 다른지 올바르게 식별할 수 있는지 여부.
• 품질 비교: 특정 차원 하에서 어떤 시계열이 더 높은 품질을 보이는지 올바르게 결정할 수 있는지 여부.

실험은 TSQBench와 장기 예측, 단기 예측 및 분류 작업에 걸친 11개의 실제 데이터셋에서 수행되었습니다. 프레임워크는 DataShapely, DataOob, TimeInf, TSRating을 포함한 베이스라인들과 비교 검증되었으며, 다운스트림 모델(Linear, CNN, PatchTST) 및 대규모 시계열 파운데이션 모델(Timer-S1, 8.3B 파라미터)에 대해 평가되었습니다.

주요 결과

• 벤치마크 성능: TSQBench에서 일반적인 LLM은 차원 식별 정밀도(33.4%–43.0%)와 품질 비교 정확도(54.7%–61.0%)가 낮게 나타났습니다. TSQAgent는 이러한 지표를 크게 개선했습니다:
  • 차원 식별: GRPO 학습을 통해 정밀도를 거의 60%까지 높였습니다.
  • 품질 비교: 도구 증강을 통해 정확도를 78%~84% 이상으로 끌어올렸습니다.
• 다운스트림 데이터 선택: TSQAgent를 사용하여 상위 50%의 고품질 데이터를 선택했을 때, 다양한 데이터셋과 모델 아키텍처 전반에서 무작위 선택 및 기타 베이스라인보다 일관되게 더 나은 다운스트림 성능(낮은 RMSE/MAPE, 높은 정확도)을 보였습니다.
• 파운데이션 모델 효율성: 8.3B 파라미터 규모의 Timer-S1 모델을 미세 조정할 때, TSQAgent의 품질 인지 선택을 통해 모델은 데이터의 75%만을 사용하고도 전체 데이터 학습 시와 유사한 성능(전체 데이터 사용 시 0.338 RMSE 대비 0.341 RMSE)을 달实现的 수 있었습니다.

의의 및 주장
본 논문은 TSQAgent가 LLM의 내재적 시계열 이해 능력과 데이터 품질 평가의 엄격한 요구 사항 사이의 간극을 효과적으로 메운다고 주장합니다. 추론 중심의 차원 선택과 도구 증강형 정량 분석을 통합함으로써, 이 프레임워크는 LLM을 신뢰할 수 없는 텍스트 기반 평가자에서 견고하고 증거에 기반한 품질 평가자로 변모시킵니다. 저자들은 이러한 추론 능력의 향상이 다운스트림 모델의 정확도 향상 및 데이터 효율성 개선과 같이 실질적인 이점으로 직결됨을 입증하였으며, 이를 통해 줄어든 데이터 볼륨으로도 고성능 학습이 가능함을 보여주었습니다. 이 연구는 고정된 기준을 넘어 구조적이고 적응적이며 정량적인 에이전트 기반 추론으로 나아가는 시계열 품질 평가의 새로운 패러다임을 제시합니다.