TSQAgent: Rating Time Series Data Quality via Dedicated Agentic Reasoning

Technische Samenvatting: TSQAgent

Probleemstelling
Het beoordelen van de kwaliteit van tijdreeksdata (TS) is fundamenteel voor het bouwen van performante modellen, maar blijft inherent uitdagend vanwege de veelzijdige aard van kwaliteitsdimensies (bijv. ontbrekende waarden, uitschieters, ruis, distributieverschuivingen). Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken bij TS-taken, vertrouwen bestaande benaderingen voor kwaliteitsbeoordeling zwaar op handmatig vooraf gedefinieerde dimensies en puur tekstgebaseerd redeneren. Dit roept een kritische vraag op: kunnen LLM's onafhankelijk de werkelijk relevante kwaliteitsdimensies identificeren en vergelijkbare, kwantitatieve analyses uitvoeren? Huidig bewijs suggereert dat LLM's moeite hebben met deze taken, waarbij ze vaak instabiele dimensie-selectie vertonen en gehallucineerde of onbetrouwbare numerieke redeneringen gebruiken bij het evalueren van kwaliteitskenmerken.

Methodologie
Om deze beperkingen aan te pakken, stellen de auteurs TSQAgent voor, een nieuw agentisch redeneerframework ontworpen voor dedicated TS-data kwaliteitsbeoordeling. Het framework deelt de beoordelingstaak op in drie samenwerkende rollen:

1. Perceiver (Dimensie-selectie): Deze agent construeert een hoog niveau van begrip van de invoer-tijdreeksparen en selecteert relevante kwaliteitsdimensies voor evaluatie. Om de neiging van vanilla LLM's om irrelevante dimensies te overmatig te selecteren te overwinnen, wordt de Perceiver getraind met een TS quality-tailored Group Relative Policy Optimization (GRPO) strategie. Deze training, geleid door de voorgestelde benchmark, wekt het vermogen op om adaptief de meest beslissingsrelevante kwaliteitsaspecten te prioriteren.
2. Inspector (Kwantitatieve Analyse): De Inspector voert een fijnmazige, dimensie-specifieke analyse uit met behulp van een ReAct-stijl (Reasoning-Acting) interactieloop. Cruciaal is dat deze agent is uitgerust met een suite van 16 externe analytische tools die statistische, spectrale en structurele metingen bestrijken. Wanneer interne redenering onvoldoende is om subtiele verschillen op te lossen, roept de Inspector deze tools aan om kwantitatief bewijs te verkrijgen, waarbij de output van de tools direct in het redeneerproces wordt geïnjecteerd om gegronde vergelijkingen te waarborgen.
3. Adjudicator (Aggregatie & Reflectie): Deze agent aggregeert dimensie-niveau bewijs tot een definitief oordeel. Het maakt gebruik van een reflectiemechanisme om de consistentie en volledigheid van het bewijs te evalueren. Als het bewijs tegenstrijdig of onvolledig is, kan de Adjudicator een "recheck" (het opnieuw evalueren van specifieke dimensies) of een "replan" (het verzoeken aan de Perceiver om aanvullende dimensies te selecteren) triggeren voordat het resultaat wordt gefinaliseerd.

Om globale rangschikking en dataselectie te faciliteren, worden de door TSQAgent gegenereerde paarwijze voorkeuren omgezet in scalaire kwaliteitsscores via Bradley–Terry optimalisatie, waarmee een lichtgewicht beoordelingsmodel wordt getraind.

Benchmark en Evaluatie
De auteurs introduceren TSQBench, een dedicated benchmark die is geconstrueerd via een gecontroleerde synthetische generatiepipeline. Het evalueert twee progressieve capaciteiten:

• Dimensie-identificatie: Of een LLM correct kan identificeren welke kwaliteitsdimensies verschillen tussen twee TS-segmenten.
• Kwaliteitsvergelijking: Of een LLM correct kan beslissen welke reeks een hogere kwaliteit vertoont onder een specifieke dimensie.

Experimenten werden uitgevoerd op TSQBench en 11 real-world datasets binnen taken voor langetermijnvoorspelling, kortetermijnvoorspelling en classificatie. Het framework werd getest tegen baselines inclusief DataShapley, DataOob, TimeInf en TSRating, en geëvalueerd op downstream modellen (Linear, CNN, PatchTST) en een grootschalig Time Series Foundation Model (Timer-S1, 8.3B parameters).

Belangrijkste Resultaten

• Benchmark Prestaties: Op TSQBench vertoonden vanilla LLM's een lage precisie in dimensie-identificatie (33.4%–43.0%) en marginale nauwkeurigheid in kwaliteitsvergelijking (54.7%–61.0%). TSQAgent verbeterde deze metrieken aanzienlijk:
  • Dimensie-identificatie: GRPO-training verhoogde de precisie naar bijna 60%.
  • Kwaliteitsvergelijking: Tool-augmentatie verhoogde de nauwkeurigheid naar boven de 78%–84%.
• Downstream Dataselectie: Het gebruik van TSQAgent om de top 50% van de hoogwaardige data te selecteren, leverde consistent betere downstream prestaties op (lagere RMSE/MAPE, hogere nauwkeurigheid) vergeleken met willekeurige selectie en andere baselines over diverse datasets en modelarchitecturen.
• Efficiëntie van Foundation Model: Bij het finetunen van het 8.3B parameter Timer-S1 model, stelde de door TSQAgent gestuurde kwaliteitsbewuste selectie het model in staat om prestaties te bereiken die vergelijkbaar zijn met training op volledige data, met gebruik van slechts 75% van de data (0.341 RMSE vs. 0.338 RMSE voor volledige data).

Betekenis en Claims
Het artikel claimt dat TSQAgent effectief de kloof overbrugt tussen het intrinsieke temporele begrip van LLM's en de rigoureuze vereisten van kwaliteitsbeoordeling van data. Door de integratie van redeneringsgestuurde dimensie-selectie en tool-geaugmenteerde kwantitatieve analyse, transformeert het framework LLM's van onbetrouwbare tekstgebaseerde evaluatoren naar robuuste, op bewijs gebaseerde kwaliteitsbeoordelaars. De auteurs demonstreren dat deze verbeteringen in redeneervermogen direct vertalen naar tastbare voordelen: verbeterde downstream modelnauwkeurigheid en verbeterde data-efficiëntie, wat hoogwaardige training met gereduceerde datavolumes mogelijk maakt. Het werk vestigt een nieuw paradigma voor TS-kwaliteitsbeoordeling dat verder gaat dan vaste criteria naar gestructureerde, adaptieve en kwantitatieve agentische redenering.