Technische Samenvatting: Naar Verifieerbare Agentische Data Science: Het Oplossen van Irreguliere TSQA via Tool-Gegronde Redenering

1. Probleemstelling

Real-world tijdreeksgegevens zijn overwegend irregulier: observaties zijn asynchroon, ontbrekende waarden zijn vaak informatief in plaats van willekeurig, en de bemonsteringsfrequenties variëren per sensor en operationele vensters. Ondanks de snelle vooruitgang van Large Language Models (LLMs) en AI-agenten in complexe redenering, gaan bestaande Time Series Question Answering (TSQA) benchmarks (bijv. TSAQA, Time-MQA) grotendeels uit van regelmatig gesamplede inputs. Dit creëert een fundamentele evaluatiekloof, aangezien huidige modellen niet rigoureus worden getest op de semantische en structurele uitdagingen die door irreguliere data worden opgelegd.

Bovendien vertrouwen bestaande methoden voor het genereren van irreguliere tijdreeksen vaak op synthetische transformaties zoals willekeurige dropout (MCAR) of sparse masking, die er niet in slagen de domeinsemantiek en specifieke oorzaken van ontbrekendeheid te vangen die men in de echte wereld vindt (bijv. ICU-monitoring getriggerd door klinische noodzaak of industriële sensoren die alleen loggen bij detectie van anomalieën). De paper merkt op dat hoewel recent werk (TIME-IMM) een taxonomie van irregulariteit heeft vastgesteld, geen enkel eerder pijplijn deze taxonomie heeft gebruikt om de transformatie van regulier naar irregulier voor benchmarking-doeleinden semantisch te gronden.

2. Methodologie

De auteurs introduceren IRTS-ToolBench, een benchmark ontworpen om LLM's en AI-agenten te evalueren op irreguliere univariate TSQA via tool-gegronde redenering. De methodologie is gebouwd op drie kerncomponenten:

A. LLM-Gestuurde Irreguliere Transformatie-pijplijn

Om de kloof tussen reguliere en irreguliere data te overbruggen, stellen de auteurs een drielaagse pijplijn voor die reguliere tijdreeksen transformeert naar semantisch gegronde irreguliere sequenties:

1. Context Verrijking: Een LLM genereert een gedetailleerde contextbeschrijving voor elke tijdreeks, waarbij het domein, statistische kenmerken en signaalcharacteristics vastlegt.
2. Taxonomie Selectie: Op basis van de verrijkte context selecteert een LLM het meest passende type irregulariteit uit een taxonomie van negen typen (gecategoriseerd als Trigger-Based, Constraint-Based, en Artifact-Based, volgens TIME-IMM) en voert een transformatieplan met anomalie-annotaties uit.
3. Parameter Generatie: De LLM vertaalt het plan naar gevalideerde numerieke parameters voor transformatiefuncties, waardoor irreguliere sequenties met realistische patronen van ontbrekendeheid en jittered timestamps worden geproduceerd.

B. Benchmark Constructie

IRTS-ToolBench bestaat uit 1.700 vragen verspreid over 10 taaktypen binnen 13 domeinen (bijv. finance, healthcare). De taken zijn georganiseerd in een progressieve redeneerhiërarchie:

• Standaard Redenering: Anomaly Detection, Classificatie, Regular vs. Irregular Discriminatie, en Regularity Recovery.
• Irregulariteit-Specifieke Redenering: Karakterisering (temporele eigenschappen), Temporele Relatie (volgorde/causaliteit), en Irregularity Cause Attribution.
• Regularity–Irregularity Interface Redenering: Missingness Reasoning (informatieve vs. niet-informatieve gaten), Irregularity Severity Estimation, en Forecasting.

C. Tool Library en Golden Tool Sets

De benchmark bevat een 3oche tool library verdeeld in twee lagen:

1. Irregularity Operators (7 tools): Behandelen specifieke irregulariteiten (bijv. ALIGN ASOF, MISSING POLICY, RESAMPLE, GAP DETECT).
2. Advanced Analytical Tools (23 tools): Bieden analytische primitieven (bijv. TREND CLASSIFIER, SEASONALITY DETECTOR, FORECASTER, INTERPOLATE).

Voor elk benchmark-sample wordt een Golden Tool Set geconstrueerd via een multi-LLM consensusprotocol (gebruikmakend van GPT-5.1, Claude Sonnet 4.5, en Gemini 2.5 Flash) om de minimale set tools te definiëren die nodig is om een vraag correct te beantwoorden. Dit maakt de evaluatie mogelijk van zowel directe LLM-prompting als agentische tool-use frameworks.

3. Belangrijkste Bijdragen

1. Nieuwe Transformatie-pijplijn: Een semantisch gegronde pijplijn voor het converteren van reguliere tijdreeksen naar irreguliere, wat verder gaat dan willekeurige dropout door gebruik te maken van domeinbewuste irregulariteitsgeneratie.
2. Omvattende Benchmark (IRTS-ToolBench): Een dataset van 1.700 vragen over 10 taaktypen en 13 domeinen, specifal ontworpen voor irreguliere univariate TSQA.
3. Tool-Gegronde Evaluatieframework: Een bibliotheek van 30 tools en een protocol voor het construeren van "Golden Tool Sets", waardoor simultane evaluatie mogelijk is van zowel antwoordcorrectheid als het redeneergedrag van agenten met betrekking tot tool-invocatie.

4. Evaluatieresultaten

De auteurs evalueerden de zero-shot prestaties van verschillende commerciële en open-source LLM's (waaronder Claude-Opus-4.7, Qwen3.5-4B, Qwen3.6-27B, en DeepSeek-V4-Flash).

• Algemene Prestaties: Qwen3.6-27B behaalde de hoogste algemene nauwkeurigheid (78,59%), waarmee het andere modellen overtrof. Commerciële modellen zoals Claude-Opus-4.7 vertoonden een consistente nauwkeurigheid tussen 74% en 77%.
• Impact van Tool Calling: Tool calling zorgde voor significante verbeteringen voor taken die expliciete numerieke analyse vereisten. Zo verbeterde Qwen3.6-27B van 96,80% naar 99,60% op Anomaly Detection en bereikte het 100% op Classificatie met tools. DeepSeek-V4-Flash vertoonde enorme winsten op Irregularity Severity Estimation (31,33% naar 98,67%) en Regularity Recovery (64,67% naar 89,33%) wanneer tools ingeschakeld waren.
• Resterende Uitdagingen: Ondanks tool-augmentatie bleven hogere-orde temporele redeneringstaken, zoals Temporal Relationship reasoning en Regular-vs-Irregular Discrimination, moeilijk, waarbij de prestaties aanzienlijk varieerden tussen modellen.
• Menselijke Baseline: Menselijke reviewers behaalden nauwkeurigheden van 80% en 78%, wat aangeeft dat hoewel de meeste vragen begrijpelijk zijn, taken zoals Regularity Recovery en Missingness Reasoning zelfs voor mensen uitdagend blijven.

5. Betekenis en Claims

De paper positioneert IRTS-ToolBench als een noodzakelijke stap naar "verifieerbare agentische data science". De betekenis ligt in:

• Het Overbruggen van de Evaluatiekloof: Het adresseert de kritieke beperking dat bestaande benchmarks de irreguliere aard van real-world tijdreeksen negeren.
• Standaardisatie: Het biedt gestandaardiseerde inputs en een reproduceerbaar evaluatieprotocol voor onderzoekers die werken aan LLM-gebaseerde irreguliere tijdreeksanalyse.
• Gedragsinzicht: Door gebruik te maken van Golden Tool Sets stelt de benchmark onderzoekers in staat om niet alleen te bestudelen of een model het antwoord goed heeft, maar ook hoe het redeneert (d.w.z. of het de noodzakelijke tools correct identificeert en aanroept om met irregulariteit om te gaan).

De auteurs concluderen dat hoewel huidige LLM's niet-triviale redeneerkrachten vertonen over irreguliere tijdreeksen — vooral wanneer ze worden ondersteund door context en tools — ze nog steeds worstelen met hogere-orde temporele redenering en sterke scaffolding vereisen voor betrouwbaar agentisch tool-gebruik. Ze erkennen beperkingen in hun LLM-gebaseerde generatie-pijplijn, waarbij zij wijzen op potentiële gevoeligheid voor prompting en de kwaliteit van consensus, en suggereren dat toekomstig werk zich moet richten op bredere validatie en het integreren van meer natuurlijk irreguliere brongegevens.