Technische Samenvatting: TSAQA: Een Benchmark voor Time Series Question And Answering

Probleemstelling

Hoewel Large Language Models (LLM's) het natuurlijke taalverwerking hebben gerevolutioneerd, is hun toepassing op tijdreeksanalyse grotendeels beperkt gebleven tot traditionele numerieke taken zoals voorspelling, imputatie en anomaliedetectie. Bestaande benchmarks voor Time Series Question Answering (TSQA) lijden aan gefragmenteerde taakdekking, beperkte modaliteit en niet-gestandaardiseerde evaluatieprotocollen. Bovendien vertrouwen veel bestaande datasets op open einde antwoorden die moeilijk objectief te evalueren zijn, of ze richten zich op smalle domeinen. Er is een kritieke behoefte aan een verenigde, grootschalige benchmark die de temporele analytische capaciteiten van taalgevoelige modellen uitgebreid evalueert over diverse domeinen en taakcomplexiteiten, variërend van fundamentele patroonherkenning tot geavanceerd relationeel redeneren.

Methodologie

Constructie van de Benchmark

De auteurs introduceren TSAQA, een verenigde benchmark bestaande uit 210.000 hoogwaardige samples gecureerd uit 13 verschillende domeinen (waaronder financiën, gezondheidszorg, energie, transport en webverkeer). De dataset is geconstrueerd uit kern-tijdreeksrepositories (bijv. Lotsa, Time-300B, UTSD), gespecialiseerde anomaliedetectie benchmarks (bijv. ECG, SMD) en classificatiearchieven (UCR Archive).

De benchmark integreert 6 verschillende taken gecategoriseerd in twee groepen:

1. Conventionele Analyse:
   • Anomaliedetectie: Het identificeren van onregelmatige patronen (Waar/Onwaar).
   • Classificatie: Het categoriseren van tijdreeksen op basis van semantische patronen (Multiple Choice).
2. Geavanceerde Analyse:
   • Karakterisering: Het afleiden van intrinsieke eigenschappen zoals trend, seasonaliteit en dispersie.
   • Vergelijking: Het analyseren van relatieve gelijkenissen en verschillen tussen twee tijdreeksen.
   • Datatransformatie: Het begrijpen van relaties tussen ruwe data en getransformeerde data (Fourier, Wavelet, First-Order Differencing).
   • Temporele Relatie: Het bepalen van chronologische afhankelijkheden tussen tijdreeks-patches.

Vraagformaten

Om een objectieve en reproduceerbare evaluatie te garanderen, zijn alle taken omgezet naar een gestandaardiseerd Question Answering (QA) formaat met drie specifieke typen:

• True-or-False (TF): Binaire verificatie van een bewering.
• Multiple-Choice (MC): Het selecteren van de juiste bewering uit opties.
• Puzzling (PZ): Een nieuw formaat waarbij modellen de eerste patch van een sequentie krijgen en een set geschudde daaropvolgende patches, waarbij ze de correcte chronologische volgorde moeten reconstrueren. Dit test globale causale redenering en structurele continuïteit.

Dataprocessing en Annotatie

• Preprocessing: Tijdreeksen worden gestandaardiseerd via z-score normalisatie om te voorkomen dat modellen profiteren van magnitude-gebaseerde shortcuts over verschillende domeinen heen. De inputlengtes variëren tussen 32 en 256 punten.
• Generatie: Voor geavanceerde taken (Karakterisering, Vergelijking) worden QA-paren gegenereerd met behulp van een multi-LLM consensus pipeline. GPT-4o genereert initiële vragen en antwoorden op basis van geselecteerde onderwerpen (bijv. trend, ruis) en sub-onderwerpen. Deze worden vervolgens gevalideerd en geaggregeerd met een gewogen stemprocedure waarbij GPT-4.1, Gemini-2.5-Flash en Claude-3.5-Sonnet worden gebruikt om bias door een enkel model te minimaliseren.
• Sampling: Een hiërarchische random sampling strategie zorgt voor een gebalanceerde distributie over domeinen, datasets en sequenties.

Evaluatieprotocol

De benchmark evalueert modellen met behulp van nauwkeurigheid (accuracy) voor TF en MC vragen. Voor PZ vragen wordt de nauwkeurigheid berekend op basis van het aandeel correct gematchte posities in de gereconstrueerde sequentie vergeleken met de grondwaarheid (ground truth). De studie evalueert:

• Commerciële LLM's: GPT-4.1, GPT-4o, Claude-3.5-Sonnet, Gemini-2.5-Flash.
• Open-Source LLM's: Qwen3-8B/0.6B, LLaMA-3.1-8B/3.2-1B, Ministral-8B, Gemma3-1B.
• Time Series Foundation Models (TSFMs): ChatTime, ChatTS.
• Training: Open-source modellen worden geëvalueerd in zero-shot settings en na instructie-tuning (SMF) met behulp van LoRA.

Belangrijkste Resultaten

Algehele Prestaties

• Beperkingen van Zero-Shot: Huidige LLM's worstelen aanzienlijk met TSAQA. Het best presterende commerciële model, Gemini-2.5-Flash, behaalt een gemiddelde nauwkeurigheid van 65,08%. Open-source modellen presteren over het algemeen slechter in zero-shot settings, waarbij LLaMA-3.1-8B een score van 44,93% haalt.
• Impact van Instructie-tuning: Supervised fine-tuning (SFT) levert substantiële verbeteringen op. Opvallend genoeg bereikt LLaMA-3.1-8B (SFT) een score van 85,26%, waarmee het de zero-shot prestaties van commerciële modellen overtreft. Gemma3-1B (SFT) presteert zelfs beter dan Gemini-2.5-Flash (69,70% vs. 65,08%), wat aantoont dat gerichte training de kloof tussen open-source en propriëtaire modellen kan overbruggen.
• TSFMs: Taalgevoelige tijdreeks foundation modellen (ChatTime, ChatTS) laten gemengde resultaten zien, waarbij ChatTime 55,19% behaalt, wat aangeeft dat algemene LLM's momenteel een voordeel hebben in redeneren over deze specifieke benchmarks.

Taakspecifieke Bevindingen

• Conventioneel vs. Geavanceerd: Modellen presteren relatief goed op Anomaliedetectie en Classificatie na tuning (bijv. LLaMA-3.1-8B bereikt >91% op deze taken). Echter, Geavanceerde Analyse taken blijven uitdagend.
• De "Puzzling" Uitdaging: De PZ-taak blijkt de moeilijkste te zijn, waarbij de beste score (LLaMA-3.1-8B SFT) slechts 67,68% bereikt.
• Correlatie met Inputlengte: In tegen tegenstelling tot de meeste taken waar de nauwkeurigheid afneemt bij langere inputlengtes, vertoont de Temporele Relatie (PZ) taak een positieve correlatie tussen inputlengte en nauwkeurigheid. Dit suggereert dat modellen effectief globale context gebruiken om de chronologische volgorde af te leiden in plaats van te vertrouwen op lokale patroonherkenning.
• Domein-moeilijkheidsgraad: De zero-shot prestaties zijn het laagst in de domeinen Synthetic, IT, Robotics en Web. Zelfs na tuning blijven de Sales en Web domeinen het moeilijkst, wat suggereert dat domeinspecifieke complexiteiten niet volledig worden gemitigeerd door algemene instructie-tuning.

Foutanalyse

• Smoothness Bias: In de PZ-taak vertonen modellen een "smoothness bias", vooral in volatiele domeinen zoals Web en Sales. Ze neigen naar patch-transities die vloeiender zijn dan de grondwaarheid, waardoor ze er niet in slagen legitieme discontinuïteiten en onregelmatige dynamiek te vangen.
• Transformatiebeperkingen: Modellen worstelen aanzienlijk met Fourier Transform (FT) en Wavelet Transform (WT) taken, die globale aggregatie en complexe rekenkundige redenering vereisen, terwijl First-Order Differencing (FOD) effectiever wordt afgehandeld vanwege de afhankelijkheid van lokale verbanden.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Een Nieuwe Grootschalige Benchmark: TSAQA biedt een verenigd, gestandaardiseerd platform met 210k samples over 13 domeinen, 6 taken en 3 vraagtypen, wat de fragmentatie in bestaande TSQA-datasets aanpakt.
2. Uitgebreide Constructie en Statistieken: De auteurs beschrijven een rigoureus proces van dataverzameling en annotatie, inclus inclusief een multi-LLM consensus pipeline en hiërarchische sampling, wat transparantie en reproduceerbaarheid waarborgt.
3. Uitgebreide Evaluatie en Analyse: De benchmark dient als een rigoureuze test voor de temporele redeneercapaciteiten van zowel algemene LLM's als gespecialiseerde TSFM's. De resultaten benadrukken dat hoewel instructie-tuning de prestaties verbetert, er nog steeds aanzienlijke uitdagingen zijn, met name bij geavanceerde analytische redenering en het hanteren van complexe temporele dynamiek (bijv. volatiliteit, globale transformaties).

De auteurs positioneren TSAQA niet louter als een evaluatietool, maar als een fundamentele bron voor de ontwikkeling van toekomstige taalgevoelige tijdreeks-redeneermodellen, wat potentieel kan worden uitgebreid naar multivariate settings, multimodale inputs en agentische systemen. Zij erkennen beperkingen, waarbij zij opmerken dat de benchmark niet volledig de onregelmatige bemonstering of exogene drijfveren vangt die in sommige real-world scenario's voorkomen, en dat de statische aard van de dataset mogelijk niet de evoluerende distributies weerspiegelt.