BEDTime: A Unified Benchmark for Automatically Describing Time Series

Titel: BEDTime: Een Unificerend Benchmark voor het Automatisch Beschrijven van Tijdreeksen

1. Het Probleem

Recente ontwikkelingen in de kunstmatige intelligentie hebben geleid tot complexe multi-modale modellen die tijdreeksen en taal combineren, met claims van hoge prestaties in taken zoals redeneren over tijdreeksen en cross-modale vraag-antwoordsystemen. Echter, deze modellen missen vaak fundamentele evaluaties om te bewijzen dat ze de basisvaardigheden onder de knie hebben.
De auteurs stellen de fundamentele vraag: Hoe goed kunnen recente modellen de structurele eigenschappen van tijdreeksen beschrijven?
Bestaande benchmarks hebben twee grote beperkingen:

1. Ze evalueren modellen vaak in isolatie met gespecialiseerde datasets, wat directe vergelijkingen (head-to-head) bemoeilijkt.
2. Ze focussen te veel op complexe redeneertaken, terwijl complexe gedragingen zouden moeten voortbouwen op fundamentele vaardigheden. Er is een gebrek aan benchmarks die testen of modellen kunnen herkennen, onderscheiden en genereren van natuurlijke taalbeschrijvingen voor univariate tijdreeksen.

2. Methodologie: BEDTime Benchmark

Om deze lacune op te vullen, introduceren de auteurs BEDTime, het eerste rigoureuze benchmark voor het automatisch beschrijven van tijdreeksen.

• Datasets: BEDTime unificeert vijf bestaande openbare datasets (TRUCE-Stock, TRUCE-Synthetic, SUSHI, TaxoSynth, en NICU-HR) tot één coherente benchmark. Dit resulteert in 46.843 paren van tijdreeksen en bijbehorende tekstuele beschrijvingen (90,44% real-world signalen, 9,56% synthetisch).
• Drie Modaliteiten: De benchmark evalueert modellen via drie verschillende inputvormen:
  1. LLM (Large Language Models): Tijdreeks als tekst (komma-gescheiden getallen).
  2. VLM (Vision-Language Models): Tijdreeks als een afbeelding (plot).
  3. TSLM (Time Series Language Models): Tijdreeks als numerieke vector.
• Drie Kernopgaven:
  1. Beschrijving Herkennen (Recognition): Gegeven een tijdreeks en een beschrijving, bepaal of de beschrijving waar is (True/False).
  2. Beschrijving Onderscheiden (Differentiation): Gegeven een tijdreeks, kies de juiste beschrijving uit vier opties (Multiple Choice).
  3. Open Generatie (Open Generation): Genereer een vrije tekstuele beschrijving van de structurele eigenschappen (trend, periodiciteit, anomalieën) van de tijdreeks.
• Evaluatiemetrics:
  • Voor herkenning en onderscheiding: Nauwkeurigheid (Accuracy) en F1-score.
  • Voor generatie: Natural Language Inference (NLI) voor implicatie (entailment) en menselijke evaluatie op zes criteria (coherentie, patroonherkenning, temporele lokalisatie, ruisfiltering, abstractie en taalkwaliteit).
• Robustheidstests: De auteurs testen modellen onder realistische verstoringen: variatie in lengte, ontbrekende waarden (missingness), amplitude-schaling, toegevoegde Gaussische ruis, en degradatie van beeldkwaliteit (voor VLMs).

3. Belangrijkste Resultaten

De auteurs evalueerden 17 state-of-the-art modellen (8 LLMs, 6 VLMs, 2 TSLMs). De bevindingen zijn verrassend en kritisch:

1. VLMs presteren het beste: Vision-Language Models (zoals GPT-5.4-mini-Vision en GPT-4o-Vision) presteren consistent beter dan tekst-only modellen, zelfs op eenvoudige taken. Dit benadrukt dat visuele representaties cruciaal zijn voor het begrijpen van structurele patronen.
2. TSLMs presteren beter dan LLMs, maar slechter dan VLMs: Gespecialiseerde tijdreeks-taalmodellen (zoals ChatTS) presteren consequent beter dan vergelijkbare LLMs, maar blijven achter bij VLMs. ChatTime presteerde vaak slechter dan willekeurig gokken vanwege hoge "refusal rates" (het weigeren om de instructies te volgen).
3. LLMs falen op fundamentele taken: Zelfs krachtige tekst-only modellen (zoals GPT-4o en Llama-3) presteren vaak slecht, vooral bij ruis of lange sequenties. Ze hebben moeite met het vertalen van numerieke data naar betekenisvolle tekst zonder visuele context.
4. Fragiliteit: Alle modellen zijn kwetsbaar voor realistische verstoringen.
   • Lengte: LLMs prestaties dalen sterk bij langere tijdreeksen (door attention-diffusie en token-beperkingen).
   • Ruis: LLMs vallen snel onder de willekeurige baseline bij toegevoegde ruis, terwijl VLMs robuuster blijven.
   • Beeldkwaliteit: VLMs presteren slechter naarmate de resolutie van de plots daalt.
5. Chain-of-Thought (CoT): Het gebruik van CoT-prompting verbetert de prestaties van LLMs lichtelijk, voornamelijk door het verminderen van weigeringen en het corrigeren van positionele bias, maar lost de fundamentele tekortkomingen niet volledig op.

4. Belangrijkste Bijdragen

1. BEDTime Benchmark: De introductie van het eerste uniforme benchmark voor het beschrijven van tijdreeksen, dat vijf datasets samenvoegt en drie modaliteiten en drie taken ondersteunt.
2. Uitgebreide Evaluatie: Een grondige vergelijking van 17 modellen, inclusief zowel gespecialiseerde tijdreeksmodellen als algemene foundation modellen, met zowel geautomatiseerde als menselijke evaluaties.
3. Robustheidsonderzoek: Een systematische analyse van hoe modellen falen onder realistische condities (ruis, ontbrekende data, lengte), wat richtingen aangeeft voor toekomstig onderzoek.
4. Open Science: Alle code, data en scripts zijn publiek beschikbaar gesteld om reproduceerbaarheid te waarborgen.

5. Betekenis en Conclusie

Het paper relativeert de claims van recente multi-modale tijdreeksmodellen. Het toont aan dat het "redeneren" over tijdreeksen nog niet op een solide fundament staat; zelfs geavanceerde modellen worstelen met het basale vermogen om structurele eigenschappen correct te beschrijven.

De studie concludeert dat visuele representaties (plots) momenteel de meest effectieve manier zijn om tijdreeksen te analyseren met taalmodellen, en dat pure tekstuele of numerieke benaderingen nog significant verbetering nodig hebben. BEDTime biedt een noodzakelijk kader voor de gemeenschap om toekomstige modellen te evalueren op fundamentele vaardigheden voordat ze worden ingezet voor complexe toepassingen in domeinen zoals geneeskunde en financiën.