Technische Samenvatting: GenTS – Een Uitgebreide Benchmarkbibliotheek voor Generatieve Tijdsreeksmodellen

1. Probleemstelling

Hoewel generatieve modellen aanzienlijk potentieel hebben aangetoond in de analyse van tijdsreeksen (bijvoorbeeld synthese, forecasting en imputatie), ontbreekt het in het huidige ecosysteem aan een geünificeerde, uitgebreide benchmarkbibliotheek die specifiek op hen is toegespitst. Bestaande tijdsreeksbibliotheken (bijvoorbeeld TSLib, GluonTS) zijn primair ontworpen voor discriminatieve modellen, met starre workflows die zijn geoptimaliseerd voor specifieke taken zoals het minimaliseren van de Mean Squared Error (MSE) voor forecasting.

Deze structuur is fundamenteel incompatibel met generatieve modellen, die vaak gebruikmaken van onderscheidende en complexe trainingsparadigma's (bijvoorbeeld adversarial training, diffusieprocessen, differentiaalvergelijkingen) die gericht zijn op het leren van onderliggende data-distributies in plaats van directe input-output mappingen. Bovendien ontbreekt het bestaande bibliotheken vaak aan dekking op het gebied van:

• Verscheidenheid aan Taken: Veel bibliotheken richten zich op één enkele taak (bijvoorbeeld alleen synthese of alleen forecasting) of negeren veelzijdigheid.
• Modelverscheidenheid: Weinig bibliotheken integreren het volledige spectrum aan generatieve architecturen (GAN's, VAE's, Diffusiemodellen, Flows, Differentiaalvergelijkingen).
• Evaluatie: Er is een schaarste aan gestandaardiseerde, panoramische evaluatiemetrics die zowel statistische fideliteit als downstream bruikbaarheid beoordelen.

Deze kloof belemmert een systematische beoordeling van nieuwe vooruitgang en de vergelijking van verschillende generatieve benaderingen.

2. Methodologie: Het GenTS Framework

Om deze beperkingen aan te pakken, stellen de auteurs GenTS voor, een uitgebreide en uitbreidbare benchmarkbibliotheek gebouwd op PyTorch en PyTorch Lightning. Het framework is ontworpen met een modulaire architectuur die de volledige benchmark-pipeline beslaat:

A. Data Preprocessing

• Multi-Domein Datasets: GenTS bevat meer dan 15 datasets uit zes domeinen (Verkeer, Energie, Financiën, Medisch, Weer, Fysica), variërend van hoge frequentie (Hz) tot dagelijkse resoluties.
• Synthetische Data: Bevat simpele fysische traject-simulaties (Spiral2D, SineND) voor snelle prototyping.
• BaseDataModule: Een aanpasbare klasse (die LightningDataModule erft) die dataset-splitsing, instantiatie van dataloaders en taakspecifieke preprocessing verwerkt (bijvoorbeeld het simuleren van ontbrekende waarden voor imputatie of het definiëren van look-back vensters voor forecasting). Het ondersteunt onregelmatige tijdsreeksen en door de gebruiker gedefinieerde aangepaste datasets.

B. Modeltraining

• Modeldekking: De bibliotheek implementeert meer dan 25 State-of-the-Art (SOTA) modellen en hun varianten, ingedeeld in vijf types:
  • GAN's: TimeGAN, RCGAN, COSCIGAN, enz.
  • VAE's: TimeVAE, KoVAE, TimeVQVAE, enz.
  • Diffusie: DiffusionTS, CSDI, ImagenTime, TMDM, enz.
  • Flows: MAF, FourierFlow, enz.
  • Differentiaalvergelijkingen: LatentODE, LatentSDE, enz.
• Naïeve Baselines: Vier "Vanilla"-modellen (VanillaVAE, VanillaGAN, VanillaDDPM, VanillaMAF) worden geboden als startpunten, waarbij gebruik wordt gemaakt van eenvoudige MLP's of 1D-CNN-ruggengraten zonder taakspecifieke aanpassingen.
• BaseModel: Een sjabloonklasse (die LightningModule erft) die training, validatie en sampling-stappen standaardiseert. Het ondersteunt flexibele callbacks, logging en gradient accumulation. Het bevat ook een geünificeerde sample-methode voor het genereren van tijdsreeksen onder verschillende condities (onvoorwaardelijk, klassengeleid, forecasting, imputatie).

C. Prestatie-evaluatie

GenTS gaat verder dan eenvoudige MSE om een panoramische evaluatiesuite te bieden:

• Model-vrije Metrics: Statistische maten waaronder de Wasserstein-afstand, Continuous Ranked Probability Score (CRPS) en MSE om distributie-nabijheid te meten.
• Model-gebaseerde Metrics: Evaluaties op basis van neurale netwerken, waaronder:
  • Predictive Score (PS): Beoordeelt de bruikbaarheid van synthetische data voor het trainen van downstream forecasting-modellen (Trainen op Synthetisch, Testen op Echt).
  • Discriminative Score (DS): Meet hoe onderscheidbaar synthetische data is van echte data met behulp van een post-hoc classifier.
  • Context-FID (C-FID): Past de Frechet Inception Distance toe met behulp van TS2Vec-embeddings om lokale temporele context-uitlijning te meten.
• Visualisatie: Tools voor t-SNE-visualisatie van 2D-distributies en het plotten van forecasting/imputatieresultaten met voorspellingsintervallen.

3. Belangrijkste Bijdragen

1. GenTS Bibliotheek: De eerste uitgebreide benchmarkbibliotheek die specifiek is ontworpen voor generatieve tijdsreeksmodellen, en die gestandaardiseerde maar aanpasbare workflows biedt voor data-preparatie, training en evaluatie over onvoorwaardelijke en conditionele taken heen.
2. Uitgebreide Benchmarking: De auteurs hebben grootschalige experimenten uitgevoerd over drie belangrijke taken—Synthese (onvoorwaardelijk en klassengeleid), Forecasting en Imputatie—met behulp van diverse datasets en modellen.
3. Empirische Inzichten & Richtlijnen: Op basis van de benchmarkresultaten biedt het paper concrete suggesties voor modelselectie in cross-taak en taakspecifieke contexten en identificeert het potentiële toekomstige onderzoeksrichtingen.

4. Experimentele Resultaten

De benchmark-experimenten leverden enkele belangrijke bevindingen op:

• Tijdsreeks-synthese:
  • Diffusiemodellen (bijvoorbeeld ImagenTime, DiffusionTS) toonden over het algemeen superioriteit, met name in model-gebaseerde metrics (PS en DS), wat wijst op hoge fideliteit en downstream bruikbaarheid.
  • GAN's: Hoewel over het algemeen minder stabiel, stak COSCIGAN eruit vanwege het vermogen om complexe data-distributies te passen, en presteerde het goed op C-FID en Wasserstein-afstand.
  • Klassengeleide Synthese: TimeVQVAE toonde de beste uitlijning met echte, met labels voorziene clusters. GAN's genereerden gecategoriseerde data maar faalden in het goed uitlijnen met echte clusters.
• Tijdsreeks-forecasting:
  • CSDI en TMDM scoorden regelmatig als top-prestators voor zowel deterministische als probabilistische forecasting.
  • TMDM toonde absolute voordelen op niet-stationaire datasets (bijvoorbeeld Aandelen) vanwege zijn gespecialiseerde ruggengraat.
  • Verrassend genoeg toonden naïeve baselines (VanillaMAF, VanillaVAE) concurrerende prestaties op specifieke datasets (ETTh, Electricity), wat suggereert dat architecturale complexiteit niet altijd noodzakelijk is.
• Tijdsreeks-imputatie:
  • Op diffusie gebaseerde modellen domineerden deze taak met absolute superioriteit. CSDI presteerde consequent beter dan alle andere modellen, gevolgd door ImagenTime en DiffusionTS.
  • Op differentiaalvergelijkingen gebaseerde modellen en naïeve baselines vertoonden over het algemeen zwakkere prestaties en behaalden zelden een top-3 ranking.
• Efficiëntie:
  • GAN's en VAE's: De rekenlast zit primair in de training; inferentie is snel.
  • Diffusiemodellen: De trainsnelheid is vergelijkbaar met andere, maar inferentie is trager door iteratief denoising, waardoor ze geschikt zijn voor offline implementatie.
  • Differentiaalvergelijkingen: Zijn van nature belast met grotere computatiegrafieken door het oplossen van beginwaardeproblemen.

5. Betekenis en Toekomstige Richtingen

Het paper stelt dat GenTS een kritieke leegte in de gemeenschap voor generatieve tijdsreeksen opvult door een geünificeerd platform te bieden voor systematische beoordeling. De auteurs benadrukken dat op diffusie gebaseerde modellen momenteel de meest robuuste en aanbevelenswaardige keuze zijn voor generatie van tijdsreeksen voor algemeen gebruik, met name voor conditionele taken.

De auteurs suggereren nederig drie potentiële toekomstige onderzoeksrichtingen:

1. Generatieve Tijdsreeks Foundation Models: Het ontwikkelen van modellen die zijn getraind op globale data-distributies om op gecontroleerde wijze te worden afgeleid voor diverse downstream taken.
2. Robuuste Evaluatie: Het aanpakken van de gevoeligheid van model-gebaseerde metrics (PS, DS) voor de keuze van auxiliary evaluator-modellen door het ontwikkelen van meer holistische metrics.
3. Online Ontwikkeling: Het creëren van adaptieve paradigma's voor dynamische, real-world tijdsreeksen met complexe distributieveranderingen, verdergaand dan statische omgevingen om latentie en computebelasting te verminderen.

De auteurs concluderen dat hoewel op differentiaalvergelijkingen gebaseerde modellen onderpresteerden in huidige benchmarks, hun inherente inductieve bias voor continue tijd suggereert dat ze een veelbelovend, onderbelicht onderzoeksgebied blijven.