ConTSG-Bench: A Unified Benchmark for Conditional Time Series Generation

Dit paper introduceert ConTSG-Bench, een gestandaardiseerd benchmarkkader met een uitgebreide dataset en meetinstrumenten om de prestaties van conditionele tijdreeksgeneratiemodellen systematisch te evalueren en zo hun beperkingen en toekomstige onderzoeksrichtingen in kaart te brengen.

De kern

Stel je voor dat je een chef-kok bent die een gerecht moet koken, maar je hebt geen ingrediënten. In de wereld van data gebeurt dit vaak: er is niet genoeg echte data (bijvoorbeeld medische gegevens van patiënten of weersdata) om slimme computersystemen te trainen. De oplossing? Generatieve modellen: slimme AI's die nieuwe, nep-data maken die er net zo echt uitziet als de echte data.

Maar hier zit een addertje onder het gras. Vaak maken deze AI's gewoon willekeurige data. Dat is als een chef die een toevallige soep maakt zonder te weten of je zout of suiker wilt. Wat we echt nodig hebben, is een chef die precies luistert naar je wensen: "Maak een soep die eruitziet als een storm, maar dan met een zachte windvlaag in het midden."

Dit is precies waar het papier over ConTSG-Bench gaat. Het introduceert een nieuwe, super-georganiseerde keuring (een benchmark) om te testen hoe goed deze AI-chefs zijn in het maken van tijdreeksen (data die over tijd verloopt) die precies doen wat je vraagt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Willekeurige Soep"

Vroeger waren er veel verschillende manieren om te testen of een AI goed data kon maken. Maar het was een rommeltje.

• De ene test vroeg om een AI die data maakt op basis van een label (bijv. "Dit is een storm").
• De andere vroeg om een lijstje met eigenschappen (bijv. "Hoge wind, lage temperatuur").
• De derde vroeg om een tekst (bijv. "Beschrijf een zware storm met een blikseminslag").

Het was alsof je koks testte in verschillende keukens met verschillende gerechten, en je probeerde ze dan met elkaar te vergelijken. Dat werkt niet! Je wist niet welke kok echt de beste was.

2. De Oplossing: ConTSG-Bench (De Grote Keuring)

De auteurs hebben ConTSG-Bench bedacht. Dit is een grote, eerlijke wedstrijd waar alle AI-modellen tegen elkaar moeten strijden onder dezelfde voorwaarden.

Ze hebben een enorme verzameling data gemaakt (de "keuken") waar voor elk scenario drie soorten instructies bestaan:

1. Het Label: "Maak een storm."
2. De Eigenschappen: "Windkracht 8, regen."
3. De Tekst: "Een donkere hemel met zware wind en een plotselinge bliksem."

Dit is alsof je een kok vraagt om een gerecht te maken, en je geeft hem drie verschillende recepten voor hetzelfde gerecht. Zo kun je echt zien of de AI begrijpt wat je bedoelt, ongeacht hoe je het vraagt.

3. De Twee Soorten Instructies: "De Vorm" vs. "Het Concept"

Een van de coolste dingen aan deze benchmark is dat ze twee soorten vragen onderscheiden:

• Morfologische instructies (De Vorm): Dit is als zeggen: "Trek een lijn die omhoog gaat, dan een piek, en dan weer omlaag." De AI moet precies weten hoe de lijn eruit moet zien.
• Conceptuele instructies (Het Concept): Dit is als zeggen: "Het is een storm." De AI moet dan zelf bedenken: "Oké, een storm betekent hoge pieken en veel chaos." De AI moet de link leggen tussen het woord en de vorm.

De vergelijking:

• Morfologisch is als een tekenaar die zegt: "Teken een cirkel met een straal van 5 cm."
• Conceptueel is als een opdrachtgever die zegt: "Teken een zon." De tekenaar moet zelf weten dat een zon een cirkel is met stralen.

De benchmark test of AI's goed zijn in beide, of dat ze alleen kunnen tekenen als ze exacte instructies krijgen.

4. Wat hebben ze ontdekt? (De Uitslagen)

Toen ze alle AI's (zoals VerbalTS, TimeVQVAE, etc.) tegen elkaar lieten strijden, kwamen ze tot een paar interessante conclusies:

• Tekst is de koning, maar ook de lastigste: AI's die werken met natuurlijke taal (tekst) kunnen de allerbeste resultaten halen, maar ze zijn ook erg onbetrouwbaar. Soms zijn ze briljant, soms maken ze complete onzin. Het is alsof je een genie hebt die soms een meesterwerk maakt en soms de keuken in brand steekt.
• Kleine details zijn een nachtmerrie: Als je vraagt: "Maak een lijn die in het midden een dip heeft en daarna stijgt", doen de meeste AI's het mis. Ze krijgen de grote lijn goed, maar de fijne details (de dip op het juiste moment) missen ze. Ze zijn goed in het maken van een "storm", maar slecht in het maken van "een storm met precies één blikseminslag op seconde 45".
• Nieuwe combinaties zijn lastig: Als je een AI traint op "storm" en "zon", en je vraagt hem dan om een "storm met een zonsopgang", faalt hij vaak. Hij heeft de losse onderdelen geleerd, maar kan ze niet creatief combineren tot iets nieuws. Dit noemen ze "compositional generalization".

5. Waarom is dit belangrijk?

Stel je voor dat je een ziekenhuis hebt en je wilt een AI trainen om hartproblemen te voorspellen, maar je hebt maar weinig echte patiëntgegevens. Je gebruikt dan nep-data die door een AI is gemaakt.

Als die nep-data niet precies de juiste patronen volgt (bijvoorbeeld: "de hartslag moet hier even dalen"), dan leert je AI het verkeerde. Dan is je AI in het ziekenhuis gevaarlijk.

ConTSG-Bench helpt onderzoekers om te zien welke AI's echt betrouwbaar zijn en welke alleen maar "nep" data maken die er op het eerste gezicht goed uitziet, maar bij nader inzien de verkeerde boodschappen bevat.

Samenvatting in één zin

Dit papier introduceert een eerlijke, uitgebreide testomgeving om te zien welke slimme computersystemen het beste kunnen luisteren naar complexe wensen (van simpele labels tot ingewikkelde teksten) en daar precies de juiste, realistische data van kunnen maken, zodat we ze veilig kunnen gebruiken in de echte wereld.

Technische samenvatting

Probleemstelling

Conditionele tijdreeksgeneratie (ConTSG) is een cruciale technologie voor het oplossen van data-schaarste en het mogelijk maken van causale analyse in toepassingen zoals gezondheidszorg, klimaatwetenschap en privacybehoud. Ondanks de groeiende belangstelling, ontbreekt er een gestandaardiseerd en systematisch benchmarkkader om generatieve modellen te evalueren onder diverse voorwaarden.

De huidige onderzoekslandschap is gefragmenteerd door drie hoofdzaken:

1. Heterogene conditiemodaliteiten: Bestaande methoden zijn geïsoleerd rond specifieke inputtypes, zoals discrete klasselabels, gestructureerde attributen (metadata) of natuurlijke taal (tekst). Dit maakt een directe vergelijking tussen modellen onmogelijk.
2. Gebrek aan semantische abstractie: Evaluaties onderscheiden vaak niet tussen morfologische condities (directe beschrijving van tijdsstructuren, zoals pieken of trends) en conceptuele condities (hoge niveau domeinkennis, zoals een medische diagnose), waarbij laatstgenoemde vereist dat het model temporele patronen inferreert uit abstracte semantiek.
3. Onvolledige evaluatiemetrics: Bestaande benchmarks focussen vaak alleen op generatiefiditeit (hoe realistisch de data is) en negeren kritieke aspecten zoals nauwkeurige conditionele adherence (volgen van de instructie), fijnmazige lokale controle, compositieve generalisatie (omgaan met nieuwe attributecombinaties) en praktische bruikbaarheid voor downstream-taken.

Methodologie: ConTSG-Bench

Om deze gaten te dichten, stellen de auteurs ConTSG-Bench voor, het eerste unified benchmarkkader voor conditionele tijdreeksgeneratie.

1. Gestructureerde Dataset:
Het kader omvat acht grote datasets uit diverse domeinen (gezondheid, meteorologie, energie, verkeer, netwerktelemetrie). Een kerninnovatie is de uitgelijnde multimodale dataset: voor elke tijdreeks worden drie vormen van condities gegenereerd die dezelfde onderliggende betekenis hebben:

• Klasselabels (Label): Discrete categorieën.
• Gestructureerde attributen (Attribute): Vektoren met categorische en continue waarden.
• Natuurlijke taal (Text): Beschrijvende zinnen.
  Daarnaast worden voor specifieke datasets (PTB-XL en Weather) gepaarde condities aangeboden: zowel een morfologische beschrijving (vorm) als een conceptuele beschrijving (betekenis), waardoor modellen kunnen worden getest op hun vermogen om verschillende niveaus van abstractie te hanteren.

2. Evaluatiekader en Vragen (RQ's):
Het benchmarkkader beantwoordt vijf kernvragen via een uitgebreide suite van metrics:

• RQ1 (Algemene prestaties): Vergelijking van generatiefiditeit en conditionele adherence.
• RQ2 (Semantische abstractie): Hoe gevoelig zijn modellen voor het verschil tussen morfologische en conceptuele condities?
• RQ3 (Fijnmazige controle): Kunnen modellen specifieke lokale patronen (bijv. "daling in het midden") nauwkeurig volgen?
• RQ4 (Compositieve generalisatie): Kunnen modellen omgaan met nieuwe attributecombinaties die niet in de trainingsdata voorkomen?
• RQ5 (Praktische bruikbaarheid): Kunnen gegenereerde data real data vervangen bij het trainen van downstream-classifiers?

3. Metrics:
De evaluatie gebruikt twee hoofdaspecten:

• Generatiefiditeit: Gebruikt statistische metrics (MDD, ACD, Schewness/Kurtosis) en embedding-based metrics (FID, Precision/Recall) om te meten hoe realistisch de data is.
• Conditionele Adherence: Meet de alignering tussen output en input. Dit omvat CTTP Score (cosine similarity in een gezamenlijke embedding-ruimte), Joint FID, DTW (Dynamic Time Warping) voor structurele alignering, en CRPS voor probabilistische nauwkeurigheid.

4. Geëvalueerde Modellen:
Tien representatieve modellen worden getest, waaronder label-gebaseerde (TimeVQVAE, TTS-CGAN), attribuut-gebaseerde (TimeWeaver, TEdit, WaveStitch) en tekst-gebaseerde (BRIDGE, VerbalTS, T2S, DiffuSETS, Text2Motion).

Belangrijkste Resultaten

De uitgebreide evaluatie leverde drie cruciale inzichten op:

1. Fiditeit vs. Adherence: Er is geen sterke correlatie tussen het genereren van realistische data en het correct volgen van condities. Modellen kunnen realistische series genereren die de conditie negeren, of strikt de conditie volgen maar onrealistische patronen produceren. Tekst-gebaseerde modellen tonen het hoogste potentieel (hoogste ceiling) maar ook de grootste variatie in prestaties.
2. Uitdagingen in Controle en Generalisatie:
   • Fijnmazige controle: De meeste modellen worstelen om specifieke lokale patronen nauwkeurig te genereren. Op segment-niveau presteren ze vaak niet beter dan een simpele "retrieval"-baseline (het kiezen van de dichtstbijzijnde trainingsdata).
   • Compositieve generalisatie: Modellen die goed presteren op bekende combinaties, vertonen vaak een significante prestatiedaling bij nieuwe, onbekende attributecombinaties. Sterke adherence lijkt paradoxale gevoeligheid voor distributieveranderingen te veroorzaken.
3. Semantische Abstractie: De prestaties hangen sterk af van het type conditie. In gestructureerde domeinen (zoals ECG) presteren morfologische en conceptuele condities vergelijkbaar, maar in complexe natuurlijke verschijnselen (zoals weer) kunnen conceptuele beschrijvingen leiden tot betere resultaten, wat suggereert dat modellen expertkennis nodig hebben om abstracte semantiek om te zetten in tijdsreeksen.
4. Praktische Bruikbaarheid: De kwaliteit van gegenereerde data voor downstream-taken (zoals classificatie) is sterk dataset-afhankelijk en kan niet betrouwbaar worden voorspeld op basis van generatiefiditeit-metrics alleen. Sommige modellen genereren data die zelfs schadelijk is voor het trainen van classifiers.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

• Het eerste gestandaardiseerde benchmarkkader: ConTSG-Bench biedt een unificatie van modaliteiten en semantische niveaus, wat eerdere fragmentatie oplost.
• Gepareerde multimodale datasets: Het creëren van datasets waarbij elke tijdreeks gelabeld is met label, attribuut en tekst, maakt eerlijke cross-modale vergelijkingen mogelijk.
• Diepgaande analyse van beperkingen: Het werk identificeert dat huidige modellen structurele inductieve bias missen voor complexe, real-world synthese, met name wat betreft compositieve generalisatie en segmentbewuste controle.
• Open Source: Alle code, datasets en evaluatiepipelines zijn open-source beschikbaar gesteld om reproduceerbaarheid en toekomstig onderzoek te bevorderen.

Conclusie:
ConTSG-Bench markeert een verschuiving in het veld van conditionele tijdreeksgeneratie. Het toont aan dat hoewel er vooruitgang is geboekt, er nog significante uitdagingen zijn in het creëren van modellen die niet alleen realistische data genereren, maar dit ook doen met precieze, robuuste en semantisch correcte controle onder complexe en nieuwe condities. Dit kader biedt de basis voor de volgende generatie modellen die gericht zijn op structurele controle en compositief vermogen.