CauKer: Classification Time Series Foundation Models Can Be Pretrained on Synthetic Data

Dit paper introduceert CauKer, een algoritme dat synthetische tijdreeksen genereert met behulp van Gaussische processen en causale modellen om tijdreeks-fundamentmodellen voor classificatie efficiënter voor te trainen dan met real-world data.

De kern

Stel je voor dat je een superintelligente robot wilt bouwen die kan begrijpen wat er gebeurt in de wereld, van het hartslagpatroon van een patiënt tot de stroomverbruik van een stad. Deze robot heet een "Time Series Foundation Model" (TSFM). Om slim te worden, moet deze robot eerst een enorme hoeveelheid data "lezen" en bestuderen.

Normaal gesproken doen onderzoekers dit door miljarden echte meetgegevens van de echte wereld te verzamelen. Dat is echter als proberen een chef-kok te trainen door hem alleen maar dure, zeldzame ingrediënten te geven die je maandenlang moet zoeken. Het is duur, tijdrovend en soms is de data niet eens beschikbaar.

De auteurs van dit paper, CAUKER, hebben een slimme oplossing bedacht: Waarom niet de robot trainen met zelfgemaakte, perfecte data?

Hier is hoe ze dat doen, vertaald naar alledaagse taal:

1. De Probleemstelling: De "Echte" Wereld is Chaotisch

Echte data is vaak rommelig. Het is als een bibliotheek waar de boeken door elkaar liggen, sommige pagina's ontbreken en sommige hoofdstukken dubbel zijn. Als je een robot daarop traint, wordt hij soms verward. Hij leert de "ruis" van de echte wereld in plaats van de echte patronen.

2. De Oplossing: CAUKER (De "Causale Keuken")

De onderzoekers hebben een nieuwe manier bedacht om data te maken, genaamd CAUKER. In plaats van echte data te stelen, bouwen ze hun eigen wereld op. Ze gebruiken twee slimme gereedschappen:

• De "Gaussian Process" (De Kunstenaar):
  Stel je voor dat je een schilderij maakt. Je hebt een penseel dat perfecte, soepele lijnen trekt (zoals een golfbeweging of een seizoenspatroon). Dit zorgt ervoor dat de data eruitziet als echte tijdreeksen: ze hebben een trend, een ritme en een seizoen.
• De "Structural Causal Model" (De Regisseur):
  Maar een schilderij alleen is niet genoeg. Je hebt een verhaal nodig. De regisseur zorgt ervoor dat de verschillende elementen in het schilderij met elkaar verbonden zijn. Als er een storm komt (oorzaak), dan vallen de bomen om (gevolg). In de data betekent dit: als de temperatuur stijgt, gaat het energieverbruik omhoog. CAUKER zorgt ervoor dat deze verbanden logisch en "causaal" zijn.

De Analogie:
Stel je voor dat je een acteur wilt trainen om een detective te spelen.

• De oude methode: Je neemt hem mee naar 10.000 echte moordzaken. Hij ziet veel, maar ook veel onzin en toeval.
• De CAUKER-methode: Je schrijft 10.000 perfecte scripts. In elk script is de moordlogica perfect, de motieven zijn helder en de patronen zijn duidelijk. De acteur (de AI) leert zo veel sneller en beter wat een "echte" detective moet doen, omdat hij de logica van het verhaal perfect begrijpt.

3. Wat Vondenen Ze? (De Magische Resultaten)

• Minder is Meer: Ze ontdekten dat je met veel minder data een slimmere robot kunt maken. Met slechts een klein beetje van hun zelfgemaakte data (synthetische data) presteerde de robot net zo goed, en soms zelfs beter, dan robots die getraind waren op gigantische verzamelingen echte data.
• De "Schalingswet" (Scaling Laws):
  In de echte wereld is het soms zo dat als je meer data toevoegt, de robot niet per se slimmer wordt (alsof je een kind meer boeken geeft, maar hij blijft op hetzelfde niveau). Met CAUKER is het anders: Hoe meer data je toevoegt, hoe slimmer de robot wordt. Het is alsof je een ladder hebt die oneindig hoog gaat; elke nieuwe tree (meer data) maakt de robot direct beter.
• Geen "Gelekte" Data: Omdat de data zelfgemaakt is, weet je 100% zeker dat de robot de testvragen niet al eerder heeft gezien. Bij echte data kan het gebeuren dat de robot per ongeluk een antwoord heeft "gelekt" uit de trainingsset. Bij CAUKER is dat onmogelijk.

4. Waarom is dit belangrijk?

Dit paper zegt eigenlijk: "Stop met het jagen op zeldzame, dure data. Begin met het bouwen van slimme, logische simulaties."

Het is alsof je in plaats van te proberen elke soort steen in de oceaan te vinden, een machine bouwt die precies weet hoe een steen eruit moet zien, hoe hij valt en hoe hij botst. Als je die machine goed genoeg bouwt, kun je elke steen in de wereld begrijpen zonder ooit naar de oceaan te hoeven gaan.

Kortom: CAUKER is een nieuwe manier om AI te trainen door een perfecte, logische, zelfgemaakte wereld te creëren. Hierdoor worden de robots slimmer, sneller en goedkoper, en ze werken zelfs beter dan de modellen die we tot nu toe hadden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "CAUKER: CLASSIFICATION TIME SERIES FOUNDATION MODELS CAN BE PRETRAINED ON SYNTHETIC DATA" in het Nederlands.

Probleemstelling

Tijdreeks-fundamentmodellen (TSFMs) hebben recentelijk aanzienlijke aandacht getrokken vanwege hun sterke zero-shot prestaties en brede toepassingen. Traditioneel vereisen deze modellen echter een rekenintensieve vooropleiding (pre-training) op enorme verzamelingen van zorgvuldig samengestelde, echte werelddata. Dit brengt enkele uitdagingen met zich mee:

1. Data-verzameling: Het verzamelen en cureren van diverse, grote datasets is tijdrovend en kostbaar.
2. Schalingsproblemen: Bestaande real-world datasets voor classificatie (zoals UCR/UEA) vertonen vaak onregelmatig schaalgedrag; prestaties verbeteren niet noodzakelijk lineair met meer data of grotere modellen, waarschijnlijk door gebrek aan diversiteit en domeinverschillen.
3. Data-lekkage: Bij het evalueren van zero-shot generalisatie is het risico op data-lekkage groot als de testdata (bijv. UCR-testsets) ook in de trainingscorpora van bestaande modellen zit.

Het paper stelt dat synthetische data een oplossing kan bieden, maar bestaande methoden voor synthetische tijdreeksgeneratie (voornamelijk gericht op forecasting of tabulaire data) zijn niet optimaal voor classificatie. Forecasting-methoden missen vaak de noodzakelijke clusterstructuur tussen klassen, terwijl tabulaire methoden de temporele afhankelijkheden negeren.

Methodologie: CAUKER

De auteurs introduceren CAUKER (Causal-Kernel generation), een nieuw algoritme voor het genereren van diverse, causaal coherente synthetische tijdreeksen met realistische trends, seizoenspatronen en niet-lineaire interacties. De methode combineert twee kerncomponenten:

1. Gaussian Process (GP) Kernel Composities:

   • Er worden drie "banken" van functies gedefinieerd: kernels, mean-functies en activatiefuncties.
   • Kernels: Random geselecteerde kernels (zoals ExpSineSquared, RBF, DotProduct) worden gecombineerd via willekeurige binaire operaties (+ en ×) om complexe covariantiestructuren te creëren.
   • Mean-functies: In tegenstelling tot forecasting-modellen die vaak nul-gemiddelde GPs gebruiken, introduceert CAUKER niet-nul mean-functies (lineair, exponentieel, anomalieën) als discriminatieve signalen voor classificatie.
   • Root Nodes: Tijdreeksen worden gegenereerd als root-nodes in een grafiek, getrokken uit deze samengestelde GP-priors.

2. Structural Causal Models (SCM):

   • De gegenereerde root-nodes dienen als basis voor een gerichte acyclische grafiek (DAG).
   • Kanten in deze grafiek vertegenwoordigen causale afhankelijkheden.
   • Propagatie: De waarde van een niet-root knoop wordt berekend door de invoer van inkomende kanten te aggregeren (via een lineaire transformatie) en vervolgens een willekeurig geselecteerde activatiefunctie (uit een bank met o.a. ReLU, Sigmoid, Sinus, Modulo) toe te passen.
   • Dit creëert complexe, niet-lineaire interacties tussen de gegenereerde tijdreeksen, wat essentieel is voor het simuleren van realistische classificatiestructuren.

Het proces resulteert in een dataset waar elke tijdreeks een betekenisvolle clusterstructuur heeft, maar waarbinnen de temporele patronen realistisch en divers zijn.

Belangrijkste Bijdragen

1. Nieuwe Synthetische Pipeline: CAUKER is de eerste methode die specifiek is ontworpen voor het pre-trainen van TSFMs voor classificatie (in plaats van forecasting of tabulaire data), door kernel-compositie te verenigen met causale grafieken.
2. Schaalwetten (Scaling Laws): Het paper levert het eerste uitgebreide bewijs dat synthetische data duidelijke schaalwetten vertoont voor zowel datasetgrootte (van 10K tot 10M samples) als modelcapaciteit (van 1M tot 783M parameters). In tegenstelling tot real-world datasets, waar schaling vaak onregelmatig of plat is, verbetert de prestatie bij CAUKER-steadig met meer data en grotere modellen.
3. Sample-efficiëntie: Het wordt aangetoond dat modellen gepre-train op CAUKER-data (bijv. 100K synthetische samples) vergelijkbare of betere zero-shot prestaties behalen op real-world benchmarks (UCR) dan modellen die zijn gepre-train op veel grotere real-world corpora (bijv. 1.89M samples).
4. Generalisatie: De methodologie werkt zowel voor contrastieve learning (Mantis) als voor masked reconstruction (MOMENT), wat aantoont dat het robuust is voor verschillende vooropleidingsparadigma's.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd met de modellen Mantis (contrastief, 8M parameters) en MOMENT (masked, tot 783M parameters):

• Vergelijking met Alternatieven: CAUKER overtreft andere synthetische generatoren (zoals FPFN, KernelSynth, en SCM voor tabulaire data) significant in zero-shot classificatie op de UCR-benchmark.
  • Mantis: 78.31% (CAUKER) vs. 77.70% (KernelSynth).
  • MOMENT: 74.24% (CAUKER) vs. 72.56% (Mean+KernelSynth).
• Schaalwetten:
  • Data-schaal: Bij training op real-world data (UEA) stagneert de prestatie vaak of fluctueert deze. Bij CAUKER stijgt de nauwkeurigheid lineair naarmate de dataset groeit (van 10K naar 10M).
  • Model-schaal: Grotere modellen presteren consistent beter op CAUKER-data. Bij real-world data vertonen grotere modellen soms zelfs een prestatiedaling door domeinverschillen.
• Sample-efficiëntie: Een Mantis-model gepre-train op slechts 100K CAUKER-samples behaalde 78.55% nauwkeurigheid, wat bijna gelijk is aan het originele model (78.66%) dat op 1.89M real-world samples is getraind. Voor MOMENT was het verschil nog kleiner (<1%).
• Generalisatie: De modellen presteren goed op externe benchmarks zoals WOODS (OOD-generalisatie) en onregelmatige klinische datasets (P12, P19), wat aantoont dat de gegenereerde representaties robuust en overdraagbaar zijn.
• Forecasting: Hoewel gericht op classificatie, bleek CAUKER ook effectief voor forecasting (Chronos-modellen), waarbij modellen getraind op synthetische data bijna even goed presteerden als die getraind op 84B real-world observaties.

Betekenis en Conclusie

Dit werk onderstreept een cruciaal inzicht: de kwaliteit en structuur van de vooropleidingsdata zijn minstens zo belangrijk als de hoeveelheid data of de modelarchitectuur.

• Verschuiving in Paradigma: Het paper suggereert dat de gemeenschap zich minder moet focussen op het verzamelen van enorme, ongestructureerde real-world datasets en meer op het principieel ontwerpen van synthetische trainingsdata.
• Kostenbesparing: Het elimineert de noodzaak voor tijdrovende data-curatie en maakt het mogelijk om modellen te schalen zonder de beperkingen van beschikbare real-world data.
• Betere Generalisatie: Door het creëren van causaal coherente en diverse synthetische data, worden modellen getraind die beter generaliseren naar onbekende domeinen (OOD), wat essentieel is voor echte wereldtoepassingen.

Samenvattend bewijst CAUKER dat tijdreeks-fundamentmodellen voor classificatie succesvol kunnen worden opgeleid puur op synthetische data, waarbij ze de prestaties van modellen die op enorme real-world datasets zijn getraind, evenaren of overtreffen, terwijl ze tegelijkertijd duidelijke en voorspelbare schaalwetten vertonen.