StaTS: Spectral Trajectory Schedule Learning for Adaptive Time Series Forecasting with Frequency Guided Denoiser

Het paper introduceert StaTS, een adaptief diffusion-model voor probabilistische tijdreeksvoorspelling dat een leerbaar spectrale traject-schema en een frequentie-gedreven denoiser combineert om structurele behoud en omkeerbaarheid te verbeteren ten opzichte van bestaande methoden met vaste schema's.

De kern

Stel je voor dat je een weerman bent die de toekomst van het weer moet voorspellen. Maar in plaats van alleen te zeggen "morgen wordt het zonnig", wil je een heel gedetailleerd verhaal vertellen: "Het is 80% kans op zon, maar er is een klein risico op een bui om 14:00 uur, en als dat gebeurt, wordt het 5 graden kouder."

Dit is wat StaTS doet, maar dan voor tijdreeksen zoals stroomverbruik, beurskoersen of verkeersdrukte. Het is een slim computerprogramma dat probeert de toekomst te voorspellen door te leren van het verleden, maar dan op een heel speciale manier.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vaste" Verwarring

Stel je voor dat je een foto van een schattig katje wilt maken, maar je moet eerst beginnen met een potje van pure, witte ruis (zoals statisch op een oude tv). Je probeert dan stap voor stap de ruis weg te halen tot je weer een katje ziet.

De meeste bestaande methodes doen dit met een vast recept. Ze zeggen: "Stap 1: voeg 10% ruis toe. Stap 2: voeg 11% ruis toe." Ze doen dit altijd op dezelfde manier, ongeacht of het om een katje gaat of om een foto van een berg.

Het probleem: Soms is dit recept niet goed.

• De "tussenstadia" (waar de foto half ruis, half katje is) zijn zo rommelig dat het programma er niets meer van begrijpt.
• Het eindresultaat (de pure ruis) is soms niet helemaal puur ruis, waardoor het moeilijk is om terug te werken naar het begin.
• Het programma kijkt alleen naar de tijd (de volgorde van de foto's), maar niet naar de frequentie (de patronen en ritmes in de data).

2. De Oplossing: StaTS (De Slimme Chef)

StaTS is als een chef-kok die niet vastzit aan een receptboek. Hij leert zelf het beste recept voor elk gerecht.

Deel A: De Spectrale Trajectplanner (STS) – De "Slimme Ruis-Maker"

In plaats van een vast recept te gebruiken, leert StaTS zelf hoeveel ruis hij moet toevoegen in elke stap.

• De Analogie: Stel je voor dat je een glas water (de data) hebt en je wilt er zand in doen. Een vast recept zou zeggen: "Doe elke seconde precies 1 gram zand erin."
• StaTS doet: Hij kijkt naar het water. "Ah, dit water is erg stil, ik doe nu snel wat zand erin. Maar nu het water al troebel is, doe ik heel voorzichtig een beetje meer, zodat het niet ineens onherkenbaar wordt."
• Het doel: Hij zorgt ervoor dat de "tussenstadia" (het troebele water) altijd net zo troebel zijn dat je ze nog kunt ophelderen. Hij zorgt ook dat het eindresultaat (het puur zand) perfect is, zodat je er weer makkelijk vanaf kunt komen.

Deel B: De Frequentie-Gestuurde Ontruiser (FGD) – De "Fijnzinnige Schoonmaker"

Nu moet het programma het zand weer uit het water halen. Normaal gesproken kijkt een schoonmaker alleen naar hoe vuil het water is.

• StaTS doet: Hij kijkt ook naar welk soort vuil het is. Is het grof zand (de grote trends, zoals "het is winter") of fijn stof (de kleine pieken, zoals "er is een plotselinge piek in stroomverbruik").
• De Analogie: Stel je voor dat je een oude, stoffige tapijt moet schoonmaken.
  • Een gewone stofzuiger (andere methodes) zuigt alles even hard af.
  • De StaTS-stofzuiger heeft een speciale sensor. Hij ziet: "Oh, hier is het tapijt erg beschadigd door de zware stappen (de grote trends), dus ik moet hier heel zacht en grondig zuigen. Maar hier is het alleen wat lichte stof (de ruis), dus ik kan hier harder aan trekken."
• Hij gebruikt de informatie over hoe het "zand" (de ruis) is toegevoegd, om precies te weten waar hij moet poetsen.

3. Hoe leren ze samen? (De Twee-Stappen Dans)

Het is lastig om tegelijkertijd het beste recept te bedenken én de beste schoonmaaktechniek te leren. Daarom doen ze het in twee fasen:

1. Fase 1: Ze wisselen elkaar af. Eerst oefent de "Ruis-Maker" een beetje, dan de "Schoonmaker", dan weer de Maker, enzovoort. Ze leren van elkaars fouten.
2. Fase 2: Zodra de "Ruis-Maker" een perfect recept heeft gevonden, zet hij die vast. Dan kan de "Schoonmaker" zich volledig concentreren op het perfect schoonmaken zonder dat het recept tussendoor verandert.

Waarom is dit zo goed?

• Minder stappen: Omdat het recept zo slim is, hoeft de "Schoonmaker" niet 100 keer te poetsen om een schone foto te krijgen. Soms is 10 keer poetsen al genoeg. Dit bespaart tijd en energie.
• Beter voorspellen: Omdat het programma de patronen (de frequenties) beter begrijpt, maakt hij minder fouten. Hij ziet bijvoorbeeld dat stroomverbruik elke dag om 18:00 uur piekt, en houdt daar rekening mee, zelfs als het weer anders is.
• Betrouwbaar: Hij geeft niet alleen een voorspelling, maar ook een "zekerheidsmarge". Hij zegt: "Ik denk dat het 20 graden wordt, maar het kan tussen 18 en 22 liggen." En die marge is heel nauwkeurig.

Kortom: StaTS is als een super-intelligente voorspeller die niet blindelings een vast schema volgt, maar zelf leert hoe hij de chaos (ruis) het beste kan aanbrengen en weer kan opruimen, zodat hij de toekomst met veel meer zekerheid kan zien.

Technische samenvatting

Titel: StaTS: Spectrale Trajectplanning voor Adaptieve Tijdreeksvoorspelling met Frequentie-geleide Denoiser

1. Probleemstelling

Tijdreeksvoorspelling is cruciaal in domeinen zoals financiën en gezondheidszorg, waarbij het kwantificeren van onzekerheid (probabilistische voorspelling) net zo belangrijk is als de nauwkeurigheid van het punt. Hoewel Diffusiemodellen (zoals DDPMs) veelbelovend zijn voor probabilistische voorspelling, lijden bestaande methoden onder twee fundamentele beperkingen:

1. Vaste Noise Schedules: Traditionele diffusion-modellen gebruiken vooraf gedefinieerde, vaste schedules (bijv. lineair of cosinus) voor het toevoegen van ruis. Dit leidt vaak tot:
   • Intermediaire toestanden die moeilijk omkeerbaar zijn (moeilijk te denoisen).
   • Een terminale toestand die afwijkt van de aanname van "pure ruis", wat een mismatch veroorzaakt tussen training en inferentie.
   • Gebrek aan spectrale scheiding, wat het herstel van structurele informatie (zoals trends en periodiciteit) bemoeilijkt.
2. Beperkte Conditionering in de Tijdsdomein: Bestaande methoden vertrouwen voornamelijk op conditionering in het tijdsdomein. Ze modelleren niet expliciet hoe ruis toevoeging de verschillende frequentiecomponenten (trends, periodiciteit, stochastische ruis) degradeert. Dit beperkt het vermogen van de denoiser om structuren op verschillende ruisniveaus effectief te herstellen.

2. Methodologie: StaTS Framework

De auteurs stellen StaTS voor, een diffusion-framework dat de corruptietrajectorie (forward process) en het denoising-proces (reverse process) gezamenlijk optimaliseert. Het bestaat uit twee kerncomponenten die via een twee-fasen trainingsstrategie worden gekoppeld:

A. Spectral Trajectory Scheduler (STS)
In plaats van een vaste schedule te gebruiken, leert STS een data-adaptieve noise schedule ($\beta(t)$).

• Parameterisatie: $\beta(t)$ wordt gemodelleerd als een leerbare functie van de diffusiestap via een lichtgewicht MLP.
• Spectrale Regularisatie: Om te voorkomen dat de schedule degradeert, worden specifieke objectieven geïntroduceerd:
  • Boundary Objectives: Voorkomen dat $\beta(t)$ in de buurt van nul zakt (wat leidt tot identieke ruisniveaus) en straffen een te hoge initiële ruis.
  • Endpoint Objectives: Zorgen dat de terminale toestand ($x_T$) een spectraal vlakke verdeling heeft (vergelijkbaar met uniforme ruis).
  • Spectral Flatness Progression: De evolutie van de spectrale vlaktheid over de stappen wordt geregulariseerd om een soepele overgang te garanderen en spectrale instorting te voorkomen.
• Doel: Het creëren van intermediaire toestanden die optimaal zijn voor het leren van een stabiele inverse mapping (denoising).

B. Frequency Guided Denoiser (FGD)
De FGD is ontworpen om de door de schedule veroorzaakte spectrale vervorming te compenseren.

• Conditionele Geleiding: Een module schat de spectrale vervorming in de geschiedenis-window ($c_0$) door de ruis toe te passen volgens de geleerde schedule.
• Spectrale Vervormingsschatting: Het verschil tussen het spectrum van de schone geschiedenis en de verstoord geschiedenis wordt geschat. Deze schatting fungeert als een gids-signaal.
• Modulatie: Dit signaal wordt gebruikt om de sterkte van het denoising per frequentieband en per variabele te moduleren. Hierdoor kan het model adaptief middelen toewijzen aan het herstellen van specifieke structuren (bijv. trends vs. hoge frequenties) die door de schedule zijn aangetast.
• Fusie: De uiteindelijke voorspelling is een gewogen som van een deterministische frequentie-voorspelling (gebaseerd op geschiedenis) en de stochastische denoised output.

C. Trainingsstrategie
Om de coupling tussen het leren van de schedule en het optimaliseren van de denoiser te stabiliseren, wordt een twee-fasen trainingsstrategie gebruikt:

1. Fase 1 (Alternatieve Updates): STS en FGD worden om de beurt geüpdatet voor $k$ epochs. De schedule wordt geoptimaliseerd op basis van de huidige denoiser, en vice versa.
2. Fase 2 (Fixatie): De geleerde schedule ($\beta(t)$) wordt gefixeerd, en de FGD wordt getraind tot convergentie onder deze statische corruptieverdeling. Dit elimineert drift in het forward proces.

3. Belangrijkste Bijdragen

1. StaTS Framework: Het eerste diffusion-framework dat noise scheduling en denoising gezamenlijk optimaliseert voor probabilistische tijdreeksvoorspelling, waardoor corruptie en restauratie beter op elkaar worden afgestemd.
2. Spectrale Trajectplanning (STS): Een methode om data-adaptieve schedules te leren die zijn geregulariseerd door spectrale objectieven, wat leidt tot beter behoud van structuur en omkeerbaarheid.
3. Frequentie-geleide Denoising (FGD): Een innovatieve denoiser die expliciet de spectrale schade door de schedule schat en deze gebruikt om de herstelkracht te moduleren, wat zorgt voor heterogene restauratie over verschillende stappen en variabelen.
4. Theoretische Garantie: De auteurs bieden convergentiebewijzen voor de schedule-optimatie en aantonen dat beperkte perturbaties in de schedule leiden tot gecontroleerde variaties in het forward proces.

4. Resultaten

StaTS is geëvalueerd op acht real-world benchmarks (o.a. ETT, Electricity, Traffic, SolarEnergy) en vergeleken met state-of-the-art baselines zoals CSDI, D3VAE, TimeDiff en NsDiff.

• Prestaties: StaTS behaalt consequent de beste resultaten op alle datasets voor CRPS (Continuous Ranked Probability Score, maatstaf voor probabilistische kwaliteit) en MAE (Mean Absolute Error).
  • Bijvoorbeeld: Op de ETTh1 dataset verbeterde StaTS de CRPS met 13,18% ten opzichte van de beste baseline (NsDiff).
• Efficiëntie: StaTS behoudt hoge nauwkeurigheid met weinig steekproefstappen (bijv. $T=10$ of $T=20$). Waar vaste schedules bij lage $T$ vaak instabiel zijn, presteert de geleerde schedule van STS uitstekend omdat de intermediaire toestanden beter denoisable zijn.
• Visualisatie: Grafieken tonen dat StaTS beter in staat is om fasen en amplitude van periodieke oscillaties te volgen en dat de onzekerheidsintervallen (prediction intervals) dynamisch reageren op lokale veranderingen in de data, in tegenstelling tot de vaak te gladde of te brede intervallen van concurrenten.
• Ablatie Studies: Het verwijderen van de endpoint-objectieven of de spectrale vervormingsschatting leidt tot significante prestatieverlies, wat het belang van beide componenten bevestigt.

5. Betekenis en Impact

Dit paper is significant omdat het een fundamentele beperking van diffusion-modellen voor tijdreeksen aanpakt: de afhankelijkheid van handmatig ontworpen, statische schedules.

• Adaptiviteit: Door de schedule te laten leren op basis van de data-eigenschappen, wordt het model robuuster voor verschillende soorten tijdreeksen (periodiek, niet-stationair, etc.).
• Interpretabiliteit: De focus op het frequentiedomein biedt inzicht in hoe verschillende componenten van de tijdreeks worden beïnvloed door ruis en hoe ze hersteld kunnen worden.
• Praktische Toepasbaarheid: Het vermogen om hoge kwaliteit voorspellingen te leveren met minder inferentiestappen maakt StaTS zeer geschikt voor real-time toepassingen waar rekenkracht of latentie een beperkende factor is.

Kortom, StaTS demonstreert dat het gezamenlijk optimaliseren van de corruptietrajectorie en het herstelproces, geleid door spectrale principes, leidt tot superieure probabilistische voorspellingen in vergelijking met bestaande methoden.