Technische Samenvatting: Universele Tijdsreeksgeneratie met Neuronale Gereguleerde Differentiaalvergelijkingen

Probleemstelling

Probabilistische tijdsreeksvoorspelling vereist het vastleggen van de volledige conditionele verdeling van toekomstige gebeurtenissen, een taak die inherent generatief is. Hoewel recente vooruitgang in generatieve modellering (bijvoorbeeld diffusiemodellen, flow matching) op dit domein is toegepast, vertrouwen deze doorgaans op backbones voor sequentiemodellen die geen maximale expressiviteit bezitten. Bovendien vertrouwen bestaande state-of-the-art modellen vaak op discrete-tijdsformuleringen, wat kan leiden tot problemen bij generalisatie naar willekeurige of onregelmatige observatierasters. Het artikel identificeert een kloof tussen de theoretische expressiviteit van continue-tijdsmodellen en hun praktische toepassing op generatieve tijdsreeksopgaven, en stelt specifiek de vraag of pad-voor-pad expressiviteit zich vertaalt naar distributie-universaliteit in generatieve settings.

Methodologie

Theoretische Grondslag: Universaliteit van SLiCEs

De auteurs breiden recent theoretisch werk uit over de sequentie-universaliteit van State Space Models (SSM's) uit naar de generatieve setting. Zij richten zich op Gestructureerde Lineaire Gereguleerde Differentiaalvergelijkingen (SLiCEs), een klasse van modellen die computationele efficiëntie balanceren met maximale expressiviteit door overgangsmatrices te beperken tot specifieke gestructureerde families (bijvoorbeeld blok-diagonaal, diagonaal-plus-laag-rang, Walsh–Hadamard).

De kern theoretische bijdrage is het bewijs dat maximaal expressieve SLiCEs universele causale tijdsreeksgeneratoren zijn.

1. Pad-voor-pad Universaliteit: Op basis van Walker et al. [65] stellen de auteurs vast dat maximaal expressieve SLiCEs elke continue causale kaart op compacte padverzamelingen uniform kunnen benaderen.
2. Distributie-universaliteit: Het artikel bewijst (Stelling 2) dat pad-voor-pad-benadering generatieve benadering impliceert. Specifiek, als een modelklasse continue causale kaarten uniform kan benaderen op compacte verzamelingen, kan deze ook de geïnduceerde pushforward-wetten van latente padverdelingen benaderen in de $\infty$-Wasserstein-afstand ($W_\infty$).
3. Expressiviteitskloof: De auteurs demonstreren dat niet alle efficiënte SSM-structuren deze universaliteit bezitten. Zij geven een theoretisch voorbeeld (Propositie 3) waarin wordt aangetoond dat dichte niet-selectieve SSM's (die S4 abstracteren) en diagonale selectieve SSM's (die Mamba abstracteren) falen bij het benaderen van bepaalde doelpadwetten, terwijl dichte selectieve SLiCEs hierin slagen.

Voorgesteld Model: G-SLiCEs

Op basis van deze resultaten stellen de auteurs Generatieve Gestructureerde Lineaire Gereguleerde Differentiaalvergelijkingen (G-SLiCEs) voor.

• Architectuur: G-SLiCEs modelleren probabilistische tijdsreeksgeneratie als een continue stroom op padruimte. Zij maken gebruik van een causale SLiCE-backbone om een vectorveld $F_\theta$ te definiëren dat een initiële pad $X(0)$ (gesampled uit een prior) transporteert naar een terminaal pad $X(1)$ (het gegenereerde voorbeeld).
• Training: Het model maakt gebruik van flow matching op padruimte. In tegenstelling tot eerdere flow-matching-benaderingen die werken op rasters, generaliseren G-SLiCEs dit naar continue paden.
  • Prior: Een Gaussisch Proces (GP) wordt gebruikt als de priorverdeling $\mu$ op padruimte. In conditionele settings wordt het GP geconditioneerd op een geobserveerde context (bijvoorbeeld een prefix van de tijdsreeks).
  • Doelfunctie: Het vectorveldnetwerk wordt getraind om het verplaatsingsvector tussen het priorpad en het doelpad te matchen langs een rechtlijnig interpolant $X(s) = (1-s)X(0) + sX(1)$.
• Inferentie: Sampling houdt in dat een initiële pad uit de prior wordt getrokken en de geleerde stroom wordt geïntegreerd naar de terminale tijd. De continue-tijdsformulering stelt het model in staat om direct te worden geëvalueerd op willekeurige observatierasters zonder hersampling.

Belangrijkste Bijdragen

1. Theoretische Uitbreiding: Het artikel bewijst dat pad-voor-pad universaliteit van causale kaarten universaliteit impliceert voor de geïnduceerde pushforward-verdelingen, en verbindt hiermee discriminatieve expressiviteit met generatieve capaciteiten.
2. G-SLiCEs: Introductie van een nieuwe klasse generatieve modellen die de efficiëntie van gestructureerde SSM's combineert met de maximale expressiviteit van dichte lineaire CDE's, specifiek ontworpen voor flow matching op padruimte.
3. Expressiviteitsanalyse: Een concrete demonstratie dat specifieke overgangsstructuren (dicht selectief) noodzakelijk zijn voor universaliteit, terwijl andere (niet-selectief of diagonaal selectief) voor bepaalde taken bewezen ontoereikend zijn.
4. Robuustheid tegen Rasterwijzigingen: Empirisch bewijs dat de continue-tijdsformulering van G-SLiCEs superieure robuustheid biedt tegen veranderingen in bemonsteringsfrequentie en onregelmatige observatierasters in vergelijking met baselines met vaste rasters.

Experimentele Resultaten

De auteurs evalueren G-SLiCEs op een uitgebreide set benchmarks, waarbij ze deze vergelijken met statistische methoden, neurale voorspellingsmodellen, diffusiegebaseerde modellen en de flow-based baseline TSFlow.

• Probabilistische Voorspelling: Op acht GluonTS-datasets (bijvoorbeeld Electricity, Traffic, Exchange) behaalden G-SLiCEs state-of-the-art prestaties, met de beste Continuous Ranked Probability Score (CRPS) op 6 van de 8 datasets en een betere prestatie dan TSFlow op 7 van de 8. De resultaten suggereren dat dichte overgangsblocks voordelig zijn voor datasets die hogere expressiviteit vereisen.
• Unconditional Generatie: Bij unconditional generatietaken toonden G-SLiCEs concurrerende prestaties in termen van 2-Wasserstein-afstand en downstream voorspellende bruikbaarheid (Linear Predictive Score) in vergelijking met TSFlow.
• Rastergeneralisatie:
  • Cross-Frequentie: Wanneer getraind op één bemonsteringsfrequentie (bijvoorbeeld elke 6 uur) en getest op andere (bijvoorbeeld elke 15 minuten of elke 12 uur), bleven G-SLiCEs stabiel. Daarentegen leed TSFlow aan ernstige prestatiedegradatie (bijvoorbeeld CRPS die sprong van 0,189 naar 906,205) wanneer het testraster aanzienlijk afweek van het trainingsraster.
  • Onregelmatige Rasters: Op onregelmatig gesubsamplede rasters (gesimuleerd via Gamma-vernieuwingsprocessen) behielden G-SLiCEs een stabiele CRPS en Normalized Root Mean Square Error (NRMSE) over verschillende gradaties van onregelmatigheid. TSFlow vertoonde aanzienlijk hogere variantie en fout, met name in sterk onregelmatige settings.

Betekenis en Beweringen

Het artikel beweert dat G-SLiCEs een significante stap voorwaarts vormen in generatieve tijdsreeksmodellering door maximale expressiviteit te verenigen met continue-tijds-efficiëntie.

• Theoretische Betekenis: Het werk vestigt een rigoureuze link tussen het vermogen van een model om causale functies te benaderen en het vermogen om correcte waarschijnlijkheidsverdelingen te genereren, een connectie die voorheen onbewezen was voor continue padruimtemodellen.
• Praktische Betekenis: De continue-tijdsformulering elimineert de noodzaak van aannames over vaste rasters, waardoor het model inherent robuust is tegen onregelmatige bemonstering en frequentiewisselingen – een veelvoorkomende uitdaging in real-world tijdsreeksdata (bijvoorbeeld sensordata, financiële markten).
• Beperkingen: De auteurs erkennen dat de runtime van de SLiCE-backbone kan worden verbeterd, met name wat betreft efficiënte GPU-kernen voor gestructureerde matrixexponentiënten. Zij merken ook op dat hun theorie de bereikbaarheid van alle padruimte-distributiekaarten onder praktische trainingsbeperkingen (bijvoorbeeld invertibiliteitsbeperkingen van ODE-gebaseerde flows) niet volledig karakteriseert.

Kortom, het artikel betoogt dat door gebruik te maken van de theoretische universaliteit van gestructureerde lineaire CDE's, G-SLiCEs een robuust, expressief en theoretisch onderbouwd alternatief bieden voor bestaande discrete of minder expressieve generatieve modellen voor tijdsreeksdata.