Technische Samenvatting: StateFlow – Dual-State Recurrent Modeling voor Long-Horizon Time Series Forecasting

1. Probleemstelling

Long-horizon multivariate tijdreeksvoorspelling (LTSF) is een cruciale uitdaging in domeinen zoals de vraag naar energie, verkeersstromen en financiële modellering. De primaire moeilijkheden komen voort uit niet-stationariteit, regime-verschuivingen en de accumulatie van fouten over uitgebreide voorspellingshorizonten. Hoewel recente Transformer-gebaseerde architecturen sterke prestaties hebben behaald door langetermijnafhankelijkheden te vangen via self-attention, lijden ze vaak aan een kwadratische computationele complexiteit ten opzichte van de inputlengte en vertrouwen ze op globale interactiepatronen die computationeel kostbaar kunnen zijn voor lange lookback-vensters.

Converteerbaar zijn recurrente neurale netwerken (RNN's) lineair schaalbaar met de sequentielengte en bieden ze een natuurlijke causale structuur. Conventionele recurrente modellen (bijv. LSTM's, GRU's) comprimeren echter doorgaans temporele informatie in een enkele verborgen staat, waardoor ze er niet in slagen om systematische voorspellingsafwijkingen (zoals drift of bias) expliciet te modelleren die ontstaan door niet-stationaire veranderingen. Deze beperking resulteert er vaak in dat hun prestaties achterblijven bij moderne Transformer-gebaseerde methoden in long-horizon settings.

Het artikel adresseert de kloof in het uitbreiden van de Variability-Aware Recursive Neural Network (VARNN)—oorspronkelijk ontworpen voor één-stap sequentie-regressie—naar de long-horizon forecasting setting. De kernhypothese is dat het expliciet modelleren van voorspellingsresiduen als een afzonderlijke recurrente staat de robuustheid van lineaire recurrente modellen voor langetermijnextrapolatie kan verbeteren.

2. Methodologie: Het StateFlow-framework

Het voorgestelde StateFlow-framework maakt gebruik van VARNN als een dual-state recurrente backbone om twee complementaire signalen uit de lookback-sequentie te vangen, verwerkt via een kanaal-onafhankelijke strategie.

2.1 Dual-State Recurrent Encoder

De encoder onderhoudt twee afzonderlijke recurrente trajecten voor elke tijdstap $t$:

1. Hidden-State Trajectory ($h_t$): Vertegenwoordigt primaire temporele dynamiek, inclusief trends, seizoensgebondenheid, niveauveranderingen en terugkerende patronen. Deze wordt bijgewerkt met de huidige observatie en voorgaande staten.
2. Residual-Memory Trajectory ($e_t$): Houdt expliciet gestructureerde lokale voorspellingsafwijkingen bij. Deze wordt gedreven door een niet-lineaire recurrente transformatie van de residuen ($r_t$) tussen één-stap basisvoorspellingen ($\hat{x}_{base}$) en geobserveerde waarden ($x_{t+1}$).

In tegen tegenstelling tot conventionele RNN's die afwijkingen impliciet coderen binnen een enkele latente staat, scheidt VARNN deze signalen. De verborgen staat conditioneert de volgende stap, terwijl de residual-memory staat een toegewijd signaal biedt voor systematische afwijkingen, waardoor het model onderscheid kan maken tussen primaire dynamiek en lokale drift.

2.2 Chunk-Based Horizon Decoder

Om de encoder-trajecten naar de toekomstige horizon te mappen zonder de parameterexplosie die gepaard gaat met het afvlakken van volledige sequenties, gebruikt StateFlow een chunk-gebaseerde decoder:

• Chunk Summarization: De hidden-state en residual-memory trajecten worden opgesplitst in overlappende chunks. Elke chunk wordt afgevlakt en geprojecteerd naar een fixed-dimension embedding via afzonderlijke summarization branches. Dit behoudt lokale patronen terwijl de groei van het aantal parameters wordt beperkt.
• Forecasting Head: De gesummariseerde embeddings van beide branches worden geconcateneerd en door een lineaire projectie geleid om de multi-step forecast te genereren.

2.3 Two-Stage Optimization Strategy

Om één-stap residu-leren te overbruggen met long-horizon forecasting, gebruikt het model een twee-fasen trainingsprocedure:

1. Fase 1 (Encoder Pretraining): De VARNN-encoder wordt getraind met een één-stap voorspellingsdoel over het lookback-venster. Dit levert een expliciet leersignaal voor de residual-memory staat om gestructureerde afwijkingen te vangen.
2. Fase 2 (Horizon-Specifieke Decoding): De getrainde encoder wordt bevroren en een horizon-specifieke decoder wordt getraind met een multi-step forecasting loss. Deze scheiding stabiliseert de optimalisatie en maakt het mogelijk om dezelfde encoder te hergebruiken voor verschillende voorspellingshorizonten.

2.4 Computationele Complexiteit

StateFlow behoudt een lineaire computationele complexiteit ten opzichte van de lookback lengte ($L$) en de forecasting horizon ($H$). De recurrente encoder schaalt als $O(L)$, en de chunk-gebaseerde decoder vermijdt de kwadratische complexiteit ($O(L^2)$) die typerend is voor self-attention mechanismen.

3. Belangrijkste Bijdragen

Het artikel beschrijft de volgende bijdragen:

• Onderzoek naar Recurrente Structuren in LTSF: Het toont aan dat recurrente structuren competitief kunnen blijven voor long-horizon forecasting wanneer afwijkingsdynamiek expliciet wordt opgenomen in de state-transities.
• Extensie van VARNN: Het breidt VARNN uit van één-stap regressie naar long-horizon forecasting door gebruik te maken van hidden en residual-memory trajecten als dual-state forecasting representaties.
• StateFlow Framework: Het introduceert een recurrent traject forecasting framework met een chunk-gebaseerde horizon decoder die de verborgen en residual-memory dynamiek apart samenvat voordat directe multi-step voorspelling plaatsvindt.
• Two-Stage Optimization: Het stelt een trainingsstrategie voor die eerst residu-bewuste representaties leert via één-stap voorspelling en vervolgens horizon-specifieke decoders traint, wat encoder-hergebruik mogelijk maakt.
• Empirische Validatie: Het biedt systematische experimenten en ablatiestudies die aantonen dat residual-memory recurrente structuren een competitieve en parameter-efficiënte inductive bias zijn voor long-horizon forecasting.

4. Experimentele Resultaten

4.1 Benchmark Prestaties

StateFlow werd geëvalueerd op zeven standaard LTSF benchmarks (ETTh1, ETTh2, ETTm1, ETTm2, Weather, ECL, Traffic) tegen tien state-of-the-art baselines, waaronder Transformer-gebaseerde modellen (iTransformer, PatchTST, Autoformer), convolutionele modellen (TimesNet) en lineaire modellen (DLinear, RLinear).

• Competitiviteit: StateFlow behaalde competitieve prestaties en behaalde het hoogste aantal eerste-plaats resultaten (15 MSE-overwinningen en 14 MAE-overwinningen over 28 dataset-horizon instellingen).
• Vergelijking: Het presteerde vergelijkbaar met of beter dan sterke lineaire, convolutionele en Transformer-gebaseerde baselines, terwijl het de kwadratische temporele self-attention vermeed.
• Hoog-dimensionale Data: Op hoog-dimensionale datasets zoals ECL en Traffic bleef iTransformer in sommige settings sterker, wat suggereert dat expliciete cross-variate afhankelijkheidsmodellering in die specifieke contexten nog steeds voordelen kan bieden. StateFlow richt zich echter op kanaal-onafhankelijke temporele modellering.

4.2 Ablatiestudies

• Encoder Representaties: De dual-state representatie ($h, e$) presteerde consequent beter dan het gebruik van alleen de hidden state ($h$), alleen de residual-memory state ($e$), of ruwe base voorspellingen met residuen. Dit bevestigt dat het combineren van primaire dynamiek met gestructureerde afwijkingssignalen rijkere forecasting representaties oplevert.
• Fusie Strategie: Afzonderlijke chunk summarization voor de hidden en residual trajecten (vóór concatenatie) bleek superieur aan gezamenlijke chunking, omdat het de afzonderlijke rollen van de twee staten behoudt.
• Chunk vs. Directe Decoding: De chunk-gebaseerde decoder behaalde vergelijkbare of betere nauwkeurigheid dan directe afvlakking, terwijl het het aantal modelparameters met bijna de helft verminderde.
• Recurrente Encoder Keuze: VARNN presteerde beter dan standaard RNN, GRU en LSTM encoders in termen van de nauwkeurigheid-efficiëntie tradeoff. Opvallend genoeg gebruikte VARNN aanzienlijk minder parameters (bijv. ~80% minder dan LSTM) terwijl het een lagere gemiddelde MSE behaalde.
• Optimalisatie Strategie: De twee-fasen optimalisatiestrategie leverde een meetbare winst op (bijv. +1.88% verbetering voor VARNN) ten opzien van één-fasen training, wat de effectiviteit van het pretrainen van de residual-memory staat via één-stap voorspelling benadrukt.

5. Betekenis en Claims

Het artikel beweert dat StateFlow een efficiënt alternatief biedt voor attention-gebaseerde modellen voor long-horizon forecasting. Door residual-memory dynamiek expliciet te modelleren binnen een recurrent framework, vangt het model niet-stationaire veranderingen en systematische afwijkingen op die standaard recurrente modellen missen.

De betekenis ligt in het bewijs dat lineaire recurrente encoding, wanneer aangevuld met een toegewijde residual-memory staat en een chunk-gebaseerde decoder, kan concurreren met complexe Transformer-architecturen zonder de kwadratische computationele kosten te dragen. De auteurs suggereren dat het integreren van afwijkingsdynamiek in recurrente structuren een veelbelovende, parameter-efficiënte inductive bias biedt voor LTSF. Het werk claimt niet alle uitdagingen in hoog-dimensionale multivariate forecasting op te lossen (waarbij de potentiële noodzaak voor cross-variate modellering wordt erkend), maar vestigt een sterke baseline voor residu-bewuste recurrente benaderingen.

Toekomstig werk wordt geïdentificeerd als het onderzoeken van cross-variate afhankelijkheidsmodellering en het toepassen van het framework op andere tijdreeksanalyse taken.