Sintesi Tecnica: StateFlow – Modellazione Ricorrente a Stato Doppio per la Previsione di Serie Temporali a Lungo Orizzonte

1. Definizione del Problema

La previsione di serie temporali multivariate a lungo orizzonte (LTSF) è una sfida critica in domini quali la domanda energetica, il flusso di traffico e la modellazione finanziaria. Le difficoltà primarie derivano dalla non stazionarietà, dai cambiamenti di regime e dall'accumulo di errori su orizzonti di previsione estesi. Sebbene le recenti architetture basate su Transformer abbiano ottenuto prestazioni elevate catturando dipendenze a lungo raggio tramite l'auto-attenzione, esse spesso soffrono di una complessità computazionale quadratica rispetto alla lunghezza dell'input e si affidano a pattern di interazione globale che possono risultare computazionalmente costosi per finestre di osservazione (lookback) molto ampie.

Al contrario, le reti neurali ricorrenti (RNN) scalano linearmente con la lunghezza della sequenza e offrono una struttura causale naturale. Tuttavia, i modelli ricorrenti convenzionali (ad es. LSTM, GRU) tipicamente comprimono l'informazione temporale in un singolo stato nascosto, fallendo nel modellare esplicitamente le deviazioni sistematiche della previsione (come deriva o bias) che derivano da cambiamenti non stazionari. Questo limite spesso causa un ritardo nelle loro prestazioni rispetto ai moderni metodi basati su Transformer in contesti di lungo orizzonte.

Il documento affronta il divario nell'estensione della Variability-Aware Recursive Neural Network (VARNN) — originariamente progettata per la regressione di sequenze a singolo step — al contesto della previsione a lungo orizzonte. L'ipotesi centrale è che la modellazione esplicita dei residui di previsione come uno stato ricorrente distinto possa migliorare la robustezza dei modelli ricorrenti lineari per l'estrapolazione a lungo termine.

2. Metodologia: Il Framework StateFlow

Il framework proposto StateFlow utilizza la VARNN come backbone ricorrente a doppio stato per catturare due segnali complementari dalla sequenza di lookback, elaborati tramite una strategia di indipendenza per canale (channel-independent).

2.1 Encoder Ricorrente a Doppio Stato

L'encoder mantiene due traiettorie ricorrenti distinte per ogni istante temporale $t$:

1. Traiettoria dello Stato Nascosto ($h_t$): Rappresenta la dinamica temporale primaria, inclusi trend, stagionalità, cambiamenti di livello e pattern ricorrenti. Viene aggiornata utilizzando l'osservazione corrente e gli stati precedenti.
2. Traiettoria della Memoria dei Residui ($e_t$): Traccia esplicitamente le deviazioni locali strutturate della previsione. È guidata da una trasformazione ricorrente non lineare dei residui ($r_t$) tra le predizioni base a singolo step ($\hat{x}_{base}$) e i valori osservati ($x_{t+1}$).

A differenza delle RNN convenzionali che codificano implicitamente le deviazioni all'interno di un singolo stato latente, la VARNN separa questi segnali. Lo stato nascosto condiziona il passo successivo, mentre lo stato di memoria dei residui fornisce un segnale dedicato per le deviazioni sistematiche, permettendo al modello di distinguere tra dinamiche primarie e deriva locale.

2.2 Decoder a Orizzonte Basato su Chunk

Per mappare le traiettorie dell'encoder all'orizzonte futuro senza incorrere nell'esplosione dei parametri associata all'appiattimento (flattening) di intere sequenze, StateFlow impiega un decoder basato su chunk:

• Sintesi dei Chunk (Chunk Summarization): Le traiettorie dello stato nascosto e della memoria dei residui vengono suddivise in chunk sovrapposti. Ogni chunk viene appiattito e proiettato in un embedding a dimensione fissa tramite rami di sintesi separati. Ciò preserva i pattern locali riducendo al contempo la crescita dei parametri.
• Testa di Previsione (Forecasting Head): Gli embedding sintetizzati da entrambi i rami vengono concatenati e passati attraverso una proiezione lineare per generare la previsione multi-step.

2.3 Strategia di Ottimizzazione a Due Stadi

Per colmare il divario tra l'apprendimento dei residui a singolo step e la previsione a lungo orizzonte, il modello impiega una procedura di addestramento in due stadi:

1. Stadio 1 (Pre-addestramento dell'Encoder): L'encoder VARNN viene addestrato utilizzando un obiettivo di previsione a singolo step sulla finestra di lookback. Questo fornisce un segnale di apprendimento esplicito affinché lo stato di memoria dei residui catturi le deviazioni strutturate.
2. Stadio 2 (Decoding Specifico per l'Orizzonte): L'encoder pre-addestrato viene congelato e un decoder specifico per l'orizzonte viene addestrato utilizzando una perdita di previsione multi-step. Questa separazione stabilizza l'ottimizzazione e consente di riutilizzare lo stesso encoder su diversi orizzonti di previsione.

2.4 Complessità Computazionale

StateFlow mantiene una complessità computazionale lineare rispetto alla lunghezza del lookback ($L$) e all'orizzonte di previsione ($H$). L'encoder ricorrente scala come $O(L)$, e il decoder basato su chunk evita la complessità quadratica ($O(L^2)$) tipica dei meccanismi di auto-attenzione.

3. Contributi Chiave

Il documento delinea i seguenti contributi:

• Indagine sulla Ricorrenza nella LTSF: Dimostra che la ricorrenza può rimanere competitiva per la previsione a lungo orizzonte quando le dinamiche di deviazione sono esplicitamente incorporate nelle transizioni di stato.
• Estensione di VARNN: Estende la VARNN dalla regressione a singolo step alla previsione a lungo orizzonte, utilizzando le traiettorie dello stato nascosto e della memoria dei residui come rappresentazioni di previsione a doppio stato.
• Framework StateFlow: Introduce un framework di previsione di traiettoria ricorrente caratterizzato da un decoder di orizzonte basato su chunk che sintetizza separatamente le dinamiche dello stato nascosto e della memoria dei residui prima della previsione diretta multi-step.
• Ottimizzazione a Due Stadi: Propone una strategia di addestramento che apprende prima le rappresentazioni consapevoli dei residui tramite previsione a singolo step e successivamente addestra decoder specifici per l'orizzonte, consentendo il riutilizzo dell'encoder.
• Validazione Empirica: Fornisce esperimenti sistematici e studi di ablazione che mostrano come la ricorrenza della memoria dei residui sia un bias induttivo competitivo e efficiente in termini di parametri per la previsione a lungo orizzonte.

4. Risultati Sperimentali

4.1 Prestazioni di Benchmark

StateFlow è stato valutato su sette benchmark standard (ETTh1, ETTh2, ETTm1, ETTm2, Weather, ECL, Traffic) contro dieci baseline allo stato dell'arte, inclusi modelli basati su Transformer (iTransformer, PatchTST, Autoformer), modelli convoluzionali (TimesNet) e modelli lineari (DLinear, RLinear).

• Competitività: StateFlow ha ottenuto prestazioni competitive, ottenendo il maggior numero di primi posti (15 vittorie in MSE e 14 vittorie in MAE su 28 impostazioni dataset-orizzonte).
• Confronto: Ha performato in modo comparabile o migliore rispetto a forti baseline lineari, convoluzionali e basate su Transformer, evitando l'auto-attenzione temporale quadratica.
• Dati ad Alta Dimensionalità: Su dataset ad alta dimensionalità come ECL e Traffic, iTransformer rimane più forte in alcune impostazioni, suggerendo che la modellazione esplicita delle dipendenze cross-variate possa ancora offrire vantaggi in quei contesti specifici. StateFlow, tuttavia, si concentra sulla modellazione temporale indipendente per canale.

4.2 Studi di Ablazione

• Rappresentazioni dell'Encoder: La rappresentazione a doppio stato ($h, e$) ha superato costantemente l'uso del solo stato nascosto ($h$), del solo stato di memoria dei residui ($e$), o delle predizioni base con i residui. Ciò conferma che la combinazione delle dinamiche primarie con i segnali di deviazione strutturata produce rappresentazioni di previsione più ricche.
• Strategia di Fusione: La sintesi separata dei chunk per le traiettorie di stato nascosto e residui (prima della concatenazione) si è dimostrata superiore alla sintesi congiunta, preservando i ruoli distinti dei due stati.
• Chunk vs. Decoding Diretto: Il decoder basato su chunk ha ottenuto un'accuratezza comparabile o migliore rispetto all'appiattimento diretto, riducendo quasi della metà i parametri del modello.
• Scelta dell'Encoder Ricorrente: VARNN ha superato gli encoder standard RNN, GRU e LSTM in termini di rapporto accuratezza-efficienza. In particolare, VARFF ha utilizzato significativamente meno parametri (ad es. circa l'80% in meno rispetto a LSTM) ottenendo al contempo un MSE medio inferiore.
• Strategia di Ottimizzazione: La strategia di ottimizzazione a due stadi ha fornito un guadagno misurabile (ad es. un miglioramento del +1,88% per VARNN) rispetto all'addestramento a singolo stadio, evidenziando l'efficacia del pre-addestramento dello stato di memoria dei residui tramite previsione a singolo step.

5. Significato e Rivendicazioni

Il documento afferma che StateFlow offre un'alternativa efficiente ai modelli basati su attenzione per la previsione a lungo orizzonte. Modellando esplicitamente le dinamiche della memoria dei residui all'interno di un framework ricorrente, il modello cattura i cambiamenti non stazionari e le deviazioni sistematiche che le standard modelli ricorrenti trascurano.

La significatività risiede nel dimostrare che la codifica ricorrente lineare, se aumentata con uno stato dedicato alla memoria dei residui e un decoder basato su chunk, può competere con complesse architetture Transformer senza incorrere nei costi computazionali quadratici. Gli autori suggeriscono che l'incorporazione delle dinamiche di deviazione nella ricorrenza fornisca un bias induttivo promettente e parsimonioso per la LTSF. Il lavoro non pretende di risolvere tutte le sfide nella previsione multivariata ad alta dimensionalità (riconoscendo la potenziale necessità di modellazione delle dipendenze cross-variate), ma stabilisce una solida base per approcci ricorrenti consapevoli dei residui.

Il lavoro futuro identifica l'investigazione della modellazione delle dipendenze cross-variate e l'applicazione del framework ad altri compiti di analisi delle serie temporali.