Ensemble Score Filtering for Real-Data Energy Consumption Forecast Correction

Riepilogo Tecnico: Filtraggio del Punteggio di Ensemble per la Correzione delle Previsioni di Consumo Energetico su Dati Reali

Enunciato del Problema
La previsione accurata del consumo energetico è fondamentale per l'operazione, la pianificazione e la gestione della domanda dei sistemi energetici. Tuttavia, i dati energetici reali spesso soffrono di misurazioni parziali, rumorose, ritardate o incomplete. Sebbene i moderni modelli di apprendimento automatico, in particolare i modelli di previsione spaziotemporale profondi, possano catturare dipendenze temporali e spaziali complesse, affrontano limitazioni significative quando utilizzati per previsioni a lungo termine in un contesto "ad anello aperto". Senza dati osservativi correttivi, gli errori nei modelli appresi si accumulano nel tempo, portando a stime di stato inaffidabili. Il problema centrale affrontato è come correggere efficacemente la traiettoria di previsione di un modello di previsione pre-addestrato di tipo "scatola nera" utilizzando osservazioni sequenziali, parziali e rumorose, in particolare in contesti ad alta dimensionalità e non lineari dove i metodi di filtraggio tradizionali potrebbero avere difficoltà.

Metodologia
Il documento propone un framework che combina un modello linguistico su larga scala pre-addestrato spaziotemporale (STLLM) con il Filtro del Punteggio di Ensemble (EnSF) per l'assimilazione dei dati.

1. Propagatore in Avanti (STLLM):

   • Lo studio utilizza uno STLLM pre-addestrato progettato per il consumo energetico. Il modello impiega una struttura di attenzione fattorizzata per separare la modellazione delle dipendenze temporali e spaziali, utilizzando componenti come RMSNorm, Embedding Posizionali Rotazionali (RoPE) e reti feed-forward SwiGLU.
   • Nel framework di assimilazione, questo modello agisce come un propagatore di stato fisso e di tipo "scatola nera" ($f_\theta$). Non viene riaddestrato durante il processo di filtraggio; invece, genera la traiettoria di previsione a priori basata sugli input storici.

2. Assimilazione dei Dati tramite Filtro del Punteggio di Ensemble (EnSF):

   • L'EnSF è impiegato per correggere la traiettoria di previsione assimilando le osservazioni. A differenza dei filtri tradizionali che si basano su assunzioni gaussiane (come il Filtro di Kalman ad Ensemble) o richiedono l'addestramento di reti neurali per approssimare le funzioni di punteggio (come i filtri basati su diffusione standard), l'EnSF utilizza un approccio senza addestramento.
   • Approssimazione del Punteggio: Il metodo approssima la funzione di punteggio (il gradiente della densità logaritmica) della distribuzione di filtraggio utilizzando un'espressione in forma chiusa e una stima Monte Carlo. Sfrutta un ensemble di campioni di stato per calcolare pesi empirici, evitando il costo computazionale del riaddestramento delle reti di punteggio ad ogni passo di assimilazione.
   • Processo di Diffusione: Il filtro opera all'interno di un processo di diffusione a tempo inverso. Parte da una distribuzione gaussiana standard al pseudo-tempo $\tau=1$ ed evolve verso la distribuzione a posteriori target al $\tau=0$.
   • Meccanismo di Aggiornamento: Il punteggio a priori (derivato dall'ensemble propagato attraverso lo STLLM) viene aggiornato incorporando il gradiente di verosimiglianza della nuova osservazione. Una funzione di smorzamento $g(\tau) = 1-\tau$ controlla l'integrazione delle informazioni osservazionali, garantendo un'inclusione completa alla distribuzione target ($\tau=0$) mentre svanisce al riferimento gaussiano ($\tau=1$).
   • Gestione della Non Linearità: Il framework gestisce esplicitamente operatori di osservazione non lineari (ad esempio, mappe arcotangente) calcolando la jacobiana dell'operatore di osservazione all'interno del termine del gradiente di verosimiglianza, permettendo correzioni in contesti non gaussiani.

Principali Contributi

• Applicazione dell'EnSF a Dati Energetici Reali: Il documento dimostra l'applicazione del Filtro del Punteggio di Ensemble a un dataset reale di consumo energetico ad alta dimensionalità (5.000 utenti), trattando un complesso STLLM pre-addestrato come modello di dinamica in avanti.
• Approssimazione del Punteggio Senza Addestramento: Il lavoro evidenzia l'efficacia dell'uso di un'approssimazione del punteggio basata su forma chiusa e Monte Carlo all'interno dell'EnSF, che elimina la necessità di riaddestramento iterativo delle reti di punteggio durante l'assimilazione sequenziale dei dati.
• Robustezza alle Carenze del Modello: Lo studio dimostra che il framework migliora la stima dello stato anche quando il modello di avanzamento sottostante è "insufficientemente addestrato" (addestrato solo sul 25% dei dati) o quando il modello è completamente addestrato ma soffre di accumulo di errori in anello aperto.
• Confronto con l'EnKF: Il documento fornisce un confronto diretto tra EnSF e Filtro di Kalman ad Ensemble (EnKF) in contesti di osservazione mista (combinando osservazioni dirette e non lineari a arcotangente).

Risultati Sperimentali
Sono stati condotti esperimenti numerici su dati di consumo energetico orari provenienti da 5.000 utenti di servizi pubblici a Tallahassee, in Florida.

• Fallimento in Anello Aperto: Gli esperimenti hanno confermato che, sebbene lo STLLM pre-addestrato raggiunga un'accuratezza ragionevole nelle previsioni dirette a uno step o a breve termine, le sue previsioni in anello aperto si degradano significativamente nel tempo (ad esempio, l'RMSE aumenta drasticamente per il modello da 12 a 1 su 800 step).
• Correzione con EnSF: L'applicazione dell'EnSF con osservazioni parziali (25%, 50%, 100%) ha ridotto sostanzialmente l'Errore Quadratico Medio (RMSE) rispetto alla propagazione in anello aperto. La correzione è stata efficace sia per i modelli 4-to-1 insufficientemente addestrati che per quelli completamente addestrati, recuperando le principali strutture oscillatorie delle traiettorie di consumo reali.
• EnSF vs. EnKF: In un contesto impegnativo con operatori di osservazione non lineari (arcotangente), l'EnSF ha superato l'EnKF. Mentre l'EnKF ha migliorato le previsioni in anello aperto, ha prodotto traiettorie eccessivamente lisce o spostate e ha mantenuto un RMSE più elevato. L'EnSF ha fornito una correzione più forte e un migliore recupero della traiettoria, attribuito alla sua capacità di gestire distribuzioni di filtraggio non gaussiane senza fare affidamento su approssimazioni gaussiane.

Significato e Affermazioni
Il documento afferma che il framework proposto offre una soluzione pratica ed efficace per correggere le previsioni di consumo energetico apprese in ambienti ad alta dimensionalità e non lineari. Trattando il modello di previsione come una scatola nera fissa e utilizzando l'EnSF per la correzione sequenziale, il metodo colma il divario tra dinamiche apprese potenti ma imperfette e dati osservativi reali.

Gli autori sottolineano che il significato risiede nel dimostrare che:

1. I modelli di previsione appresi da soli sono insufficienti per un tracciamento affidabile dello stato a lungo termine senza correzione sequenziale.
2. L'EnSF fornisce un meccanismo computazionalmente fattibile e senza addestramento per l'assimilazione di dati ad alta dimensionalità che supera i filtri basati su gaussiane standard (EnKF) in contesti di osservazione non lineare.
3. L'approccio è robusto, migliorando la stima dello stato indipendentemente dal fatto che il modello di previsione sottostante sia stato addestrato su dataset completi o parziali.

Il documento conclude che questo framework rappresenta una direzione praticabile per migliorare la pianificazione dei sistemi energetici e la gestione della domanda, con lavori futuri suggeriti per incorporare variabili esogene (come la temperatura) e validare l'approccio su dataset reali aggiuntivi.