Riepilogo Tecnico: FADTI – Diffusione guidata da Fourier e Attention per l'Imputazione di Serie Temporali Multivariate

1. Definizione del Problema

L'imputazione di serie temporali multivariate (MTSI) affronta il problema pervasivo dei valori mancanti in domini quali l'assistenza sanitaria, la previsione del traffico e la modellazione biologica. Queste lacune derivano da guasti ai sensori, perdite di comunicazione e campionamento irregolare. Sebbene i metodi esistenti, in particolare i modelli basati su Transformer (ad es. SAITS) e i modelli basati sulla diffusione (ad es. CSDI), abbiano migliorato la modellazione delle dipendenze temporali e la stima dell'incertezza, essi affrontano un limite critico: la distorsione di frequenza.

Gli approcci attuali si affidano pesantemente alla modellazione nel dominio del tempo. Quando si applicano le tecniche nel dominio della frequenza direttamente a input mascherati o riempiti con zeri, le posizioni mancanti vengono trattate come valori di segnale reali. Questa proiezione ingenua distorce lo spettro stimato, causando una dominanza di artefatti di mancanza rispetto alle dinamiche temporali sottostanti. Di conseguenza, il recupero di pattern periodici a lungo raggio o di lacune temporali strutturate rimane difficile in condizioni di forte sparsità.

2. Metodologia: Il Framework FADTI

Gli autori propongono FADTI (Fourier and Attention Driven Diffusion), un framework di diffusione condizionale progettato per integrare un bias induttivo nel dominio della frequenza nel processo di denoising senza stimare direttamente gli spettri da input corrotti.

Architettura Core

FADTI segue una pipeline di diffusione condizionale in cui il processo inverso è condizionato sui valori osservati ($x^{co}_0$) e sulla maschera di osservazione ($m$). La rete di denoising consiste in blocchi residui impilati che combinano tre componenti chiave:

1. Modellazione Temporale-Frequenziale: L'innovazione principale, il modulo Fourier Bias Projection (FBP).
2. Attention delle Caratteristiche: Cattura le dipendenze tra le variabili.
3. Gated Filtering: Aggiorna le rappresentazioni residue in modo efficiente.

Il Modulo Fourier Bias Projection (FBP)

A differenza della proiezione Fourier diretta su input mascherati, FBP inietta un bias apprendibile consapevole della frequenza negli stati nascosti intermedi della rete di denoising. Il processo opera come segue:

• Decomposizione: Gli stati nascosti intermedi ($H$) sono separati in un trend fluido ($H_{trend}$) e un residuo ad alta frequenza ($H_{res}$) utilizzando il pooling medio 1D.
• Trasformazione Spettrale: Un operatore spettrale $F_\nu(\cdot)$ viene applicato per canale a queste componenti. Il paper istanzia questo con tre trasformazioni:
  • DFT (Trasformata Discreta di Fourier): Cattura la periodicità globale e i trend stabili.
  • STFT (Trasformata di Fourier a Breve Tempo): Cattura pattern di frequenza localizzati e variabili nel tempo.
  • FrSST (Trasformata di Fourier Frazionaria a Breve Tempo basata su Synchrosqueezing): Affina le strutture tempo-frequenza non stazionarie.
• Iniezione del Bias: I coefficienti spettrali complessi sono proiettati su basi fisse di coseno e seno per mantenere l'informazione di ampiezza-fase. Questi vengono mappati nuovamente nello spazio delle caratteristiche temporali per formare un bias apprendibile ($H_{freq}$).
• Integrazione: Questo bias consapevole della frequenza viene fuso con le caratteristiche originali e inviato all'auto-attenzione temporale o a convoluzioni dilatate a gate, guidando la rete a preservare i trend fluidi e le strutture periodiche.

Training e Inferenza

• Training: Il modello è addestrato utilizzando un obiettivo di score matching con denoising mascherato. Una maschera condizionale ($M^{co}$) viene campionata dalla maschera di osservazione per rivelare i valori al modello, mentre una maschera target ($M^{ta}$) nasconde i valori originariamente osservati per fornire la supervisione. La perdita è calcolata solo sulle voci target supervisionate.
• Inferenza: Le voci mancanti sono inizializzate con rumore Gaussiano. Il modello applica iterativamente il processo di diffusione inversa, condizionandosi sui valori osservati fissi, per generare imputazioni probabilistiche.

3. Contributi Chiave

Il paper delinea quattro contributi primari:

1. Framework FADTI: Un framework di diffusione condizionale consapevole della frequenza che integra il bias induttivo del dominio di Fourier direttamente nel processo di denoising, affrontando la sfida dei pattern di mancanza strutturati.
2. Modulo FBP Flessibile: Un nuovo modulo che supporta le istanze DFT, STFT e FrSST. Ciò consente la modellazione adattiva di strutture temporali sia stazionarie che non stazionarie senza fare affidamento su spettri corrotti da input mascherati.
3. Modellazione Temporale Efficiente: L'incorporazione di un modulo di modellazione locale leggero (convoluzione a gate) per completare le dipendenze di attenzione globale, riducendo l'overhead computazionale.
4. Valutazione Esaustiva: Esperimenti estesi su molteplici benchmark, incluso un dataset di serie temporali biologiche recentemente introdotto (Yeast), dimostrando miglioramenti costanti in accuratezza, stima dell'incertezza e efficienza di campionamento.

4. Risultati Sperimentali

Gli autori hanno valutato FADTI su tre dataset reali: ETT (Energia), Weather (Meteorologia) e Yeast (Biologia), sia con pattern di mancanza puntuale che temporale al 10% e 50% di tasso di mancanza.

• Accuratezza (MAE): FADTI ha ottenuto l'errore assoluto medio (MAE) più basso nella maggior parte delle configurazioni. In particolare, ha mostrato guadagni significativi rispetto ai baseline come CSDI, MTSCI e SAITS, specialmente sotto alti tassi di mancanza (50%) e sul dataset Yeast.
• Incertezza (CRPS): FADTI ha dimostrato una calibrazione e una nitidezza superiori, ottenendo il Continuous Ranked Probability Score (CRPS) più basso in quasi tutti i casi, indicando una migliore qualità probabilistica.
• Robustezza: Il modello ha mantenuto prestazioni elevate sotto pattern di mancanza temporale (gap contigui), dove molti baseline degradano significativamente.
• Efficienza di Campionamento: FADTI ha ottenuto una migliore accuratezza e CRPS con meno campioni generati ($K$) rispetto a CSDI e MTSCI. Ad esempio, FADTI con $K=2$ ha superato CSDI e MTSCI con $K=28$ sul dataset ETT.
• Studi di Ablazione:
  • Rimuovendo FBP (usando una semplice retro-proiezione), si è verificato un calo delle prestazioni, confermando che l'accoppiamento del bias con la proiezione di frequenza è critico.
  • Le varianti basate su DFT hanno performato meglio su pattern regolari (ETT, Weather), mentre le varianti STFT e FrSST sono state più competitive per i gap di mancanza temporale che richiedono un'analisi spettrale localizzata.
• Forecasting Zero-Shot: In un esperimento di imputazione-a-previsione zero-shot su Yeast, FADTI ha superato i baseline deterministici e il modello di diffusione MTSCI, mostrando forti capacità di estrapolazione.

5. Significato e Rivendicazioni

Il paper afferma che FADTI rappresenta un avanzamento significativo colmando il divario tra l'elaborazione dei segnali nel dominio della frequenza e i modelli di diffusione generativa per l'imputazione. La sua importanza risiede nel:

• Risolvere la Distorsione di Frequenza: Proiettando gli stati nascosti intermedi invece degli input mascherati grezzi, FADTI evita gli artefatti spettrali che affliggono gli approcci basati sulla frequenza ingenui.
• Gestire la Non-Stazionarietà: L'inclusione di FrSST consente al modello di catturare pattern oscillatori non stazionari, una capacità raramente vista nella letteratura MTSI.
• Robustezza in Regimi Sparsi: Il framework è particolarmente efficace sotto alti tassi di mancanza e pattern di mancanza irregolari, comuni nei dati dei sensori reali.
• Generalizzabilità: L'introduzione del dataset Yeast e i risultati di successo del forecasting zero-shot suggeriscono che l'applicabilità del modello si estende oltre i compiti standard di imputazione verso ambienti biologici complessi e non stazionari.

Gli autori concludono che, sebbene FADTI raggiunga prestazioni allo stato dell'arte, il lavoro futuro si concentrerà sull'estensione del framework a griglie temporali irregolari e trasformate spettrali adattive.