Sintesi Tecnica: HyFAD

Definizione del Problema

I modelli di diffusione esistenti per l'imputazione di serie temporali, pur essendo efficaci nel catturare distribuzioni di dati complesse, affrontano tre limitazioni primarie:

1. Ricostruzione Insufficiente delle Alte Frequenze: La diffusione standard nel dominio del tempo inietta rumore gaussiano isotropo, che distribuisce l'energia uniformemente tra le frequenze. Ciò contrasta con le serie temporali reali, dove l'energia spettrale è spesso concentrata nelle basse frequenze, rendendo difficile il recupero dei dettagli ad alta frequenza e delle variazioni temporali fini.
2. Modellazione Sbilanciata tra Globale e Locale: Dare la priorità alle strutture a lungo termine porta spesso a output eccessivamente smussati (over-smoothed), mentre enfatizzare le fluttuazioni a breve termine può interrompere la coerenza globale. I modelli esistenti faticano a bilanciare queste dinamiche contrastanti.
3. Modellazione Insensibile alla Frequenza: Gli approcci attuali utilizzano tipicamente embedding di step indipendenti dalla frequenza e iniettano rumore uniformemente tra le bande di frequenza. Ciò impedisce al modello di adattare il proprio comportamento di denoising alle distinte caratteristiche di recupero di diverse componenti spettrali, portando a una ricostruzione subottimale delle variazioni locali.

Metodologia

Gli autori propongono HyFAD (Hybrid time-frequency Diffusion with Frequency-Aware embedding), un framework costruito sul paradigma dei Modelli di Diffusione Probabilistica di Denoising (DDPM) che accoppia esplicitamente i domini del tempo e della frequenza.

1. Framework di Diffusione Ibrido Tempo-Frequenza

A differenza degli approcci convenzionali basati solo sul dominio del tempo, HyFAD impiega un processo di andata e ritorno accoppiato:

• Processo Forward (In avanti): L'iniezione di rumore avviene sequenzialmente. Primo, il rumore viene iniettato nella rappresentazione del dominio della frequenza (tramite la Trasformata di Fourier Discreta Reale, rDFT), seguito dall'iniezione di rumore nel dominio del tempo. Questo trasforma la distribuzione originale dei dati in una distribuzione gaussiana target.
• Processo Reverse (In senso inverso): Il denoising procede in un ordine speculare: il rumore nel dominio del tempo viene rimosso per primo per stabilizzare i trend globali, seguito dalla rimozione del rumore nel dominio della frequenza per raffinare le componenti spettrali ad alta frequenza. Questo crea un meccanismo di generazione "dal grossolano al fine" (coarse-to-fine).
• Formulazione Matematica: Il processo è definito da una distribuzione posteriore unificata in cui lo stato al passo $k$ è una trasformazione lineare del segnale originale più due gruppi di rumori gaussiani indipendenti (tempo e frequenza). La funzione di perdita combina la stima del rumore nel dominio del tempo, la stima del rumore nel dominio della frequenza e una perdita di consistenza per prevenire il disallineamento tra i due rami.

2. Embedding di Diffusione Sensibile alla Frequenza

Per affrontare la mancanza di attenzione specifica per la frequenza, gli autori introducono un nuovo embedding di step che fornisce una guida spettrale dipendente dallo step. Questo embedding è costruito sulla proposizione che le bande ad alta frequenza raggiungono le soglie di degradazione prima delle bande a bassa frequenza durante il processo forward. L'embedding integra tre componenti:

• Gate Consapevole del Rumore (Noise-Aware Frequency Gate): Un meccanismo di gating che si regola in base al livello di rumore accumulato, assicurando che diverse bande di frequenza siano trattate in base al loro rapporto segnale-rumore.
• Programmazione Sensibile allo Stadio (Stage-Aware Frequency Schedule): Un peso di programmazione che codifica il recupero progressivo dalle basse alle alte frequenze man mano che i passi di denoising procedono.
• Affidabilità della Banda (Band Reliability): Un peso che tiene conto dei valori mancanti, i quali possono introdurre artefatti spettrali, penalizzando le bande di frequenza inaffidabili in base al pattern di assenza.

3. Architettura del Modello

Il nucleo della rete di denoising utilizza un'architettura a due rami in cascata basata sul transformer delle caratteristiche temporali di CSDI.

• Ramo nel Dominio del Tempo: Elabora i dati rumorosi e le informazioni condizionali per stimare il rumore nel dominio del tempo.
• Ramo nel Dominio della Frequenza: Prende l'output del dominio del tempo (trasformato nel dominio della frequenza) e utilizza l'Embedding di Diffusione Sensibile alla Frequenza per stimare il rumore nel dominio della frequenza.
• Proxy del Segnale (Signal Proxy): Per mitigare la dispersione spettrale (spectral leakage) causata dai valori mancanti, viene utilizzato un meccanismo di "Signal Proxy". Esso combina i valori osservati con le stime dello stato corrente per creare un riferimento spettrale sincronizzato con la diffusione per la modellazione della frequenza.

Contributi Chiave

1. Framework Tempo-Frequenza Accoppiato: La proposta di HyFAD, che unifica la modellazione del rumore nei domini del tempo e della frequenza all'interno di un singolo framework DDPM, consentendo una differenziazione esplicita tra le bande spettrali e facilitando una ricostruzione dal grossolano al fine.
2. Embedding di Step Sensibile alla Frequenza: L'introduzione di un nuovo embedding che modella la corrispondenza tra gli step di diffusione e le bande di frequenza, permettendo al modello di concentrarsi adattivamente sui componenti spettrali appropriati durante il denoising.
3. Prestazioni allo Stato dell'Arte: Esperimenti estesi su dataset benchmark (PhysioNet e Air Quality) dimostrano che HyFAD supera costantemente i metodi esistenti, inclusi l'interpolazione classica, i baseline di deep learning (BRITS, SAITS, TimesNet) e altri modelli di diffusione (CSDI, SSSD).

Risultati Sperimentali

Gli autori hanno valutato HyFAD su dataset PhysioNet e Air Quality sotto diversi tassi di assenza (10%, 50%, 90%).

• Prestazioni: HyFAD ha ottenuto il miglior MAE (Mean Absolute Error) e RMSE (Root Mean Square Error) in tutti gli scenari. Ad esempio, su PhysioNet con assenza del 10%, ha ridotto il MAE del 2,8% rispetto al secondo miglior baseline (LSCD).
• Studi di Ablazione:
  • Sostituendo l'embedding sensibile alla frequenza con embedding standard, si è verificata una degradazione delle prestazioni, validando la necessità del proposto embedding.
  • È stato scoperto che il ramo nel dominio del tempo è dominante per la struttura globale (ottimo $\lambda = 0,75$), mentre il ramo di frequenza affina efficacemente la dinamica locale.
  • Il peso della perdita di consistenza ($\omega$) è stato critico per bilanciare i due rami, con $\omega=0,4$ che produceva il miglior compromesso.

Significato e Rivendicazioni

L'articolo sostiene che HyFAD affronti i limiti fondamentali dei modelli di diffusione basati solo sul dominio del tempo, modellando esplicitamente la distribuzione sbilanciata dell'energia spettrale delle serie temporali reali. Integrando la dinamica del dominio della frequenza e la guida spettrale dipendente dallo step, il modello ottiene una ricostruzione per banda più accurata. Gli autori affermano che questo approccio recupera efficacementamente sia i trend globali che le variazioni locali fini, correggendo la sottostima delle ampiezze a media-alta frequenza spesso osservata in lavori precedenti come CSDI. Il lavoro è presentato come un passo significativo verso un'imputazione di serie temporali più robusta che rispetti le caratteristiche di frequenza intrinseche dei dati.