Multi-Scale Convolution with Optimal Transport Attention Effect on Multivariate Time Series

Riepilogo Tecnico: Convoluzione Multi-Scala con Attenzione basata sul Trasporto Ottimale su Serie Temporali Multivariate

Definizione del Problema
La previsione di serie temporali multivariate (MTS) affronta sfide significative nel catturare modelli strutturali a multi-granularità pur sopprimendo efficacemente il rumore. Sebbene i modelli basati su Transformer siano diventati dominanti nella modellazione delle sequenze, la loro applicazione alle serie temporali spesso si basa sull'incorporamento di più variabili allo stesso istante temporale in canali, concentrandosi principalmente sulle dipendenze temporali. Recenti progressi, come iTransformer, hanno introdotto un paradigma di "embedding invertito" in cui l'intera serie temporale di ogni variabile è trattata come un singolo token per catturare meglio le dipendenze cross-variate. Tuttavia, gli autori identificano un limite critico in questo approccio: comprimendo l'informazione temporale di una variabile in un token a dimensionalità fissa, si perdono i pattern temporali locali fini (ad esempio, fluttuazioni a breve termine, periodicità). Inoltre, i meccanismi di attenzione standard sono suscettibili agli outlier e al rumore, il che può portare a distribuzioni di attenzione distorte e previsioni subottimali.

Metodologia: MSC-OT
Per affrontare queste limitazioni, l'articolo propone MSC-OT (Multi-Scale Convolution with Optimal Transport Attention), un'architettura innovativa progettata per potenziare il framework di embedding invertito. Il metodo consiste in tre componenti principali:

1. Potenziamento tramite Convoluzione Multi-Scala:

   • Obiettivo: Recuperare e modellare i pattern strutturali locali all'interno della matrice dei punteggi di attenzione che si perdono durante il processo di embedding invertito.
   • Meccanismo: Il modello applica convoluzioni 2D in parallelo con dimensioni del kernel di $3 \times 3$ e $5 \times 5$ direttamente alla matrice dei punteggi di attenzione ($S \in \mathbb{R}^{B \times H \times N \times N}$).
   • Funzione: Queste convoluzioni catturano i pattern strutturali locali a diverse granularità all'interno dello spazio di interazione tra le variabili. Le caratteristiche multi-scala risultanti vengono aggregate tramite una semplice media per garantire la stabilità numerica e preservare le informazioni complementari.

2. Regolarizzazione tramite Trasporto Ottimale (OT) di Sinkhorn:

   • Obiettivo: Formulare il calcolo dell'attenzione come un problema di trasporto ottimale per garantire un flusso di informazioni bilanciato e robustezza contro il rumore.
   • Meccanismo: La matrice dei punteggi di attenzione viene trattata come una matrice di costo per un problema di trasporto ottimale regolarizzato dall'entropia. L'algoritmo di Sinkhorn viene impiegato per normalizzare iterativamente righe e colonne, producendo una distribuzione di attenzione doppiamente stocastica.
   • Funzione: Il termine di regolarizzazione dell'entropia ($\lambda H(P)$) ammorbidisce naturalmente i pesi dell'attenzione, impedendo a una singola variabile (anche quella con un punteggio anomalamente alto) di dominare la distribuzione dell'attenzione. Ciò sopprime efficacemente l'impatto degli outlier e del rumore di misurazione comuni nei dati MTS reali.

3. Strategia di Fusione Adattiva:

   • Obiettivo: Combinare dinamicamente i punteggi di attenzione di base, i punteggi potenziati dalla convolzione e i punteggi regolarizzati tramite OT.
   • Meccanismo: Il punteggio di attenzione finale è calcolato come una somma pesata: $S_{final} = \alpha \cdot S + \beta \cdot S_{conv} + \gamma \cdot P$.
   • Funzione: I pesi ($\alpha, \beta, \gamma$) sono parametri apprendibili inizializzati rispettivamente a 0,7, 0,2 e 0,1. Sono normalizzati tramite softmax per garantire una formazione stabile. Ciò consente al modello di determinare adattivamente il contributo ottimale di ciascuna componente in base alle caratteristiche specifiche del dataset.

Contributi Chiave

• Embedding Invertito Potenziato: L'articolo propone un metodo per mantenere i benefici della modellazione cross-variata di iTransformer compensando al contempo la perdita di dipendenze temporali fini attraverso la convoluzione multi-scala sui punteggi di attenzione.
• Attenzione Robusta al Rumore: Integrando il Trasporto Ottimale di Sinkhorn, il modello introduce un meccanismo che sopprime intrinsecamente il rumore e impedisce il dominio degli outlier, affrontando una debolezza chiave dell'attenzione standard basata su softmax per le MTS.
• Architettura Sinergica: Il lavoro dimostra che la convoluzione multi-scala (cattura dei pattern locali) e la regolarizzazione OT (bilanciamento globale e soppressione del rumore) sono complementari. La strategia di fusione adattiva permette a queste componenti di lavorare sinergicamente anziché indipendentemente.
• Prestazioni allo Stato dell'Arte: Gli autori forniscono una vasta validazione empirica che mostra come MSC-OT superi i recenti modelli allo stato dell'arte (inclusi iTransformer, PatchTST, Crossformer e TimesNet) su molteplici dataset di benchmark.

Risultati Sperimentali
Gli autori hanno valutato MSC-OT su cinque dataset di benchmark ampiamente utilizzati: ECL (Electricity), ETT (Electricity Transformer Temperature), Exchange-Rate, Traffic e Weather.

• Prestazioni: MSC-OT ha ottenuto i migliori risultati di Mean Squared Error (MSE) su ECL, Traffic e Weather, e il miglior Mean Absolute Error (MAE) su quattro dei cinque dataset.
• Guadagni Comparativi: L'articolo rivendica miglioramenti significativi rispetto a specifici baseline, citando miglioramenti del 27% rispetto a Crossformer, del 35% rispetto a TimesNet e del 19% rispetto a Fedformer in contesti specifici.
• Studi di Ablazione: Gli esperimenti hanno confermato che rimuovere la convoluzione multi-scala o la regolarizzazione OT porta a un degrado delle prestazioni. Gli studi hanno anche mostrato che i pesi di fusione adattiva imparano a bilanciare efficacemente le componenti (ad esempio, in ECL, la convoluzione e la componente OT insieme rappresentavano quasi il 60% del peso, indicando il loro ruolo critico).
• Iperparametri: Il coefficiente ottimale di regolarizzazione dell'entropia è stato individuato in $\lambda=5,0$, e due iterazioni di Sinkhorn sono state ritenute sufficienti per la convergenza senza costi computazionali eccessivi.

Significatività e Rivendicazioni
L'articolo posiziona MSC-OT come una soluzione pratica ed efficace per la previsione di serie temporali multivariate nel mondo reale. Gli autori affermano che il metodo ottimizza con successo il meccanismo di attenzione affrontando i trade-off specifici tra la cattura dei pattern temporali locali e il mantenimento di una modellazione cross-variata robusta in presenza di rumore. Sfruttando il trasporto ottimale, l'approccio stabilisce una nuova via metodologica per l'ottimizzazione dell'attenzione che è meno sensibile agli outlier e meglio adatta alla natura complessa e multi-scala dei dati delle serie temporali reali. Il codice è reso disponibile per facilitare ulteriore ricerca e applicazione.