Disentangled Mode-Specific Representations for Tensor Time Series via Contrastive Learning

Il paper presenta MoST, un metodo di apprendimento rappresentazionale basato su contrasto che, attraverso l'uso dello slicing tensoriale e la disentanglement delle caratteristiche specifiche e invarianti per modalità, supera gli stati dell'arte nella classificazione e previsione di serie temporali tensoriali multi-modalità.

L'essenziale

Immagina di avere un enorme archivio di dati che non è solo una lista di numeri nel tempo, ma un vero e proprio cubo tridimensionale che cambia ogni secondo.

Pensa a un'applicazione come Google Trends:

1. Hai una lista di città (es. Roma, Milano, Tokyo).
2. Hai una lista di parole chiave cercate (es. "pizza", "meteo", "calcio").
3. Hai il tempo (giorno per giorno).

Se provi a studiare questo cubo di dati con i metodi tradizionali, è come cercare di capire un'orchestra ascoltando solo il rumore generale: perdi i dettagli su chi suona cosa e come i musicisti interagiscono tra loro.

Ecco come MoST (il metodo proposto in questo articolo) risolve il problema, spiegato con un'analogia semplice.

1. Il Problema: Il "Cubo" Confuso

I dati tensoriali (i cubi) sono complessi. Hanno due tipi di relazioni:

• Relazioni interne: Le città di Roma e Milano potrebbero avere comportamenti simili (sono entrambe in Italia), così come le parole "pizza" e "pasta" sono correlate. Queste sono le relazioni dentro ogni categoria.
• Relazioni temporali: Indipendentemente dalla città o dalla parola, c'è un picco di ricerche ogni Natale. Questo è un pattern che si ripete nel tempo.

I vecchi metodi trattavano tutto allo stesso modo, mescolando le città con le parole e perdendo i dettagli specifici. Era come cercare di imparare a suonare il violino e la batteria allo stesso tempo, senza mai concentrarsi su uno strumento.

2. La Soluzione: MoST (Il "Taglio" Intelligente)

MoST è come un coltellino svizzero per i dati. Invece di guardare il cubo intero, lo "affetta" in modo intelligente.

Immagina il tuo cubo di dati come un panettone gigante:

• Il Taglio (Tensor Slicing): MoST non mangia il panettone tutto insieme. Lo taglia in fette sottili.
  • Una fetta contiene solo le città (ignorando le parole).
  • Un'altra fetta contiene solo le parole (ignorando le città).
• L'Analisi delle Fette: Ora, invece di confondersi, il sistema studia ogni fetta separatamente.
  • Nella fetta "Città", impara che Roma e Milano si comportano in modo simile (relazione interna).
  • Nella fetta "Parole", impara che "pizza" e "pasta" sono correlate.
  • In entrambe le fette, nota che c'è un picco a Natale (relazione temporale).

3. L'Allenamento: Il Gioco del "Trova la Coppia" (Contrastive Learning)

Come fa MoST a imparare tutto questo senza un insegnante che gli dice "questo è giusto"? Usa un gioco chiamato Contrastive Learning, che possiamo immaginare come un gioco di "trova le differenze e le somiglianze" con due occhiali diversi.

Il sistema prende i dati e crea due versioni leggermente diverse (come due foto dello stesso soggetto con un filtro diverso):

1. Gioco delle Somiglianze (Loss Istanza): Dice al sistema: "Guarda queste due foto dello stesso momento, anche se sono state tagliate in modo diverso. Devono sembrare simili". Questo insegna a riconoscere i pattern che non cambiano (come il picco di Natale).
2. Gioco delle Coppie (Loss Modo): Dice al sistema: "Guarda la fetta 'Città' e la fetta 'Parole' dello stesso momento. Anche se sono diverse, devono raccontare la stessa storia temporale". Questo insegna a separare le caratteristiche specifiche (città vs parole) ma a mantenere il ritmo temporale comune.

4. Il Risultato: Una Mappa Chiara

Alla fine di questo processo, MoST non ha solo una "fotografia" confusa dei dati. Ha creato una mappa mentale disgiunta:

• Sa esattamente cosa succede alle città.
• Sa esattamente cosa succede alle parole.
• Sa come queste due cose si muovono insieme nel tempo.

Perché è importante?

Grazie a questa "mappa" chiara, MoST è bravissimo a fare due cose:

1. Classificare: Capire subito se un dato è "normale" o "strano" (es. un picco anomalo di ricerche).
2. Prevedere il futuro: Sapere cosa succederà domani o la prossima settimana, perché ha capito le regole del gioco (le relazioni interne e il ritmo temporale) meglio di chiunque altro.

In sintesi:
Mentre gli altri metodi cercano di bere l'oceano in un sorso, MoST prende un secchiello, divide l'acqua in categorie (sali, pesci, alghe), studia ogni categoria con attenzione e poi le ricompone per capire come funziona l'intero oceano. Il risultato? Previsioni più accurate e una comprensione molto più profonda dei dati complessi.

Sommario tecnico

1. Il Problema: Complessità delle Serie Temporali a Tensori (TTS)

Le serie temporali a tensori (Tensor Time Series - TTS) sono strutture dati complesse che emergono in molti domini, come i motori di ricerca, il monitoraggio ambientale e l'analisi finanziaria. A differenza delle serie temporali univariate o multivariate tradizionali, un TTS è un tensore di ordine $N$ (tipicamente 3 o più) che combina più modalità non temporali (es. località, query, sensori) con la dimensione temporale.

Le sfide principali identificate dagli autori sono:

• Struttura Intrinseca Complessa: I TTS contengono sia dipendenze intra-modalità (interazioni tra variabili all'interno della stessa modalità, es. correlazione tra diverse località) sia dipendenze temporali (andamenti nel tempo).
• Limiti dei Metodi Esistenti:
  • I metodi di decomposizione tensoriale classica (es. Tucker, CP) si concentrano sulla ricostruzione e spesso ignorano le dipendenze temporali a lungo termine.
  • I metodi di apprendimento delle rappresentazioni per serie temporali (es. TS2Vec, CoST) trattano i dati come vettori piatti o sequenze univariate, fallendo nel catturare le relazioni strutturali tra le diverse modalità del tensore.
  • I metodi esistenti tendono a trattare tutte le modalità in modo uguale, perdendo le specificità di ciascuna.

L'obiettivo è apprendere rappresentazioni disaccoppiate (disentangled) che catturino separatamente le caratteristiche specifiche di ciascuna modalità e le caratteristiche invarianti tra le modalità, per migliorare compiti downstream come classificazione e previsione.

2. Metodologia: MoST (Mode-Specific Representations for Tensor Time Series)

Gli autori propongono MoST, un nuovo framework di apprendimento delle rappresentazioni basato su Contrastive Learning (CL). L'architettura si articola in tre componenti principali:

A. Tensor Slicing (Frammentazione del Tensore)

Per ridurre la complessità strutturale, MoST non elabora l'intero tensore direttamente. Utilizza un approccio di "slicing" (affettatura):

• Il tensore di input $\mathcal{X}$ viene diviso in insiemi di "slice" (fette) lungo le modalità non temporali.
• Ad esempio, per un tensore 3D {Località, Query, Tempo}, si generano due insiemi: un insieme di slice di "Località" (dove Query è fissato) e un insieme di slice di "Query" (dove Località è fissato).
• Questo permette di trattare ogni slice come una serie temporale multivariata (MTS) che cattura le dipendenze intra-modalità.

B. Slice Feature Encoder (Codificatore delle Caratteristiche della Slice)

Ogni slice ottenuta viene elaborata indipendentemente da un codificatore condiviso (approccio Mode-Independence):

1. Embedding: Le slice vengono proiettate in uno spazio latente tramite un layer lineare.
2. Temporal Embedding: Viene aggiunto un embedding temporale deterministico per preservare l'ordine temporale.
3. Causal Convolutional Encoder: Viene utilizzata una pila di blocchi di convoluzione causale 1D per catturare le dipendenze temporali a diverse scale (lungo raggio).
4. Pooling: Un layer di pooling (media o massimo) aggrega le informazioni temporali per produrre una rappresentazione specifica per quella slice.

C. Aggregator

Le rappresentazioni delle singole slice vengono aggregate (tramite pooling) per formare le rappresentazioni specifiche per modalità (es. $V^{(d1)}$ per la modalità 1 e $V^{(d2)}$ per la modalità 2). La rappresentazione finale è la concatenazione di queste rappresentazioni disaccoppiate.

D. Framework di Contrastive Learning

Il modello è ottimizzato tramite una funzione di perdita composta da due parti, progettate per apprendere diverse caratteristiche:

1. Instance Loss ($L_I$):
   • Scopo: Apprendere le caratteristiche specifiche della modalità (mode-specific).
   • Meccanismo: Si applica il random cropping al tensore di input per creare due augmentations. Le rappresentazioni della stessa istanza temporale in due augmentations diverse sono considerate campioni positivi, mentre le altre sono negative. Questo forza il modello a essere robusto rispetto a variazioni locali.
2. Mode Loss ($L_M$):
   • Scopo: Apprendere le caratteristiche invarianti tra le modalità (mode-invariant).
   • Meccanismo: Le rappresentazioni di modalità diverse (es. $V^{(d1)}$ e $V^{(d2)}$) della stessa istanza temporale sono trattate come campioni positivi. Questo incoraggia il modello a catturare i pattern temporali comuni a tutte le modalità (es. stagionalità condivisa).

La perdita totale è: $L = L_I + \alpha(L_M^{(d1)} + L_M^{(d2)})$.

3. Contributi Chiave

1. Primo approccio CL per TTS: MoST è, a quanto ne sanno gli autori, il primo lavoro a fornire rappresentazioni per TTS utilizzando l'apprendimento contrastivo.
2. Disaccoppiamento delle Rappresentazioni: Introduce un metodo per separare esplicitamente le caratteristiche specifiche di ogni modalità da quelle comuni, sfruttando lo slicing tensoriale.
3. Nuova Funzione di Perdita: Propone una combinazione di Instance Loss e Mode Loss per sfruttare le rappresentazioni disaccoppiate come augmentazioni, migliorando l'apprendimento delle dipendenze intra-modalità e temporali.
4. Generalità: Il metodo è progettato per essere applicabile a qualsiasi compito downstream (classificazione, previsione, ecc.) senza richiedere ri-addestramento specifico per il task.

4. Risultati Sperimentali

Gli autori hanno valutato MoST su 11 dataset reali (dati di movimento, trend di ricerca Google, qualità dell'aria, cicli urbani) confrontandolo con metodi SOTA (State-of-the-Art) come CoST, TS2Vec, TS-TCC, ATD, Informer e metodi di decomposizione tensoriale.

• Classificazione: Su dataset di sensori di movimento (Daily, Realdisp), MoST ha superato significativamente tutti i baselines, raggiungendo un'accuratezza superiore (es. 0.726 vs 0.688 di TS2Vec su Daily). Questo dimostra la capacità di catturare pattern discriminativi complessi.
• Previsione (Forecasting): Su dataset come Google Trends e KnowAir, MoST ha ottenuto errori MSE e MAE inferiori rispetto ai metodi di apprendimento contrastivo per serie temporali e ai modelli di previsione end-to-end. La differenza è attribuita all'uso della struttura TTS che permette di modellare meglio le dipendenze a lungo termine.
• Studio Ablativo:
  • Rimuovere la dipendenza da una delle modalità (es. solo Mode-1) degrada le prestazioni, confermando che entrambe le modalità sono necessarie.
  • L'approccio "Channel-Independence" (trattare ogni variabile separatamente) o "Random" (flattening casuale) performa peggio, evidenziando l'importanza dello slicing strutturato.
  • Sia l'Instance Loss che la Mode Loss sono cruciali; la loro rimozione riduce l'accuratezza.
• Case Study (Visualizzazione): La visualizzazione t-SNE mostra che MoST riesce a separare chiaramente diverse dipendenze intra-modalità nello spazio latente, mentre CoST e TS2Vec falliscono nel distinguere queste strutture.

5. Significato e Impatto

Il lavoro di MoST rappresenta un passo avanti significativo nell'analisi delle serie temporali complesse.

• Superamento dei Limiti Strutturali: Dimostra che ignorare la struttura tensoriale (trattando i dati come semplici vettori) porta a una perdita di informazioni critiche.
• Flessibilità: Fornisce un framework unificato che può essere applicato a vari domini (dalla salute all'ambiente) senza bisogno di progettare architetture specifiche per ogni task.
• Interpretabilità: La capacità di disaccoppiare le rappresentazioni offre potenziali vantaggi per l'interpretabilità, permettendo di analizzare come diverse modalità contribuiscono al comportamento temporale complessivo.

In sintesi, MoST stabilisce un nuovo standard per l'apprendimento di rappresentazioni su dati tensoriali, combinando efficacemente la decomposizione strutturale con l'apprendimento auto-supervisionato.