Contrast All the Time: Learning Time Series Representation from Temporal Consistency

Riepilogo Tecnico: CaTT (Contrast All The Time)

Problematica
L'apprendimento di rappresentazioni per serie temporali (TS) è fondamentale per i task a valle, eppure i dati TS non etichettati su larga scala rimangono sottoutilizzati a causa dell'alto costo della annotazione. Sebbene l'apprendimento contrastivo auto-supervisionato abbia avuto successo nella computer vision (CV) e nell'elaborazione del linguaggio naturale (NLP), la sua applicazione alle serie temporali affronta sfide specifiche. I metodi contrastivi per TS esistenti spesso si affidano ad aumenti dei dati (data augmentations), che possono introdurre bias induttivi, o dipendono da una selezione euristica delle coppie (ad esempio, selezionando coppie positive/negative specifiche da un batch). Queste strategie di selezione sono spesso inefficienti, non riescono a sfruttare appieno la dimensione temporale dei dati e faticano con la scalabilità in ambienti di streaming dinamici e reali. Inoltre, molti approcci non utilizzano efficacemente la consistenza temporale inerente, dove i passi temporali adiacenti dovrebbero naturalmente condividere rappresentazioni simili.

Metodologia
Gli autori propongono CaTT (Contrast All The Time), un nuovo framework di apprendimento contrastivo non supervisionato progettato per apprendere rappresentazioni di serie temporali sfruttando la naturale struttura temporale dei dati senza fare affidamento su aumenti dei dati o complessi eurismi di selezione delle coppie.

• Concetto Core: CaTT si distacca dagli approcci convenzionali contrastando tutti i passi temporali in parallelo. Invece di selezionare una singola coppia positiva per ogni ancora (anchor), utilizza l'intera dimensione temporale, trattando i passi temporali adiacenti come coppie positive implicite e tutti gli altri passi non adiacenti come negativi.
• Perdita MP-Xent: Il framework introduce una perdita Multiple Positive Cross-Entropy (MP-Xent). Si tratta di un adattamento della classica perdita N-pair (Sohn, 2020) e della perdita NT-Xent (SimCLR).
  • Per un batch di $N$ sequenze di lunghezza $T$, CaTT forma una perdita NT-tuple.
  • Per un passo temporale di riferimento $z_{i,t}$, i passi adiacenti ($z_{i,t-1}$ e $z_{i,t+1}$) fungono da molteplici coppie positive.
  • Tutti gli altri passi nella sequenza (escludendo il riferimento e i suoi vicini immediati) fungono da coppie negative.
  • La funzione di perdita è formulata per massimizzare la similarità dell'ancora con le sue molteplici positive e minimizzare la similarità con tutte le negative, il tutto calcolato efficientemente tramite operazioni matriciali per evitare l'elevata complessità computazionale del semplice slicing.
• Architettura: Il metodo impiega una semplice rete neurale convoluzionale 1D (CNN) come backbone dell'encoder. L'input è una sequenza di serie temporale $x$ di lunghezza $T$, che viene proiettata in uno spazio di rappresentazione $z$. L'addestramento è end-to-end e non richiede una fase separata di identificazione delle coppie positive.
• Pre-processing: Per specifici dataset (ad esempio, segnali medici), gli autori applicano la Trasformata di Fourier a Breve Tempo (STFT) a sotto-finestre per generare istanze temporalmente dipendenti, garantendo che l'assunto secondo cui le istanze consecutive condividano caratteristiche simili sia rispettato.

Contributi Chiave

1. Framework CaTT: Un nuovo framework di apprendimento contrastivo non supervisionato per serie temporali che integra la selezione delle coppie positive direttamente nel processo di apprendimento utilizzando una formulazione NT-pair, eliminando la necessità di eurismi esterni di selezione delle coppie.
2. Perdita MP-Xent: L'adattamento della perdita N-pair per introdurre molteplici coppie positive (passi temporali adiacenti) nell'obiettivo di cross-entropy normalizzato con temperatura (normalized temperature-scaled cross-entropy). Questa modifica accelera l'apprendimento considerando più coppie per aggiornamento e migliora la convergenza.
3. Valutazione Estesa: Gli autori hanno condotto esperimenti su 1 6 dataset pubblici attraverso quattro distinti task a valle:
   • Fine-tuning lineare per classificazione (backbone congelato).
   • Classificazione semi-supervisionata.
   • Forecasting di serie temporali (breve e lungo termine).
   • Rilevamento delle anomalie.

Risultati
Il documento riporta che CaTT produce embedding superiori rispetto ai baseline allo stato dell'arte (inclusi TS2Vec, InfoTS, CoST, SimMTM e MF-CLR) in tutti i task valutati:

• Classificazione: Sui dataset HARTH, SLEEPEEG e ECG, CaTT ha ottenuto la massima accuratezza, F1 score, precisione e recall. Notevolmente, ha raggiunto questi risultati con tempi di addestramento significativamente inferiori (ad esempio, 6,12s rispetto a 2322,75s di MF-CLR su HARTH).
• Apprendimento Semi-Supervisionato: CaTT ha dimostrato robustezza con dati etichettati limitati (5%, 10%, 20%), superando costantemente i baseline in termini di accuratezza.
• Forecasting: Sui dataset ETT e Weather, CaTT ha fornito risultati competitivi in termini di MSE (Mean Squared Error) e MAE (Mean Absolute Error), spesso superando o eguagliando modelli di forecasting specializzati come MF-CLR e CoST, mantenendo al contempo una superiore efficienza di pre-training.
• Rilevamento delle Anomalie: Nel benchmark TSB-AD, CaTT ha mostrato prestazioni competitive nelle metriche di rilevamento (VUS-PR) ed è stato il metodo più veloce tra quelli testati.
• Efficienza: Un risultato primario è che CaTT è significativamente più veloce da addestrare rispetto agli approcci contrastivi esistenti, rendendolo adatto ad applicazioni su larga scala.

Significatività e Rivendicazioni
Il documento afferma che CaTT rappresenta un cambiamento nel modo in cui la consistenza temporale viene utilizzata nell'apprendimento contrastivo. Allontanandosi dall'aumento dei dati e dalla selezione selettiva delle coppie verso un approccio "contrast all the time", il metodo apprende direttamente dalla struttura naturale dei dati temporali. Gli autori asseriscono che:

• L'uso di molteplici coppie positive (passi temporali adiacenti) all'interno di una perdita NT-tuple è cruciale per apprendere rappresentazioni semanticamente significative e garantire la stabilità dell'addestramento (gli approcci a singola positiva hanno spesso causato perdite NaN).
• L'approccio è altamente efficiente, offrendo un equilibrio tra alte prestazioni e basso costo computazionale, particolarmente adatto per applicazioni di serie temporali reali e dinamiche dove la velocità di inferenza e la scalabilità sono critiche.
• Il metodo è versatile, operando efficacemente attraverso task di classificazione, forecasting e rilevamento delle anomalie senza richiedere modifiche architettoniche specifiche per il task.

Il codice sorgente del metodo è pubblicamente disponibile, facilitando la riproducibilità e ulteriori ricerche.