Riepilogo Tecnico: Divide and Contrast (Di-COT)

Enunciato del Problema

L'apprendimento auto-supervisionato (SSL) per la rappresentazione delle serie temporali mira a ridurre la dipendenza dai dati etichettati mantenendo al contempo prestazioni elevate nelle applicazioni a valle. Tuttavia, gli approcci esistenti di apprendimento contrastivo presentano limitazioni significative:

1. Inefficienza Computazionale: Molti metodi richiedono passaggi multipli attraverso l'encoder (per ancoraggi, positivi e negativi) o si basano su operazioni costose come la Warping Temporale Dinamica (DTW) per il calcolo della similarità.
2. Bias nell'Augmentation dei Dati: Gli approcci che fanno molto affidamento sull'augmentation dei dati (ad esempio, mascheramento, trasformazioni nel dominio del tempo/frequenza) possono introdurre bias induttivi che distorcono gli embedding delle caratteristiche appresi, ostacolando la generalizzabilità.
3. Fallimento delle Assunzioni Temporali: I recenti metodi efficienti (ad esempio, CaTT) che contrastano istanti temporali adiacenti assumono che la vicinanza temporale implichi similarità semantica. Questa assunzione spesso fallisce in dataset con transizioni rapide degli eventi (comuni nei benchmark UCR e UEA), portando a "falsi positivi" in cui istanti temporali semanticamente distinti ma temporalmente vicini vengono erroneamente trattati come coppie positive.
4. Problemi di Scalabilità: I calcoli della perdita in alcuni metodi scalano quadraticamente sia con la dimensione del batch che con la lunghezza della sequenza, rendendoli proibitivi per finestre di serie temporali lunghe.

Metodologia: Divide and Contrast (Di-COT)

Di-COT è un framework non supervisionato progettato per apprendere caratteristiche temporali robuste senza augmentation dei dati o passaggi multipli dell'encoder. Riformula l'apprendimento contrastivo temporale come un compito di classificazione densa nello spazio delle rappresentazioni.

Meccanismo Principale

1. Partizionamento Stocastico dei Sottoblocchi: Invece di elaborare l'intera sequenza o singoli istanti temporali, Di-COT partiziona stocasticamente ogni finestra di serie temporale in $k$ sottoblocchi sovrapposti per iterazione. Il numero di sottoblocchi $k$ viene campionato da una distribuzione uniforme $U\{k_{min}, \dots, k_{max}\}$.

   • I sottoblocchi hanno lunghezza $L$ e passo $s$, controllati da un rapporto di sovrapposizione $\rho \in (0, 1)$.
   • Questa stocasticità espone l'encoder a multiple granularità temporali, incoraggiando implicitamente la robustezza sia nei contesti a breve che a lungo raggio senza design gerarchici espliciti.

2. Codifica dei Sottoblocchi: Ogni sottoblocco viene passato attraverso un encoder temporale condiviso $f_\theta$ e aggregato lungo la dimensione temporale per produrre un singolo vettore di embedding.

3. Obiettivo Contrastivo (Previsione del Sottoblocco Successivo):

   • Coppie Positive: I sottoblocchi temporalmente adiacenti all'interno della stessa istanza sono trattati come coppie positive. Nello specifico, per un sottoblocco $j$, il sottoblocco precedente $j-1$ è l'obiettivo.
   • Coppie Negative: Tutti gli altri sottoblocchi nella stessa sequenza fungono da negativi.
   • Formulazione: Il compito è formulato come un problema di classificazione multiclasse. Per ogni sottoblocco $j$, il modello prevede l'indice del suo vicino precedente. La perdita è una perdita di entropia incrociata scalata per temperatura (simile a InfoNCE ma applicata agli indici dei sottoblocchi):
     $$\mathcal{L}_{CE} = -\frac{1}{Bk} \sum_{i=1}^{B} \sum_{j=0}^{k-1} \log \frac{\exp(S^{(i)}_{j, p^*(j)} / \tau)}{\sum_{p=0}^{k-1} \exp(S^{(i)}_{j, p} / \tau)}$$
     dove $S^{(i)}_{j,p}$ è la similarità tra il sottoblocco $j$ e $p$, e $p^*(j)$ è l'indice target ($j-1$ per $j>0$, e $0$ per il primo sottoblocco).

Efficienza e Scalabilità

• Complessità: Il calcolo della perdita dipende dalla dimensione del batch $B$ e dal numero di sottoblocchi $k$, piuttosto che dalla lunghezza della sequenza $T$. Poiché per progettazione $k \ll T$, la complessità temporale è $O(Bk^2d)$ e la complessità di memoria è $O(Bk^2)$. Ciò rende il metodo indipendente dalla lunghezza della sequenza, consentendo un addestramento efficiente su sequenze molto lunghe.
• Nessun Augmentation/Passaggi Multipli: Contrastando le sottostrutture interne, Di-COT evita la necessità di augmentation dei dati ed elimina la necessità di passaggi multipli dell'encoder richiesti dai metodi che trattano diverse viste augmentate come positivi.

Contributi Chiave

1. Framework Senza Augmentation: Di-COT elimina la necessità di augmentation dei dati, mascheramento degli istanti temporali e passaggi multipli dell'encoder, riducendo il sovraccarico computazionale e prevenendo la distorsione delle rappresentazioni.
2. Contrasto Dinamico dei Sottoblocchi: Il metodo introduce il contrasto all'interno di singole istanze utilizzando sottoblocchi stocastici. Ciò previene una discriminazione banale a livello di istante temporale (che fallisce durante le transizioni rapide) e promuove rappresentazioni diversificate e semanticamente significative.
3. Riformulazione come Classificazione: L'apprendimento contrastivo temporale è riformulato come un compito di classificazione a entropia incrociata. Ciò fornisce una supervisione densa (utilizzando ogni sottoblocco come segnale) mantenendo al contempo le proprietà di InfoNCE scalata per temperatura.
4. Prestazioni allo Stato dell'Arte: Il framework ottiene risultati allo stato dell'arte in compiti di classificazione, clustering, kNN e trasferimento tra dataset, riducendo al contempo sostanzialmente il tempo di addestramento.

Risultati Sperimentali

Gli autori hanno valutato Di-COT su sei dataset reali su larga scala (PAMAP2, WISDM2, HARTH, SLEEP, ECG, SKODA) e sui benchmark UCR/UEA.

• Valutazione Lineare: Di-COT ha raggiunto la massima accuratezza media tra i metodi SSL sui dataset su larga scala, superando baseline come TS2Vec, TF-C e CaTT. Ha eguagliato le prestazioni di modelli end-to-end completamente supervisionati su diversi dataset richiedendo al contempo un tempo di addestramento significativamente inferiore.
• Regime a Basse Etichette: In un setting con l'1% di dati etichettati, Di-COT ha superato tutti gli altri metodi SSL e la baseline completamente supervisionata addestrata end-to-end sugli stessi dati limitati, dimostrando una superiore efficienza delle etichette.
• kNN Non Parametrico: Di-COT ha mostrato le migliori prestazioni nella classificazione 1-NN, indicando che gli embedding appresi possiedono un vicinato locale ben strutturato in cui campioni semanticamente simili sono mappati strettamente vicini.
• Clustering: Di-COT ha ottenuto il più alto Normalized Mutual Information (NMI) e Adjusted Rand Index (ARI), suggerendo che apprende cluster globalmente coerenti allineati con le classi ground-truth.
• Trasferimento tra Dataset: Negli esperimenti di transfer learning (ad esempio, HARTH $\to$ PAMAP2), Di-COT ha dimostrato una generalizzazione di dominio più forte rispetto alle baseline, indicando robustezza agli spostamenti di distribuzione.
• Efficienza: Di-COT ha costantemente richiesto il tempo di addestramento più basso tra gli approcci basati sul deep learning. Ad esempio, su dataset su larga scala, è stato addestrato in circa 2,88 ore rispetto a 3,47–11,48 ore per altri metodi.

Significato e Affermazioni

Il paper afferma che Di-COT affronta il compromesso fondamentale nei metodi esistenti di apprendimento contrastivo per serie temporali: la tensione tra lo sfruttamento della vicinanza temporale per l'efficienza e il mantenimento della coerenza semantica per la generalizzazione.

• Robustezza alle Dinamiche Temporali: Contrastando sottostrutture informative anziché singoli istanti temporali, Di-COT evita il problema dei "falsi positivi" intrinseco nei metodi che assumono che tutti gli istanti temporali adiacenti siano semanticamente simili. Ciò lo rende particolarmente efficace per dataset con frequenti cambiamenti di eventi.
• Scalabilità: L'indipendenza del calcolo della perdita dalla lunghezza della sequenza permette a Di-COT di scalare efficientemente su serie temporali lunghe, una limitazione per metodi come CaTT dove i costi di memoria e calcolo scalano quadraticamente con la lunghezza della sequenza.
• Applicabilità Pratica: Il framework è presentato come una soluzione pratica per scenari con annotazioni scarse, offrendo un compromesso favorevole tra accuratezza e calcolo. Gli autori notano che, sebbene il metodo eccella in classificazione, clustering e recupero, la sua natura contrastiva (focalizzata sulla struttura discriminativa) può essere ortogonale ai compiti di previsione che richiedono una previsione temporale fine, il che è identificato come una limitazione e una direzione per lavori futuri.

Gli autori sottolineano che Di-COT apprende rappresentazioni che sono localmente coerenti, globalmente ben organizzate e trasferibili tra domini, stabilendo un nuovo stato dell'arte per l'apprendimento non supervisionato di rappresentazioni di serie temporali.