FMMVCC: Fuzzy Mamba-based Multi-View Contrastive Clustering for Univariate Time Series

Sintesi Tecnica: FMMVCC – Fuzzy Mamba-based Multi-View Contrastive Clustering per Serie Temporali Univariate

Definizione del Problema
La proliferazione di dispositivi IoT e reti di sensori ha generato enormi volumi di dati di serie temporali univariate in vari domini, come l'assistenza sanitaria, i sistemi industriali e le smart city. Tuttavia, ottenere dati etichettati in questi ambienti è spesso costoso o impraticabile, rendendo necessari approcci di apprendimento non supervisionato. Sebbene il clustering di serie temporali sia fondamentale per organizzare i dati in gruppi significativi, gli attuali metodi di deep clustering affrontano limitazioni significative. I metodi tradizionali (ad esempio, K-means con DTW) faticano a gestire la dinamica temporale complessa e ad alta dimensionalità. Gli approcci di deep learning, in particolare quelli basati su Transformer, soffrono spesso di una complessità computazionale quadratica rispetto alla lunghezza della sequenza, il che li rende inefficienti per dati su larga scala o a sequenze lunghe. Inoltre, molti metodi attuali non riescono a gestire in modo robusto i dati mancanti o a catturare efficacemente le dipendenze a lungo raggio senza incorrere in elevati costi computazionali.

Metodologia
Il documento propone FMMVCC (Fuzzy Mamba-based Multi-View Contrastive Clustering), un framework di deep clustering progettato per affrontare queste sfide attraverso tre componenti principali:

1. Apprendimento delle Rappresentazioni basato su Mamba:
   Il framework utilizza encoder Mamba, che impiegano un modello di spazio di stato (SSM) selettivo. A differenza delle reti ricorrenti o dei Transformer, Mamba elabora le sequenze con una complessità temporale lineare ($O(T)$) mantenendo al contempo la capacità di modellare dipendenze temporali a lungo raggio. Questa architettura consente l'elaborazione efficiente di serie temporali lunghe senza i colli di bottiglia computazionali associati ai meccanismi di attenzione.

2. Apprendimento delle Rappresentazioni Multi-View con Masking:
   Per migliorare la robustezza contro il rumore e i dati dei sensori mancanti, il metodo genera molteplici viste di ogni serie temporale attraverso aumenti temporali stocastici (jittering, scaling, permutazione) e masking temporale. La strategia di masking simula schemi di mancanza realistici combinando cadute strutturate (segmenti contigui) e non strutturate (punti sparsi). Queste viste sono elaborate indipendentemente da encoder dedicati.

3. Obiettivi di Contrasto e Ricostruzione:
   La fase di pre-training impiega un obiettivo multi-task per apprendere rappresentazioni discriminative:

   • Ricostruzione Intra-view: I decoder ricostruiscono l'input originale dalla rappresentazione latente di ciascuna vista.
   • Ricostruzione Cross-view: Le rappresentazioni latenti di una vista vengono utilizzate per ricostruire le rappresentazioni latenti di altre viste per imporre coerenza.
   • Perdita Contrastiva (Contrastive Loss): Un obiettivo contrastivo a livello di istanza massimizza la similarità tra le rappresentazioni di diverse viste dello stesso campione, contrastandole con altri campioni nel batch. Viene utilizzata una strategia basata su mixup per generare campioni negativi più difficili.

4. Finetuning Orientato al Fuzzy Clustering:
   Dopo il pre-training, il modello subisce una fase di finetuning per strutturare lo spazio latente. Un meccanismo di pooling temporale aggrega le rappresentazioni delle sequenze in vettori a lunghezza fissa. Viene quindi applicato un obiettivo di fuzzy clustering utilizzando una softmax basata sulla similarità del coseno su prototipi di cluster apprendibili. Questo obiettivo comprende tre termini:

   • Entropia: Incoraggia assegnazioni di cluster sicure.
   • Bilanciamento (Balance): Mitiga il collasso dei cluster assicurando un utilizzo uniforme dei cluster.
   • Separazione: Promuove la diversità tra i prototipi di cluster per migliorare la distanza inter-cluster.

Contributi Chiave
Gli autori identificano tre contributi primari:

• Apprendimento delle Rappresentazioni basato su Mamba: L'introduzione di un framework di deep clustering che sfrutta encoder Mamba per modellare dipendenze a lungo raggio con complessità computazionale lineare, offrendo un'alternativa efficiente ai modelli basati su Transformer e RNN per dati sequenziali su larga scala.
• Apprendimento delle Rappresentazioni Multi-View con Masking: Una strategia che genera viste diverse tramite aumenti stocastici e masking temporale casuale. Ciò consente al modello di apprendere rappresentazioni robuste e invarianti rispetto alle perturbazioni temporali e ai dati mancanti, affrontando l'incertezza spesso ignorata dai metodi di aumento deterministici.
• Apprendimento delle Rappresentazioni Orientato al Cluster: L'integrazione di un obiettivo di fuzzy clustering nel processo di apprendimento delle rappresentazioni. Questo approccio produce assegnazioni di cluster "soft", permettendo al modello di gestire pattern temporali ambigui e migliorare la separabilità dei cluster nello spazio latente.

Risultati Sperimentali
Il framework è stato valutato su 15 dataset di serie temporali univariate dall'UCR Time Series Archive. Le prestazioni sono state confrontate con cinque baseline: TimeSeriesKMeans-DTW, HDBSCAN, FCACC, PG-Mamba ed EMTC.

• Prestazioni: FMMVCC ha ottenuto le migliori prestazioni complessive in 29 su 60 valutazioni metriche totali (attraverso le metriche F1, NMI, ARI e RI) e ha ottenuto il rango medio più alto (1.85) in tutti gli scenari testati.
• Robustezza: Il modello ha dimostrato una stabilità superiore rispetto ad altre baseline di deep learning come FCACC, che ha mostrato una maggiore variabilità nelle prestazioni.
• Studi di Ablazione:
  • Numero di Viste: Un'analisi del numero di viste ($N$) ha rivelato che $N=4$ offre il miglior compromesso tra ricchezza della rappresentazione ed efficienza computazionale, con un calo delle prestazioni a $N=8$ dovuto al rumore ridondante.
  • Componenti della Perdita (Loss): L'analisi di sensibilità ha confermato che il peso di separazione ($\lambda_s$) potenzia efficacemente la distanza inter-cluster, mentre il peso di bilanciamento ($\lambda_b$) migliora la compattezza intra-cluster.
  • Direzionalità dell'Encoder: Un confronto tra encoder Mamba unidirezionali e bidirezionali ha mostrato che la configurazione unidirezionale (causale) è superiore, poiché la variante bidirezionale ha causato cali significativi in ARI (-12,04%) e NMI (-11,57%), probabilmente a causa di inconsistenze temporali introdotte attraverso le viste mascherate.
  • Scalabilità: L'analisi dei FLOPs ha confermato che l'encoder Mamba scala linearmente con la lunghezza della sequenza ($O(T)$), mentre un encoder Transformer comparabile ha mostrato una crescita quadratica ($O(T^2)$), validando l'efficienza dell'approccio proposto per sequenze lunghe.

Significatività e Rivendicazioni
Il documento afferma che FMMVCC rappresenta un avanzamento significativo nel clustering di serie temporali non supervisionato, combinando efficacemente l'efficienza temporale lineare dei modelli di spazio di stato con la robustezza dell'apprendimento contrastivo multi-view. Gli autori sostengono che il loro approccio riesce a catturare dipendenze temporali a lungo raggio gestendo al contempo il rumore e i dati mancanti comuni negli ambienti IoT reali. Integrando un obiettivo di fuzzy clustering, il framework fornisce un meccanismo per gestire pattern temporali ambigui che i metodi di hard clustering potrebbero faticare a gestire.

Gli autori concludono che, sebbene il framework sia attualmente limitato alle sequenze univariate e manchi di una diretta interpretabilità delle rappresentazioni latenti, esso stabilisce una solida base per il clustering di serie temporali efficiente, scalabile e robusto. Il lavoro futuro è identificato nell'estensione del framework alle serie temporali multivariate per catturare le correlazioni tra le variabili e nel potenziamento dell'esplicabilità delle caratteristiche apprese.