🤖 machine learning

FMMVCC: Fuzzy Mamba-based Multi-View Contrastive Clustering for Univariate Time Series

Dit artikel introduceert FMMVCC, een op Mamba gebaseerd diep clusteringframework dat state space sequentiemodellering combineert met multi-view zelfgesuperviseerd leren om efficiënt langetermijn temporele afhankelijkheden in univariate tijdreeksen vast te leggen, waarbij state-of-the-art prestaties wordt behaald over 15 benchmark-datasets zonder dat handmatige labels vereist zijn.

Oorspronkelijke auteurs: Donato Cerciello, Leonardo Schiavo, Angel Panizo-LLedot, Javier Huertas Tato, David Camacho

Gepubliceerd 2026-07-09✓ Author reviewed ⓘ

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Donato Cerciello, Leonardo Schiavo, Angel Panizo-LLedot, Javier Huertas Tato, David Camacho

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bibliothecaris bent die probeert een enorme, chaotische kamer te organiseren vol met duizenden verschillende audio-opnames. Sommige zijn liedjes, sommige zijn vogelgeluiden en sommige zijn gewoon statische ruis. Het probleem? Je hebt geen labels. Je weet niet wat de verschillende opnames zijn en je kunt geen mens vragen om naar ze allemaal te luisteren en beschrijvingen op te schrijven. Dit is de wereld van Unsupervised Time Series Clustering: proberen gegevens te groeperen op basis van hun patronen zonder dat een leraar je de antwoorden vertelt.

Het paper introduceert een nieuwe tool genaamd FMMVCC om dit probleem op te lossen. Zo werkt het, uitgelegd via eenvoudige analogieën:

1. Het probleem met oude tools

Traditionele methoden om deze "opnames" te sorteren zijn als het vergelijken van twee liedjes door alleen naar de eerste vijf seconden te luisteren. Ze missen vaak het grote plaatje of raken in de war van lange, complexe patronen. Nieuwere, krachtigere tools (zoals Transformers) zijn als supercomputers die het hele liedje kunnen beluisteren, maar ze zijn zo zwaar en traag dat ze moeite hebben wanneer de kamer te groot wordt (te veel data).

2. Het geheime wapen: "Mamba"

De auteurs kozen voor een nieuw type motor genaamd Mamba. Denk aan Mamba als een zeer efficiënte, selectieve bibliothecaris.

De oude manier: Een traditionele bibliothecaris leest elk woord in elk boek om een patroon te vinden, wat eeuwen duurt.
De Mamba-manier: Mamba is slim. Het weet precies welke woorden ertoe doen en welke gewoon ruis zijn. Het kan een enorme bibliotheek scannen in lineaire tijd (dat wil zeggen: als de bibliotheek verdubbelt in omvang, verdubbelt de hoeveelheid werk ook, het explodeert niet). Hierdoor kan het zeer lange reeksen data verwerken zonder moe of traag te worden.

than 3. De trainingsmethode: "Het spel met de blinddoek op"

Hoe leert de computer deze opnames te groeperen zonder labels? Het paper gebruikt een techniek genaamd Multi-View Contrastive Learning. Stel je een spelletje "Telefoontje" of een detectietraining voor:

De opstelling: Je neemt één opname (een tijdreeks).
De Masking: Je maakt verschillende "views" (weergaven) van deze opname. In sommige views bedek je (maskeer je) willekeurige delen van de opname met statische ruis. In andere versnel je de opname, vertraag je deze, of voeg je een beetje achtergrondruis toe.
Het doel: Je laat deze verschillende, licht beschadigde versies aan de AI zien. De taak van de AI is om te beseffen: "Hé, ook al heeft deze versie statische ruis en die andere is versneld, dit is eigenlijk hetzelfde liedje!"
Het resultaat: Door de AI te dwingen om de "ziel" van de data te zien door al deze verschillende, rommelige lenzen, leert het een zeer sterke, robuuste verstandhouding van wat de data werkelijk is, waarbij de ruis en ontbrekende stukken worden genegeerd.

4. De vage sorteerhoed

Zodra de AI de data begrijpt, moet het de data in stapels (clusters) sorteren.

Oude methoden: Dit zijn als een strenge rechter die zegt: "Deze opname behoort alleen tot Groep A." Maar wat als een opname een beetje op Groep A lijkt en een beetje op Groep B?
FMMVCC (De Fuzzy-benadering): Dit maakt gebruik van "Fuzzy Clustering". Denk aan een sorteerhoed die zegt: "Deze opname is 70% Groep A en 30% Groep B." Dit is cruciaal omdat echte wereldgegevens vaak rommelig en ambigu zijn. Het stelt de AI in staat om met onzekerheid om te gaan in plaats van een rigide, foutief antwoord af te dwingen.

5. De resultaten: De winnaarskring

De auteurs hebben dit nieuwe systeem getest op 15 verschillende "kamers" (datasets) met uiteenlopende soorten data, van hartslagen tot aandelenkoersen.

Het scorebord: Van de 60 verschillende manieren om succes te meten, kwam FMMVCC 29 keer op de eerste plaats en had het de beste gemiddelde rang over de hele linie.
Waarom het won: Het was beter in het vinden van de ware structuur van de groepen (niet alleen gokken op basis van oppervlakkige gelijkenissen) en was veel stabieler dan andere methoden.
Efficiëntie: Ze bewezen ook dat hun "Mamba"-bibliothecaris veel sneller is en minder geheugen gebruikt dan de "Transformer"-supercomputers, vooral wanneer de data erg lang wordt.

Samenvatting

Kortom, FMMVCC is een slim, efficiënt systeem dat leert om complexe, rommelige datastromen te sorteren door:

Een snelle, selectieve motor te gebruiken (Mamba) om lange patronen te lezen.
Zichzelf te trainen door naar dezelfde data te kijken door vele verschillende "kapotte" lenzen (Multi-View Masking) om te leren wat er echt toe doet.
Een flexibele sorteermethode te gebruiken (Fuzzy Clustering) die toegeeft wanneer data ambigu is, in plaats van een rigide keuze af te dwingen.

Het paper beweert dat dit het huidige kampioen maakt in het organiseren van ongelabelde tijdreeksdata, waarbij het zowel oudere methoden als nieuwere, zwaardere deep learning-modellen overtreft.

Technische Samenvatting: FMMVCC – Fuzzy Mamba-gebaseerde Multi-View Contrastieve Clustering voor Univariante Tijdreeksen

Probleemstelling
De proliferatie van IoT-apparaten en sensornetwerken heeft enorme volumes aan univariate tijdreeksdata gegenereerd in domeinen zoals de gezondheidszorg, industriële systemen en smart cities. Het verkrijgen van gelabelde data in deze omgevingen is echter vaak kostbaar of onhaalbaar, wat ongesuperviseerde leeralgoritmen noodzakelijk maakt. Hoewel tijdreeksclustering cruciaal is voor het organiseren van data in betekenisvolle groepen, kampen bestaande deep clustering-methoden met significante beperkingen. Traditionele methoden (bijv. K-means met DTW) worstelen met complexe, hoogdimensionele temporele dynamiek. Deep learning-benaderingen, met name die gebaseerd op Transformers, lijden vaak aan kwadratische computationele complexiteit ten opzichte van de sequentielengte, wat hen inefficiënt maakt voor grootschalige of lange sequenties. Bovendien slagen veel huidige methoden er niet in om ontbrekende data robuust af te handelen of langetermijnafhankelijkheden efficiënt te modelleren zonder hoge computationele kosten te veroorzaken.

Methodologie
Het artikel stelt FMMVCC (Fuzzy Mamba-based Multi-View Contrastive Clustering) voor, een deep clustering-framework dat is ontworpen om deze uitdagingen aan te pakken via drie kerncomponenten:

Mamba-gebaseerde Representatieleer:
Het framework maakt gebruik van Mamba-encoders, die een selectief state space model (SSM) hanteren. In tegenstelling tot recurrente netwerken of Transformers, verwerkt Mamba sequenties met lineaire tijdscomplexiteit ( $O(T)$ ) terwijl het de capaciteit behoudt om langetermijn-temporele afhankelijkheden te modelleren. Deze architectuur maakt efficiënte verwerking van lange tijdreeksen mogelijk zonder de computationele knelpunten die geassocieerd worden met attention-mechanismen.
Multi-View Masked Representatieleer:
Om de robuustheid tegen ruis en ontbrekende sensordata te vergroten, genereert de methode meerdere views van elke tijdreeks door middel van stochastische temporele augmentaties (jittering, schaling, permutatie) en temporele masking. De masking-strategie simuleert realistische ontbrekende patronen door gestructureerde (aaneengesloten segmenten) en ongestructureerde (verspreide punten) wegval te combineren. Deze views worden onafhankelijk verwerkt door dedicated encoders.
Contrastieve en Reconstructie Doelstellingen:
De pretraining-fase maakt gebruik van een multi-task doelstelling om onderscheidende representaties te leren:
- Intra-view Reconstructie: Decoders reconstrueren de originele input vanuit de latente representatie van elke view.
- Cross-view Reconstructie: Latente representaties van één view worden gebruikt om de latente representaties van andere views te reconstrueren om consistentie af te dwingen.
- Contrastieve Loss: Een instance-level contrastieve doelstelling maximaliseert de gelijkenis tussen verschillende views van dezelfde sample, terwijl ze contrasteert met andere samples in de batch. Een mixup-gebaseerde strategie wordt gebruikt om moeilijkere negatieve samples te genereren.
Fuzzy Clustering-georiënteerde Finetuning:
Na de pretraining ondergaat het model een finetuning-fase om de latente ruimte te structureren. Een temporeel pooling-mechanisme aggregeert sequentie-representaties naar vectoren met een vaste lengte. Vervolgens wordt een fuzzy clustering-doelstelling toegepast met behulp van een cosine-similarity-gebaseerde softmax over leerbare cluster-prototypes. Deze doelstelling bestaat uit drie termen:
- Entropy: Moedigt zelfverzekerde cluster-toezigningen aan.
- Balance: Mitigeert cluster-instorting door uniforme cluster-utilisatie te waarborgen.
- Separation: Bevordert diversiteit tussen cluster-prototypes om de inter-cluster afstand te verbeteren.

Belangrijkste Bijdragen
De auteurs identificeren drie primaire bijdragen:

Mamba-gebaseerde Representatieleer: De introductie van een deep clustering-framework dat Mamba-encoders gebruikt om langetermijn-afhankelijkheden te modelleren met lineaire computationele complexiteit, wat een efficiënt alternatief biedt voor Transformer- en RNN-gebaseerde modellen voor grootschalige sequentiële data.
Multi-View Masked Representatieleer: Een strategie die diverse views genereert via stochastische augmentaties en willekeurige temporele masking. Dit stelt het model in staat om robuuste representaties te leren die invariant zijn voor temporele perturbaties en ontbrekende data, waarmee de onzekerheid wordt geadresseerd die vaak door deterministische augmentatiemethoden wordt genegeerd.
Cluster-georiënteerde Representatieleer: De integratie van een fuzzy clustering-doelstelling in het representatieleerproces. Deze benadering produceert zachte cluster-toezigningen, waardoor het model ambigue temporele patronen kan afhandelen en de cluster-scheidbaarheid in de latente ruimte kan verbeteren.

Experimentele Resultaten
Het framework werd geëvalueerd op 15 univariate tijdreeksdatasets uit de UCR Time Series Archive. De prestaties werden vergeleken met vijf baselines: TimeSeriesKMeans-DTW, HDBSCAN, FCACC, PG-Mamba en EMTC.

Prestaties: FMMVCC behaalde de beste algehele prestaties in 29 van de 60 totale metriek-evaluaties (over F1, NMI, ARI en RI metrieken) en behaalde de hoogste gemiddelde rang (1.85) over alle geteste scenario's.
Robuustheid: Het model vertoonde een superieure stabiliteit vergeleken met andere deep learning baselines zoals FCACC, die een hogere variabiliteit in prestaties vertoonde.
Ablatie-studies:
- Aantal Views: Een analyse van het aantal views ( $N$ ) toonde aan dat $N=4$ de optimale balans biedt tussen de rijkdom van de representatie en computationele efficiëntie, waarbij de prestaties verslechteren bij $N=8$ door redundante ruis.
- Loss Componenten: Gevoeligheidsanalyse bevestigde dat de scheidingsgewicht ( $\lambda_s$ ) effectief de inter-cluster afstand vergroot, terwijl het balansgewicht ( $\lambda_b$ ) de intra-cluster compactheid verbetert.
- Encoder Directionality: Een vergelijking tussen unidirectionele en bidirectionele Mamba-encoders toonde aan dat de unidirectionele (causale) configuratie superieur is, waarbij de bidirectionele variant leidde tot significante dalingen in ARI (-12,04%) en NMI (-11,57%), waarschijnlijk door temporele inconsistenties geïntroduceerd over gemaskeerde views.
- Schaalbaarheid: FLOPs-analyse bevestigde dat de Mamba-encoder lineair schaalt met de sequentielengte ( $O(T)$ ), terwijl een vergelijkbare Transformer-encoder een kwadratische groei vertoonde ( $O(T^2)$ ), wat de efficiëntie van de voorgestelde aanpak voor lange sequenties valideert.

Betekenis en Claims
Het artikel claimt dat FMMVCC een significante vooruitgang vormt in ongesuperviseerde tijdreeksclustering door effectief de lineaire-tijd efficiëntie van State Space Models te combineren met de robuustheid van multi-view contrastieve leerprocessen. De auteurs stellen dat hun aanpak erin slaagt om langetermijn-temporele afhankelijkheden te vangen terwijl het omgaat met de ruis en ontbrekende data die gebruikelijk zijn in real-world IoT-omgevingen. Door een fuzzy clustering-doelstelling te integreren, biedt het framework een mechanisme om om te gaan met ambigue temporele patronen waar hard clustering-methoden moeite mee kunnen hebben.

De auteurs concluderen dat hoewel het framework momenteel beperkt is tot univariate sequenties en een gebrek heeft aan directe interpreteerbaarheid van latente representaties, het een sterke baseline vormt voor efficiënte, schaalbare en robuuste tijdreeksclustering. Toekomstig werk wordt geïdentificeerd als het uitbreiden van het framework naar multivariate tijdreeksen om inter-variabele correlaties te vangen en het verbeteren van de verklaarbaarheid van de geleerde features.