🤖 machine learning

FMMVCC: Fuzzy Mamba-based Multi-View Contrastive Clustering for Univariate Time Series

Dieses Paper stellt FMMVCC vor, ein auf Mamba basierendes Deep-Clustering-Framework, das State-Space-Sequenzmodellierung mit Multi-View-selbstüberwachtem Lernen kombiniert, um effizient langfristige zeitliche Abhängigkeiten in univariaten Zeitreihen zu erfassen und dabei eine erstklassige Leistung über 15 Benchmark-Datensätze hinweg ohne die Notwendigkeit manueller Labels zu erzielen.

Ursprüngliche Autoren: Donato Cerciello, Leonardo Schiavo, Angel Panizo-LLedot, Javier Huertas Tato, David Camacho

Veröffentlicht 2026-07-09✓ Author reviewed ⓘ

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Donato Cerciello, Leonardo Schiavo, Angel Panizo-LLedot, Javier Huertas Tato, David Camacho

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Bibliothekar, der versucht, einen riesigen, chaotischen Raum voller tausender verschiedener Audioaufnahmen zu organisieren. Einige sind Lieder, einige sind Vogelstimmen und manche sind einfach nur statisches Rauschen. Das Problem? Sie haben keine Etiketten. Sie wissen nicht, was die Aufnahmen sind, und Sie können keinen Menschen bitten, sie alle anzuhören und Beschreibungen aufzuschreiben. Das ist die Welt des Unüberwachten Zeitreihen-Clusterings (Unsupervised Time Series Clustering): Der Versuch, Daten basierend auf ihren Mustern zu gruppieren, ohne dass ein Lehrer einem die Antworten verrät.

Das Paper stellt ein neues Werkzeug namens FMMVCC vor, um dieses Problem zu lösen. So funktioniert es, erklärt durch einfache Analogien:

1. Das Problem mit alten Werkzeugen

Traditionelle Methoden zur Sortierung dieser „Aufnahmen“ sind so, als würde man versuchen, zwei Lieder zu vergleichen, indem man nur auf die ersten fünf Sekunden hört. Sie übersehen oft das große Ganze oder lassen sich von langen, komplexen Mustern verwirren. Neuere, leistungsstärkere Werkzeuge (wie Transformer) sind wie Supercomputer, die das ganze Lied hören können, aber sie sind so schwerfällig und langsam, dass sie Schwierigkeiten bekommen, wenn der Raum zu groß wird (zu viele Daten).

2. Die Geheimwaffe: „Mamba“

Die Autoren haben sich für eine neue Art von Motor namens Mamba entschieden. Denken Sie an Mamba als einen hocheffizienten, selektiven Bibliothekar.

Der alte Weg: Ein traditioneller Bibliothekar liest jedes einzelne Wort in jedem Buch, um ein Muster zu finden, was ewig dauert.
Der Mamba-Weg: Mamba ist intelligent. Es weiß genau, welche Wörter wichtig sind und welche nur Rauschen darstellen. Es kann eine riesige Bibliothek in linearer Zeit scannen (das heißt, wenn sich die Bibliothek verdoppelt, verdoppelt sich auch die Arbeit, sie explodiert nicht). Dies ermöglicht es ihm, sehr lange Sequenzen von Daten zu verarbeiten, ohne müde oder langsam zu werden.

3. Die Trainingsmethode: „Das Spiel mit der Augenbinde“

Wie lernt der Computer, diese Aufnahmen zu gruppieren, ohne Labels zu haben? Das Paper nutzt eine Technik namens Multi-View Contrastive Learning. Stellen Sie sich ein Spiel wie „Stille Post“ oder eine Detektiv-Übung vor:

Das Setup: Man nimmt eine Aufnahme (eine Zeitreihe).
Das Masking: Man erstellt mehrere „Ansichten“ (Views) davon. In einigen Ansichten überdeckt (maskiert) man zufällige Teile der Aufnahme mit statischem Rauschen. In anderen werden sie beschleunigt, verlangsamt oder es wird ein wenig Hintergrundrauschen hinzugefügt.
Das Ziel: Man zeigt diese verschiedenen, leicht fehlerhaften Versionen der KI. Die Aufgabe der KI ist es zu erkennen: „Hey, obwohl diese Version statisches Rauschen hat und jene beschleunigt ist, sind sie eigentlich dasselbe Lied!“
Das Ergebnis: Indem man die KI zwingt, die „Seele“ der Daten durch all diese verschiedenen, chaotischen Linsen zu sehen, lernt sie ein sehr starkes, robustes Verständnis dessen, was die Daten tatsächlich sind, und ignoriert dabei das Rauschen und die fehlenden Teile.

4. Der unscharfe Sortierhut

Soblich die KI die Daten verstanden hat, muss sie diese in Stapel (Cluster) sortieren.

Alte Methoden: Diese sind wie ein strenger Richter, der sagt: „Diese Aufnahme gehört nur zu Gruppe A.“ Aber was ist, wenn eine Aufnahme ein bisschen wie Gruppe A und ein bisschen wie Gruppe B klingt?
FMMVCC (Der Fuzzy-Ansatz): Dies nutzt „Fuzzy Clustering“. Denken Sie an einen Sortierhut, der sagt: „Diese Aufnahme ist zu 70 % Gruppe A und zu 30 % Gruppe B.“ Dies ist entscheidend, da reale Daten oft chaotisch und mehrdeutig sind. Es ermöglicht der KI, mit Unsicherheit umzugehen, anstatt eine starre, falsche Entscheidung zu erzwingen.

5. Die Ergebnisse: Der Gewinnerkreis

Die Autoren haben ihr neues System in 15 verschiedenen „Räumen“ (Datensätzen) getestet, die verschiedene Arten von Daten enthalten, von Herzschlägen bis hin zu Aktienkursen.

Die Bestenliste: Von 60 verschiedenen Wegen, den Erfolg zu messen, belegte FMMVCC 29 Mal den ersten Platz und hatte die beste durchschnittliche Platzierung über das gesamte Spektrum hinweg.
Warum es gewonnen hat: Es war besser darin, die wahre Struktur der Gruppen zu finden (nicht nur basierend auf oberflächlichen Ähnlichkeiten zu raten) und war viel stabiler als andere Methoden.
Effizienz: Sie haben auch bewiesen, dass ihr „Mamba“-Bibliothekar viel schneller ist und weniger Speicher benötigt als die „Transformer“-Supercomputer, insbesondere wenn die Daten sehr lang werden.

Zusammenfassung

Kurz gesagt ist FMMVCC ein intelligentes, effizientes System, das lernt, komplexe, chaotische Datenströme zu sortieren, indem es:

Einen schnellen, selektiven Motor (Mamba) verwendet, um lange Muster zu lesen.
Sich selbst trainiert, indem es dieselben Daten durch viele verschiedene „kaputte“ Linsen betrachtet (Multi-View Masking), um zu lernen, was wirklich wichtig ist.
Eine flexible Sortierungsmethode (Fuzzy Clustering) nutzt, die zugibt, wenn Daten mehrdeutig sind, anstatt eine starre Wahl zu erzwingen.

Das Paper behauptet, dass dies es zum aktuellen Champion für das Organisieren unbeschrifteter Zeitreihendaten macht, wobei es sowohl traditionelle Methoden als auch neuere, schwerfälligere Deep-Learning-Modelle übertrifft.

Technische Zusammenfassung: FMMVCC – Fuzzy Mamba-basiertes Multi-View-Kontrastives Clustering für univariate Zeitreihen

Problemstellung
Die Proliferation von IoT-Geräten und Sensornetzwerken hat enorme Mengen an univariaten Zeitreihendaten in Bereichen wie dem Gesundheitswesen, industriellen Systemen und Smart Cities generiert. Die Beschaffung annotierter Daten ist in diesen Umgebungen jedoch oft kostspielig oder unmöglich, was unüberwachte Lernansätze erforderlich macht. Während das Clustering von Zeitreihen entscheidend für die Organisation von Daten in aussagekräftige Gruppen ist, stehen bestehende Deep-Clustering-Methoden vor erheblichen Einschränkungen. Traditionelle Methoden (z. B. K-Means mit DTW) haben Schwierigkeiten mit komplexen, hochdimensionalen zeitlichen Dynamiken. Deep-Learning-Ansätze, insbesondere solche, die auf Transformern basieren, leiden oft unter einer quadratischen Komplexität im Verhältnis zur Sequenzlänge, was sie für großflächige oder lange Sequenzen ineffizient macht. Darüber hinaus versäumen es viele aktuelle Methoden, fehlende Daten robust zu handhaben oder langfristige Abhängigkeiten effizient zu erfassen, ohne hohe Rechenkosten zu verursachen.

Methodik
Das Paper schlägt FMMVCC (Fuzzy Mamba-based Multi-View Contrastive Clustering) vor, ein Deep-Clustering-Framework, das diese Herausforderungen durch drei Kernkomponenten adressiert:

Mamba-basierte Repräsentationslernung:
Das Framework nutzt Mamba-Encoder, die ein selektives Zustandsraummodell (SSM) verwenden. Im Gegensatz zu rekurrenten Netzwerken oder Transformern verarbeitet Mamba Sequenzen mit linearer Zeitkomplexität ( $O(T)$ ) und behält gleichzeitig die Fähigkeit bei, langfristige zeitliche Abhängigkeiten zu modellieren. Diese Architektur ermöglicht die effiziente Verarbeitung langer Zeitreihen ohne die Rechenengpässe, die mit Attention-Mechanismen verbunden sind.
Multi-View Masked Representation Learning:
Um die Robustheit gegenüber Rauschen und fehlenden Sensordaten zu erhöhen, generiert die Methode mehrere Ansichten (Views) jeder Zeitreihe durch stochastische temporale Augmentierungen (Jittering, Skalierung, Permutation) und temporales Maskieren. Die Maskierungsstrategie simuliert realistische Ausfallmuster durch die Kombination von strukturierten (zusammenhängenden Segmenten) und unstrukturierten (verstreuten Punkten) Ausfällen. Diese Ansichten werden unabhängig durch dedizierte Encoder verarbeitet.
Kontrastive und Rekonstruktions-Zielsetzungen:
Die Pretraining-Phase verwendet eine Multi-Task-Zielsetzung, um diskriminative Repräsentationen zu erlernen:
- Intra-View-Rekonstruktion: Decoder rekonstruieren den ursprünglichen Input aus der latenten Repräsentation der jeweiligen Ansicht.
- Cross-View-Rekonstruktion: Latente Repräsentationen einer Ansicht werden verwendet, um die latenten Repräsentationen anderer Ansichten zu rekonstruieren, um Konsistenz zu erzwingen.
- Kontrastiver Verlust: Eine Instanz-basierte kontrastive Zielsetzung maximiert die Ähnlichkeit zwischen den Repräsentationen verschiedener Ansichten desselben Samples, während sie diese gegen andere Samples im Batch kontrastiert. Eine Mixup-basierte Strategie wird verwendet, um schwierigere negative Samples zu generieren.
Fuzzy-Clustering-orientiertes Finetuning:
Nach dem Pretraining durchläuft das Modell eine Finetuning-Phase, um den latenten Raum zu strukturieren. Ein temporaler Pooling-Mechanismus aggregiert Sequenzrepräsentationen in Vektoren fester Länge. Eine Fuzzy-Clustering-Zielsetzung wird dann unter Verwendung einer Cosinus-Ähnlichkeits-basierten Softmax-Funktion über lernbarer Cluster-Prototypen angewendet. Diese Zielsetzung umfasst drei Terme:
- Entropie: Fördert sichere Cluster-Zuweisungen.
- Balance: Verhindert Cluster-Kollaps, indem eine gleichmäßige Cluster-Ausnutzung sichergestellt wird.
- Separation: Fördert die Diversität unter den Cluster-Prototypen, um die Inter-Cluster-Distanz zu verbessern.

Wesentliche Beiträge
Die Autoren identifizieren drei primäre Beiträge:

Mamba-basierte Repräsentationslernung: Die Einführung eines Deep-Clustering-Frameworks, das Mamba-Encoder nutzt, um langfristige Abhängigkeiten mit linearer Rechenkomplexität zu modellieren, was eine effiziente Alternative zu Transformer- und RNN-basierten Modellen für großskalige sequentielle Daten bietet.
Multi-View Masked Representation Learning: Eine Strategie zur Generierung diverser Ansichten durch stochastische Augmentierungen und zufälliges temporales Maskieren. Dies ermöglicht dem Modell, robuste Repräsentationen zu lernen, die invariant gegenüber temporalen Perturbationen und fehlenden Daten sind, wodurch Unsicherheiten adressiert werden, die von deterministischen Erweiterungsmethoden oft ignoriert werden.
Cluster-orientierte Repräsentationslernung: Die Integration einer Fuzzy-Clustering-Zielsetzung in den Prozess des Repräsentationslernens. Dieser Ansatz erzeugt weiche Cluster-Zuweisungen, was es dem Modell ermöglicht, ambivalente temporale Muster zu handhaben und die Cluster-Separabilität im latenten Raum zu verbessern.

Experimentelle Ergebnisse
Das Framework wurde auf 15 univariaten Zeitreihen-Datensätzen aus dem UCR Time Series Archive evaluiert. Die Leistung wurde mit fünf Baselines verglichen: TimeSeriesKMeans-DTW, HDBSCAN, FCACC, PG-Mamba und EMTC.

Leistung: FMMVCC erreichte die beste Gesamtleistung in 29 von insgesamt 60 Metrik-Evaluierungen (über F1, NMI, ARI und RI Metriken hinweg) und erzielte den höchsten durchschnittlichen Rang (1.85) über alle getesteten Szenarien.
Robustheit: Das Modell zeigte eine überlegene Stabilität im Vergleich zu anderen Deep-Learning-Baselines wie FCACC, welches eine höhere Variabilität in der Leistung aufwies.
Ablationsstudien:
- Anzahl der Ansichten: Eine Analyse der Anzahl der Ansichten ( $N$ ) ergab, dass $N=4$ den optimalen Kompromiss zwischen der Reichhaltigkeit der Repräsentation und der Recheneffizienz bietet, wobei die Leistung bei $N=8$ aufgrund redundanter Rauschanteile abnimmt.
- Verlustkomponenten: Eine Sensitivitätsanalyse bestätigte, dass das Separationsgewicht ( $\lambda_s$ ) die Inter-Cluster-Distanz effektiv erhöht, während das Balancegewicht ( $\lambda_b$ ) die Intra-Cluster-Kompaktheit verbessert.
- Direktionalität des Encoders: Ein Vergleich zwischen unidirektionalen und bidirektionalen Mamba-Encodern zeigte, dass die unidi-direktionale (kausale) Konfiguration überlegen ist, während die bidirektionale Variante zu signifikanten Einbrüchen bei ARI (-12,04 %) und NMI (-11,57 %) führte, was wahrscheinlich auf temporale Inkonsistenzen zurückzuführen ist, die durch die maskierten Ansichten eingeführt wurden.
- Skalierbarkeit: Eine FLOPs-Analyse bestätigte, dass der Mamba-Encoder linear mit der Sequenzlänge skaliert ( $O(T)$ ), während ein vergleichbarer Transformer-Encoder ein quadratisches Wachstum ( $O(T^2)$ ) aufwies, was die Effizienz des vorgeschlagenen Ansatzes für lange Sequenzen validiert.

Bedeutung und Behauptungen
Das Paper behauptet, dass FMMVCC einen bedeutenden Fortschritt im unüberwachten Zeitreihen-Clustering darstellt, indem es die lineare Zeitkomplexität von State Space Models effektiv mit der Robustheit von Multi-View-Kontrastivem Lernen kombiniert. Die Autoren behaupten, dass ihr Ansatz erfolgreich langfristige temporale Abhängigkeiten erfasst und gleichzeitig das Rauschen und die fehlenden Daten handhabt, die in realen IoT-Umgebungen üblich sind. Durch die Integration einer Fuzzy-Clustering-Zielsetzung bietet das Framework einen Mechanismus, um mit ambivalenten temporalen Mustern umzugehen, bei denen Hard-Clustering-Methoden Schwierigkeiten haben könnten.

Die Autoren kommen zu dem Schluss, dass das Framework derzeit auf univariate Sequenzen beschränkt ist und es an einer direkten Interpretierbarkeit der latenten Repräsentationen mangelt, aber es einen starken Baseline-Standard für effizientes, skalierbares und robustes Zeitreihen-Clustering etabliert. Zukünftige Arbeiten werden als Erweiterung des Frameworks auf multivariate Zeitreihen zur Erfassung von Inter-Variablen-Korrelationen sowie die Verbesserung der Erklärbarkeit der gelernten Merkmale identifiziert.