🤖 machine learning

FMMVCC: Fuzzy Mamba-based Multi-View Contrastive Clustering for Univariate Time Series

Cet article introduit FMMVCC, un cadre de clustering profond basé sur Mamba qui combine la modélisation de séquences par espace d'état avec l'apprentissage auto-supervisé multi-vues pour capturer efficacement les dépendances temporelles à longue portée dans les séries temporelles univariées, atteignant des performances de pointe sur 15 ensembles de données de référence sans nécessiter d'étiquettes manuelles.

Auteurs originaux : Donato Cerciello, Leonardo Schiavo, Angel Panizo-LLedot, Javier Huertas Tato, David Camacho

Publié 2026-07-09✓ Author reviewed ⓘ

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Donato Cerciello, Leonardo Schiavo, Angel Panizo-LLedot, Javier Huertas Tato, David Camacho

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un bibliothécaire essayant d'organiser une pièce immense et chaotique remplie de milliers d'enregistrements audio différents. Certains sont des chansons, d'autres des cris d'oiseaux, et certains ne sont que du bruit statique. Le problème ? Vous n'avez aucune étiquette. Vous ne savez pas ce que sont ces enregistrements et vous ne pouvez pas demander à un humain de les écouter tous pour en écrire des descriptions. C'est le monde du Clustering de Séries Temporelles Non Supervisé : essayer de regrouper des données basées sur leurs motifs sans qu'un professeur ne vous donne les réponses.

Le papier présente un nouvel outil appelé FMMVCC pour résoudre ce problème. Voici comment il fonctionne, expliqué à travers des analogies simples :

1. Le problème des anciens outils

Les méthodes traditionnelles pour trier ces « enregistrements » sont comme essayer de comparer deux chansons en écoutant seulement les cinq premières secondes. Elles passent souvent à côté de l'image globale ou se laissent confondre par des motifs longs et complexes. Les outils plus récents et plus puissants (comme les Transformers) sont comme des super-ordinateurs capables d'écouter toute la chanson, mais ils sont si lourds et lents qu'ils ont du mal lorsque la pièce devient trop grande (trop de données).

2. L'arme secrète : « Mamba »

Les auteurs ont choisi un nouveau type de moteur appelé Mamba. Considérez Mamba comme un bibliothécaire hautement efficace et sélectif.

L'ancienne méthode : Un bibliothécaire traditionnel lit chaque mot de chaque livre pour trouver un motif, ce qui prend un temps infini.
La méthode Mamba : Mamba est intelligent. Il sait exactement quels mots comptent et lesquels ne sont que du bruit. Il peut scanner une bibliothèque massive en temps linéaire (ce qui signifie que si la bibliothèque double de taille, le travail ne fait que doubler, il n'explose pas). Cela lui permet de gérer de très longues séquences de données sans se fatiguer ou ralentir.

3. La méthode d'entraînement : « Le jeu de l'aveugle »

Comment l'ordinateur apprend-il à regrouper ces enregistrements sans étiquettes ? Le papier utilise une technique de Apprentissage Contrastif Multi-Vues. Imaginez un jeu de « Téléphone arabe » ou un exercice d'entraînement pour détective :

La configuration : Vous prenez un enregistrement (une série temporelle).
Le masquage : Vous créez plusieurs « vues » de celui-ci. Dans certaines vues, vous couvrez (masquez) des parties aléatoires de l'enregistrement avec du statique. Dans d'autres, vous l'accélérez, le ralentissez ou ajoutez un peu de bruit de fond.
Le but : Vous montrez ces différentes versions, légèrement dégradées, à l'IA. Le rôle de l'IA est de réaliser : « Hé, même si cette version a du statique et que celle-ci est accélérée, il s'agit en fait de la même chanson ! »
Le résultat : En forçant l'IA à voir « l'âme » des données à travers toutes ces lentilles différentes et désordonnées, elle acquiert une compréhension très forte et robuste de ce que sont réellement les données, en ignorant le bruit et les éléments manquants.

4. Le chapeau de tri flou

Une fois que l'IA comprend les données, elle doit les trier dans des piles (clusters).

Les anciennes méthodes : Ce sont comme un juge strict qui dit : « Cet enregistrement appartient uniquement au Groupe A. » Mais qu'en est-il si un enregistrement ressemble un peu au Groupe A et un peu au Groupe B ?
FMMVCC (L'approche floue) : Cela utilise le « Clustering Flou ». Pensez à un chapeau de tri qui dirait : « Cet enregistrement appartient à 70 % au Groupe A et à 30 % au Groupe B. » Cela est crucial car les données du monde réel sont souvent désordonnées et ambiguës. Cela permet à l'IA de gérer l'incertitude avec élégance plutôt que de forcer une réponse rigide et erronée.

5. Les résultats : Le cercle des vainqueurs

Les auteurs ont testé ce nouveau système sur 15 « pièces » (jeux de données) contenant divers types de données, allant des battements de cœur aux cours de la bourse.

Le tableau des scores : Sur 60 façons différentes de mesurer le succès, FMMVCC arrive en première position 29 fois et possède le meilleur rang moyen sur l'ensemble des tests.
Pourquoi il a gagné : Il était meilleur pour trouver la véritable structure des groupes (pas seulement en devinant selon des similitudes de surface) et était beaucoup plus stable que les autres méthodes.
Efficacité : Ils ont également prouvé que leur bibliothécaire « Mamba » est beaucoup plus rapide et utilise moins de mémoire que les super-ordinateurs « Transformer », surtout lorsque les données deviennent très longues.

Résumé

En bref, FMMVCC est un système intelligent et efficace qui apprend à trier des flux de données complexes et désordonnés en :

Utilisant un moteur rapide et sélectif (Mamba) pour lire de longs motifs.
S'entraînant lui-même en regardant les mêmes données à travers de nombreuses lentilles « dégradées » (Masquage Multi-Vues) pour comprendre ce qui compte vraiment.
Utilisant une méthode de tri flexible (Clustering Flou) qui admet quand les données sont ambiguës, plutôt que de forcer un choix rigide.

Le papier affirme que cela en fait le champion actuel pour organiser les données de séries temporelles non étiquetées, surpassant à la fois les anciennes méthodes et les nouveaux modèles de deep learning plus lourds.

Résumé Technique : FMMVCC – Regroupement Contrastif Multi-Vue basé sur Mamba pour les Séries Temporelles Univariées

Énoncé du Problème
La prolifération des dispositifs IoT et des réseaux de capteurs a généré de vastes volumes de données de séries temporelles univariées dans divers domaines tels que la santé, les systèmes industriels et les villes intelligentes. Cependant, l'obtention de données étiquetées dans ces environnements est souvent coûteuse ou irréalisable, nécessissant des approches d'apprentissage non supervisé. Bien que le regroupement (clustering) de séries temporelles soit crucial pour organiser les données en groupes significatifs, les méthodes existantes de regroupement profond font face à des limitations importantes. Les méthodes traditionnelles (par exemple, K-means avec DTW) peinent à gérer la dynamique temporelle complexe et de haute dimension. Les approches d'apprentissage profond, particulièrement celles basées sur les Transformers, souffrent souvent d'une complexité computationnelle quadratique par rapport à la longueur de la séquence, ce qui les rend inefficaces pour les données à grande échelle ou à séquences longues. De plus, de nombreuses méthodes actuelles ne parviennent pas à gérer de manière robuste les données manquantes ou à capturer efficacement les dépendances à longue portée sans engendrer des coûts de calcul élevés.

Méthodologie
Le document propose FMMVCC (Fuzzy Mamba-based Multi-View Contrastive Clustering), un cadre de regroupement profond conçu pour répondre à ces défis grâce à trois composantes centrales :

Apprentissage de Représentation basé sur Mamba :
Le cadre utilise des encodeurs Mamba, qui emploient un modèle d'espace d'état sélectif (SSM). Contrairement aux réseaux récurrents ou aux Transformers, Mamba traite les séquences avec une complexité temporelle linéaire ( $O(T)$ ) tout en conservant la capacité de modéliser des dépendances temporelles à longue portée. Cette architecture permet un traitement efficace de séries temporelles longues sans les goulots d'étranglement computationnels associés aux mécanismes d'attention.
Apprentissage de Représentation Masqué Multi-Vue :
Pour renforcer la robustesse face au bruit et aux données de capteurs manquantes, la méthode génère plusieurs vues de chaque série temporelle via des augmentations temporelles stochastiques (jittering, mise à l'échelle, permutation) et un masquage temporel. La stratégie de masquage simule des schémas de données manquantes réalistes en combinant des pertes structurées (segments contigus) et non structurées (points dispersés). Ces vues sont traitées indépendamment par des encodeurs dédiés.
Objectifs de Contraste et de Reconstruction :
La phase de pré-entraînement emploie un objectif multi-tâche pour apprendre des représentations discriminantes :
- Reconstruction Intra-vue : Les décodeurs reconstruisent l'entrée originale à partir de la représentation latente de chaque vue.
- Reconstruction Cross-vue : Les représentations latentes d'une vue sont utilisées pour reconstruire les représentations latentes d'autres vues afin d'imposer une cohérence.
- Perte Contrastive : Un objectif contrastif au niveau de l'instance maximise la similitude entre les représentations de différentes vues d'un même échantillon tout en les contrastant avec d'autres échantillons du lot (batch). Une stratégie basée sur le "mixup" est utilisée pour générer des exemples négatifs plus difficiles.
Finetuning Orienté vers le Regroupement Flou (Fuzzy Clustering) :
Après le pré-entraînement, le modèle subit une étape de finetuning pour structurer l'espace latent. Un mécanisme de pooling temporel agrège les représentations de séquences en vecteurs de longueur fixe. Un objectif de regroupement flou est ensuite appliqué en utilisant une softmax basée sur la similitude cosinus sur des prototypes de clusters apprenables. Cet objectif comprend trois termes :
- Entropie : Encourage des assignations de clusters plus confiantes.
- Équilibre (Balance) : Atténue l'effondrement des clusters en assurant une utilisation uniforme des clusters.
- Séparation : Favorise la diversité entre les prototypes de clusters pour améliorer la distance inter-clusters.

Contributions Clés
Les auteurs identifient trois contributions principales :

Apprentissage de Représentation basé sur Mamba : L'introduction d'un cadre de regroupement profond qui exploite les encodeurs Mamba pour modéliser les dépendances à longue portée avec une complexité computationnelle linéaire, offrant une alternative efficace aux modèles basés sur les Transformers et les RNN pour les données séquentielles à grande échelle.
Apprentissage de Représentation Masqué Multi-Vue : Une stratégie générant des vues diverses via des augmentations stochastiques et un masquage temporel aléatoire. Cela permet au modèle d'apprendre des représentations robustes, invariantes aux perturbations temporelles et aux données manquantes, répondant ainsi à l'incertitude souvent ignorée par les méthodes d'augmentation déterministes.
Apprentissage de Représentation Orienté vers le Regroupement : L'intégration d'un objectif de regroupement flou dans le processus d'apprentissage de la représentation. Cette approche produit des assignations de clusters "douces" (soft), permettant au modèle de gérer les motifs temporels ambigus et d'améliorer la séparabilité des clusters dans l'espace latent.

Résultats Expérimentaux
Le cadre a été évalué sur 15 jeux de données de séries temporelles univariées de l'archive UCR Time Series. Ses performances ont été comparées à cinq bases de référence : TimeSeriesKMeans-DTW, HDBSCAN, FCACC, PG-Mamba et EMTC.

Performance : FMMVCC a obtenu la meilleure performance globale dans 29 des 60 évaluations de métriques totales (à travers les métriques F1, NMI, ARI et RI) et a obtenu le rang moyen le plus élevé (1,85) sur tous les scénarios testés.
Robustesse : Le modèle a démontré une stabilité supérieure par rapport aux autres bases de référence de deep learning comme FCACC, qui présentait une plus grande variabilité de performance.
Études d'Ablation :
- Nombre de Vues : Une analyse du nombre de vues ( $N$ ) a révélé que $N=4$ offre le meilleur compromis entre richesse de la représentation et efficacité computationnelle, la performance se dégradant à $N=8$ en raison du bruit redondant.
- Composantes de Perte : L'analyse de sensibilité a confirmé que le poids de séparation ( $\lambda_s$ ) améliore efficacement la distance inter-clusters, tandis que le poids d'équilibre ( $\lambda_b$ ) améliore la compacité intra-cluster.
- Directionnalité de l'Encodeur : Une comparaison entre les encodeurs Mamba unidirectionnels et bidirectionnels a montré que la configuration unidirectionnelle (causale) est supérieure, la variante bidirectionnelle causant des chutes significatives de l'ARI (-12,04 %) et du NMI (-11,57 %), probablement dues à des incohérences temporelles introduites à travers les vues masquées.
- Scalabilité : L'analyse des FLOPs a confirmé que l'encodeur Mamba évolue linéairement avec la longueur de la séquence ( $O(T)$ ), alors qu'un encodeur Transformer comparable présente une croissance quadratique ( $O(T^2)$ ), validant l'efficacité de l'approche proposée pour les séquences longues.

Signification et Revendications
L'article affirme que FMMVCC représente une avancée significative dans le regroupement non supervisé de séries temporelles en combinant efficacement l'efficacité temporelle linéaire des modèles d'espace d'état avec la robustesse de l'apprentissage contrastif multi-vue. Les auteurs soutiennent que leur approche parvient à capturer les dépendances temporelles à longue portée tout en gérant le bruit et les données manquantes courants dans les environnements IoT réels. En intégrant un objectif de regroupement flou, le cadre fournit un mécanisme pour traiter les motifs temporels ambigus que les méthodes de regroupement strict (hard clustering) pourraient avoir du mal à gérer.

Les auteurs concluent que, bien que le cadre soit actuellement limité aux séquences univariées et manque d'interprétabilité directe des représentations latentes, il établit une base solide pour un regroupement de séries temporelles efficace, scalable et robuste. Les travaux futurs identifiés consistent à étendre le cadre aux séries temporelles multivariées pour capturer les corrélations entre variables et à améliorer l'explicabilité des caractéristiques apprises.