📊 statistics

funOCLUST: Clustering Functional Data with Outliers

Le papier propose funOCLUST, une extension robuste de l'algorithme OCLUST conçue pour regrouper des données fonctionnelles et identifier efficacement les valeurs aberrantes en abordant les défis de la dimensionnalité infinie et de la sensibilité aux anomalies.

Auteurs originaux : Katharine M. Clark, Paul D. McNicholas

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Katharine M. Clark, Paul D. McNicholas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une boîte géante de spaghetti. Mais ce ne sont pas des nouilles ordinaires ; ce sont des lignes sinueuses et ondulantes représentant des choses comme les changements de température au cours d'une journée, le flux de trafic ou la croissance d'une plante. Dans le monde de la science des données, on appelle cela des données fonctionnelles. Le problème ? Ces lignes sont infiniment dimensionnelles (elles possèdent une infinité de points) et elles sont désordonnées. Parfois, une nouille présente une bosse bizarre, ou tout un lot est déréglé par une tempête soudaine, créant des « valeurs aberrantes » (outliers) qui gâchent la fête.

Entrez en scène funOCLUST, une nouvelle méthode proposée par Katharine M. Clark et Paul D. McNicholas. Voyez funOCLUST comme un chef super intelligent, bien qu'un peu grincheux, qui veut trier ces spaghettis en tas parfaits selon leur forme, mais qui doit d'abord expulser les morceaux brûlés, cassés ou étranges qui ne correspondent pas.

La grande idée : Transformer les sinuosités en vecteurs

On ne peut pas simplement jeter de l'infini spaghetti dans une machine de tri standard ; c'est trop complexe. Les auteurs suggèrent une astuce ingénieuse : aplatir les courbes.

Ils utilisent ce qu'on appelle une base de B-splines cubiques. Imaginez que vous preniez chaque ligne sinueuse et que vous la décriviez non pas par ses points infinis, mais par une courte liste de nombres (des coefficients) qui vous indiquent comment construire cette ligne à l'aide d'un ensemble spécifique de blocs de construction. C'est comme transformer une peinture complexe en une simple fiche de recette. Une fois que les courbes sont transformées en ces courtes listes de nombres (des vecteurs), le problème devient beaucoup plus facile à gérer.

La chasse aux « valeurs aberrantes » : Le jeu de la log-vraisemblance

C'est ici que la magie opère. Les auteurs prennent une méthode existante appelée OCLUST (conçue pour les données classiques) et l'adaptent à ces nouvelles « fiches de recettes ».

L'algorithme joue au jeu du « Et si on enlevait celui-là ? » :

Il examine l'ensemble du groupe de courbes.
Il demande : « Si je mets cette courbe spécifique à la porte, est-ce que le groupe restant ressemble davantage à un groupe parfait et ordonné ? »
Il mesure cela à l'aide de ce qu'on appelle la log-vraisemblance de sous-ensemble. Voyez cela comme un « score de rangement ». Si le retrait d'une courbe fait bondir le score de manière significative, cette courbe était probablement la perturbatrice.
L'algorithme vérifie si les « perturbateurs » suivent un modèle mathématique spécifique (une distribution bêta décalée et mise à l'échelle). Si les courbes bizarres correspondent à ce modèle, elles sont officiellement expulsées en tant que valeurs aberrantes.

Les auteurs ont prouvé (mathématiquement) que si les courbes sont générées par un modèle de mélange gaussien standard, le « score de rangement » change de manière prévisible lorsqu'on retire une courbe normale. Si le score change trop radicalement, la courbe est une valeur aberrante.

Ce que le papier dit (et ne dit pas)

Les auteurs ont testé les compétences de leur chef en utilisant 100 jeux de données simulés. Ils ont créé 8 scénarios différents, en variant les plaisirs :

Clusters : Parfois il y avait 2 groupes, parfois 5.
Complexité : Certaines courbes étaient simples (comme une ligne droite), d'autres étaient sauvages (avec des bosses et des ondulations).
Rareté (Sparsity) : Parfois les données étaient denses (beaucoup de points), parfois éparses (beaucoup de points manquants).
Valeurs aberrantes : Ils ont créé deux types de perturbateurs. Certains étaient de type « décalage-échelle » (toute la courbe a grandi ou s'est déplacée), et d'autres étaient de type « queue épaisse » (erreurs aléatoires et sauvages).

Les résultats :

Erreurs à queue épaisse (Heavy-Tail) : Lorsque les données présentaient des erreurs aléatoires et sauvages (queues épaisses), funOCLUST a été le grand vainqueur, battant des concurrents comme funHDDC, T-funHDDC et tkmeans.
Erreurs de décalage-échelle (Shift-Scale) : Lorsque les valeurs aberrantes étaient simplement des versions décalées ou mises à l'échelle des courbes normales, tkmeans (une méthode k-moyennes tronquée) a en réalité été légèrement plus performant, bien que funOCLUST ait tout de même tenu son rang.
Test réel 1 (Trafic piétonnier) : Ils ont testé cela sur le trafic piétonnier horaire à Melbourne. L'algorithme a réussi à séparer les jours ouvrables des week-ends/jours fériés. Il a correctement identifié 22 jours « aberrants », incluant le Nouvel An, Noël et le Nouvel An chinois. C'étaient des jours où le schéma de trafic ne correspondait pas au modèle habituel des jours de semaine ou des week-ends.
Test réel 2 (Données NOx) : Ils ont testé la méthode sur des données de pollution atmosphérique (niveaux de NOx) à Barcelone. La méthode a atteint un taux de classification correcte (CCR) compris entre 0,51 et 0,86, selon les paramètres du modèle. Le meilleur réglage (structure de covariance EEE) a atteint 0,86, ce qui est de l'ordre des meilleures méthodes.

Ce que le papier écarte

Les auteurs sont prudents quant à ce que leur méthode n'est pas.

Ils précisent explicitement que, bien que certaines méthodes tentent de regrouper les données dans des « sous-espaces » (en réduisant les dimensions d'une certaine manière), funOCLUST conserve l'intégralité du domaine fonctionnel. Ils soutiennent que, parfois, on a besoin de l'image complète, pas seulement d'une tranche.
Ils notent que leur méthode repose sur l'hypothèse que les « fiches de recettes » (coefficients) proviennent d'une distribution normale multivariée. Si les données sont radicalement asymétriques ou ne correspondent pas à cela, la méthode pourrait avoir des difficultés (bien qu'ils suggèrent qu'elle est assez robuste pour de nombreux cas réels).
Ils ne prétendent pas que cela constitue un « problème résolu » pour toutes les données fonctionnelles. En fait, dans leurs simulations, lorsque les données présentaient 5 clusters avec une grande complexité et des données éparses, le taux de faux négatifs (manquer une valeur aberrante) est monté à 51 %. Ils admettent que la détection de valeurs aberrantes dans ces conditions spécifiques et désordonnées est intrinsèquement difficile.

Le verdict

L'article suggère que funOCLUST est un nouvel outil robuste. Ce n'est pas une baguette magique qui répare tout instantanément, mais c'est un candidat très sérieux, surtout quand les données sont bruitées ou présentent des erreurs à queue épaisse.

Les auteurs concluent que c'est la première extension d'OCLUST aux données fonctionnelles. Ils voient cela comme une étape. Ils suggèrent qu'à l'avenir, cela pourrait être étendu pour gérer des données asymétriques ou même pour que la « recette » (la décomposition de base) soit estimée à l'intérieur de l'algorithme de clustering, plutôt que comme une simple première étape.

Ainsi, si vous avez une boîte de spaghettis désordonnés et sinueux et que vous devez les trier tout en expulsant les morceaux brûlés, funOCLUST est un chef que l'on peut engager — ne vous attendez simplement pas à ce qu'il fonctionne parfaitement si les spaghettis sont trop bizarres et que la cuisine est trop sombre !

Résumé Technique : funOCLUST – Clustering de données fonctionnelles avec valeurs aberrantes

Énoncé du problème
L'analyse de données fonctionnelles (FDA) fait face à des défis uniques dus à la nature infiniment dimensionnelle des fonctions et à leur sensibilité aux valeurs aberrantes (outliers). Bien qu'il existe des méthodes de clustering basées sur des modèles pour les données fonctionnelles, elles peinent souvent face aux observations bruitées. Les alternatives robustes existantes, telles que celles utilisant des distributions à queue lourde ou des approches d'élagage (trimming), reposent fréquemment sur des techniques de réduction de dimension (par exemple, le clustering de sous-espaces) qui peuvent perdre des informations provenant du domaine fonctionnel complet. De plus, il existe une rareté d'algorithmes d'élagage spécifiquement conçus pour le clustering de données fonctionnelles basé sur des modèles, capables d'identifier simultanément les valeurs aberrantes et de regrouper des courbes similaires sans sacrifier l'intégrité de la représentation fonctionnelle.

Méthodologie
Le papier propose funOCLUST, une extension de l'algorithme OCLUST (Clark et McNicholas, 2024) adaptée aux données fonctionnelles. La méthodologie opère en deux étapes principales :

Décomposition fonctionnelle (Filtrage) :
Au lieu de traiter les observations discrétisées comme des vecteurs de haute dimension, la méthode décompose les données fonctionnelles brutes $Y_i(t)$ en une combinaison linéaire de fonctions de base B-spline cubiques :
$Y_i(t) = \sum_{k=1}^{K+4} \beta_{i,k} B_k(t) + \epsilon_i$
Cela transforme les fonctions de dimension infinie en vecteurs de coefficients de dimension $(K+4)$ , notés $\mathbf{b}_i$ . Les auteurs supposent que ces coefficients suivent un modèle de mélange gaussien fini.
Élagage et Clustering itératifs :
Le cœur de l'algorithme repose sur la distribution des log-vraisemblances de sous-ensembles.
- Base théorique : Le papier démontre que si les coefficients ajustés appartiennent à un cluster $h$ spécifique, la différence de log-vraisemblance entre l'ensemble des données et un sous-ensemble dont une observation a été retirée ( $D_j = l_{X \setminus b_j} - l_X$ ) suit une distribution bêta décalée et mise à l'échelle.
- Définition de la valeur aberrante : Un candidat à la valeur aberrante est défini comme le vecteur de coefficients dont le retrait produit l'augmentation la plus importante de la log-vraisemblance des données restantes.
- Processus algorithmique : L'algorithme identifie et retire de manière itérative le vecteur de coefficients le plus aberrant. Après chaque retrait, la distribution des log-vraisemblances des sous-ensembles restants est comparée à la distribution bêta théorique en utilisant la divergence de Kullback-Leibler (KL). Le processus se termine lorsque la divergence KL est minimisée, indiquant que les données restantes se conforment aux hypothèses du modèle.

Principales contributions

Extension de OCLUST : Ce travail représente la première extension du cadre OCLUST au domaine des données fonctionnelles.
Dérivation de la distribution : Le papier fournit une dérivation mathématique (Lemme 1) établissant que les différences de log-vraisemblance des coefficients B-spline suivent une distribution bêta décalée et mise à l'échelle sous l'hypothèse d'un modèle de mélange gaussien.
Clustering et Élagage simultanés : Contra'irement aux approches en deux étapes qui filtrent puis regroupent, funOCLUST intègre la détection des valeurs aberrantes et le clustering au sein d'un paradigme basé sur des modèles, conservant l'information de la représentation fonctionnelle complète via la base B-spline.
Gestion des types de valeurs aberrantes : La méthode est capable de détecter divers types de valeurs aberrantes fonctionnelles (isolées, persistantes, de décalage, d'amplitude et de forme) en analysant les propriétés multivariées des coefficients de spline.

Résultats
Les performances de funOCLUST ont été évaluées par des études de simulation et des applications réelles :

Étude de simulation :
- L'algorithme a été testé contre cinq concurrents (funHDDC, T-funHDDC, tkmeans, mocca et fOutl) à travers huit scénarios variant selon le nombre de clusters, la complexité fonctionnelle, la parcimonie de l'échantillonnage et le type de valeur aberrante (queue lourde vs décalage-échelle).
- Précision du clustering : funOCLUST a obtenu l'indice de Rand ajusté (ARI) moyen le plus élevé dans tous les scénarios. Il a excellé dans les scénarios impliquant des erreurs à queue lourde (scénarios 1, 4, 6, 7) et a démontré une performance robuste et cohérente dans les autres conditions.
- Identification des valeurs aberrantes : Dans les scénarios de décalage-échelle, funOCLUST a présenté les taux de faux négatifs les plus bas pour les données de complexité modérée, bien que les performances diminuent dans les scénarios de haute complexité, avec un échantillonnage parcimonieux et de nombreux clusters.
Applications réelles :
- Trafic piétonnier (Melbourne) : Appliqué aux données de trafic horaire, funOCLUST a identifié avec succès les jours fériés significatifs (ex: Nouvel An, Noël, Nouvel An chinois) comme des valeurs aberrantes. Après avoir retiré 22 valeurs aberrantes, l'algorithme a parfaitement classé les jours restants en jours ouvrables et non ouvrables, surpassant funHDDC, T-funHDDC et tkmeans.
- Référence NOx (Barcelone) : Appliqué aux données de pollution de l'air, funOClUST a atteint un taux de classification correcte (CCR) compris entre 0,51 et 0,86, selon la structure de covariance. Le meilleur modèle (structure EEE) a atteint un CCR de 0,86, se plaçant au même niveau que les méthodes existantes comme T-funHDDC et C-funHDDC.

Signification et affirmations
Le papier affirme que funOCLUST fournit une approche robuste et basée sur des modèles pour le clustering de données fonctionnelles, gérant efficacement les valeurs aberrantes sans nécessiter de réduction de dimension qui jetterait les informations fonctionnelles. Les auteurs déclarent que l'algorithme démontre une « forte performance en clustering et en identification de valeurs aberrantes » à travers divers ensembles de données simulées et réelles.

La signification de ce travail est présentée comme ouvrant la voie à de futures extensions, incluant des applications aux données fonctionnelles multivariées et asymétriques, ainsi que des développements potentiels où la décomposition fonctionnelle est estimée au sein de l'algorithme d'espérance-maximisation (EM) plutôt qu'en tant qu'étape de prétraitement. Les auteurs maintiennent un ton modeste, reconnaissant que bien que la méthode soit performante, des défis subsistent dans les scénarios combinant haute complexité, échantillonnage parcimonieux et informations limitées par cluster.

La grande idée : Transformer les sinuosités en vecteurs

La chasse aux « valeurs aberrantes » : Le jeu de la log-vraisemblance

Ce que le papier dit (et ne dit pas)

Ce que le papier écarte

Le verdict

Articles similaires