Unsupervised Learning Under a General Semiparametric Clusterwise Elliptical Distribution: Efficient Estimation, Optimal Clustering, and Consistent Cluster Selection

1. Problématique et Contexte

L'analyse de clusters (ou segmentation) est un outil fondamental pour découvrir des sous-populations latentes dans des données non étiquetées, avec des applications allant de la bio-informatique au marketing. Cependant, les méthodes traditionnelles souffrent de limitations majeures :

• Hypothèses géométriques restrictives : Des algorithmes comme les $k$-means supposent des clusters sphériques et de taille égale, ce qui est souvent faux dans des données réelles complexes (ex: données de santé ou de consommation).
• Manque de flexibilité paramétrique : Les modèles de mélanges paramétriques (ex: mélange de Gaussiennes) sont robustes mais peuvent souffrir d'une mauvaise spécification si la distribution sous-jacente s'écarte de l'hypothèse normale.
• Efficacité et sélection de modèle : Il existe un compromis difficile entre la robustesse (modèles non paramétriques) et l'efficacité statistique (modèles paramétriques), ainsi que des défis pour sélectionner le nombre optimal de clusters de manière cohérente.

L'objectif de cet article est de proposer un cadre unifié pour l'apprentissage non supervisé de données continues, capable de capturer des structures de clusters allongées et corrélées (elliptiques) sans imposer une forme de densité spécifique, tout en garantissant une efficacité asymptotique et une sélection cohérente du nombre de clusters.

2. Méthodologie Proposée

Les auteurs introduisent une Distribution Elliptique de Clusters Semi-Paramétrique (SCED). Le modèle suppose que la densité conditionnelle des variables $X$ étant donné le cluster $C$ est :
$$f(x|c; \theta) = |\Sigma|^{-1/2} f_p\left((x - \mu_c)^\top \Sigma^{-1} (x - \mu_c)\right)$$
où $\mu_c$ est le vecteur moyen du cluster, $\Sigma$ est une matrice de dispersion invariante aux clusters, et $f_p$ est un générateur de densité inconnu (semi-paramétrique).

La procédure d'estimation et de clustering se déroule en plusieurs phases :

A. Estimation par Pénalité de Séparation (Phase 1)

Pour obtenir un estimateur initial consistant des clusters, les auteurs minimisent une somme pondérée des moindres carrés augmentée d'une pénalité de séparation ($\ell_1$) :
$$SS_{sp}(\beta, \mu; \lambda) = \frac{1}{2}\sum_{i=1}^n (X_i - \beta_i)^\top W (X_i - \beta_i) + \lambda \sum_{i=1}^n \min_c \|W^{1/2}(\beta_i - \mu_c)\|_1$$

• Représentation par sujet : Chaque observation $X_i$ est associée à un vecteur de paramètres $\beta_i$ qui doit être égal à l'un des $\mu_c$.
• Algorithme : Le problème non convexe est résolu via une combinaison de la programmation différence de fonctions convexes (DCFP) et de la méthode des multiplicateurs de direction alternée (ADMM).
• Résultat : Cette étape fournit une estimation initiale des clusters qui est exactement consistante (probabilité de récupération parfaite tend vers 1 quand $n \to \infty$).

B. Estimation Semi-Paramétrique Efficace (Phase 2)

Une fois les clusters initiaux obtenus, une estimation affinée est réalisée pour atteindre l'efficacité semi-paramétrique :

• Estimateur de Densité : Le générateur de densité inconnu $f_p$ est estimé via un estimateur à noyau (kernel) avec correction de bordure.
• Fonctions de Vraisemblance : Deux estimateurs sont proposés :
  1. Vraisemblance Pseudo-Maximum (PML) : Maximise la vraisemblance conditionnelle aux clusters estimés.
  2. Vraisemblance Marginale Pseudo-Maximum (PMML) : Maximise la vraisemblance marginale (mélange).
• Efficacité : Les auteurs démontrent que l'estimateur PML atteint la borne d'efficacité semi-paramétrique (ASPE).
• Clustering Optimal : Un règle de classification bayésienne est appliquée en utilisant les probabilités a posteriori estimées pour maximiser la probabilité d'appartenance correcte.

C. Sélection du Nombre de Clusters

Les auteurs proposent un Critère d'Information Semi-Paramétrique (SPIC) pour déterminer le nombre de clusters $k$.
$$SPIC(k) = -\frac{1}{n} p\ell(k) + \frac{k \log n}{2n^{4/5}} + \frac{k(p+1) \log n}{2n}$$
Ce critère pénalise la complexité du modèle de manière adaptée à la nature semi-paramétrique du problème. Il est prouvé que le minimiseur de ce critère est cohérent pour estimer le vrai nombre de clusters $k^*$.

3. Contributions Clés

1. Cadre SCED Général : Un modèle qui englobe les modèles de mélanges gaussiens et de mélanges de distributions de Student (t) tout en évitant les risques de mauvaise spécification liés aux générateurs paramétriques complets.
2. Procédure d'Estimation-Clustering : Une méthode en deux étapes qui garantit :
   • La récupération exacte des clusters (consistance) via la pénalité de séparation.
   • L'efficacité asymptotique semi-paramétrique via l'estimation par vraisemblance pseudo-maximum.
   • Une règle de clustering asymptotiquement optimale.
3. Algorithme Évolutive : Une implémentation scalable utilisant DCFP + ADMM avec une stratégie d'initialisation robuste pour gérer la non-convexité du problème.
4. Critère de Sélection (SPIC) : Un nouveau critère d'information théoriquement justifié pour la sélection du nombre de clusters dans un contexte semi-paramétrique, surpassant les critères BIC classiques dans les simulations.

4. Résultats Expérimentaux

Les auteurs ont validé leur méthode via des simulations de Monte Carlo et deux applications réelles.

• Simulations :

  • Comparaison avec les $k$-means, les méthodes d'initialisation (IS), et les modèles paramétriques (MMLn, MMLt).
  • Performance de clustering : La méthode proposée (OC - Optimal Clustering) obtient des indices de Rand (RI) supérieurs, surtout lorsque les clusters sont faiblement séparés ou que la dimension est élevée.
  • Estimation des paramètres : Les estimateurs RPML et RPMML (versions affinées) montrent des erreurs quadratiques moyennes normalisées (RSE) inférieures ou comparables aux méthodes paramétriques, approchant la borne d'efficacité asymptotique.
  • Sélection de $k$ : Le SPIC sélectionne correctement le nombre de clusters dans la majorité des cas, là où le BIC (Bayesian Information Criterion) tend à sous-estimer ou sur-estimer selon le modèle.

• Applications Réelles :

  1. Segmentation Client (Supermarché) : Analyse de données de transactions. Le modèle a identifié 3 segments de clients distincts avec des profils d'achat temporels et catégoriels significativement différents, révélant des structures que les modèles paramétriques n'avaient pas capturées aussi précisément.
  2. Diabète chez les Indiens Pima : Stratification des patients basée sur des biomarqueurs cliniques. Le modèle a découvert 4 sous-groupes latents. L'analyse a montré que l'association entre les biomarqueurs et le diabète varie selon les sous-groupes, suggérant une hétérogénéité clinique que les modèles globaux masquent.

5. Signification et Impact

Cet article apporte une avancée significative dans le domaine de l'apprentissage non supervisé :

• Robustesse et Flexibilité : Il permet de modéliser des données complexes (corrélations, formes non sphériques) sans être piégé par des hypothèses de distribution rigides.
• Garanties Théoriques Solides : Contrairement à de nombreuses méthodes heuristiques, cette approche offre des preuves de consistance pour la récupération des clusters et de l'efficacité pour l'estimation des paramètres.
• Utilité Pratique : La méthode est applicable à des domaines critiques comme la médecine personnalisée et le marketing, où la découverte de sous-groupes latents précis peut guider des interventions ciblées.
• Outils pour l'Avenir : La proposition du SPIC et l'algorithme DCFP+ADMM fournissent des outils pratiques pour les chercheurs et praticiens confrontés à des données de grande dimension et hétérogènes.

En résumé, cette recherche établit un nouvel état de l'art pour l'analyse de clusters de données continues, combinant la rigueur de l'inférence semi-paramétrique avec la puissance computationnelle des algorithmes d'optimisation modernes.