CliPS -- How to identify cluster distributions in Bayesian mixture models

Titre : CliPS – Identification des distributions de clusters dans les modèles de mélange bayésiens

1. Problématique

L'analyse de clusters par approche basée sur les modèles (model-based clustering) utilise souvent des modèles de mélange finis dans un cadre bayésien. Cependant, deux défis majeurs entravent l'inférence robuste des distributions de clusters :

1. Le problème de l'identifiabilité et du "label switching" : Dans les modèles de mélange, les composantes sont interchangeables. Les algorithmes MCMC (Monte Carlo par Chaîne de Markov) génèrent des draws postérieurs qui oscillent entre les permutations des étiquettes des composantes. Les méthodes de post-traitement existantes visent souvent à obtenir une partition unique des données ou à relabeliser les paramètres, mais elles ne vérifient pas si la structure de cluster inférée est réellement valide ou si les distributions de clusters sont distinctes.
2. L'estimation du nombre de clusters : Le nombre réel de clusters ($K^+$) dans les données est souvent inconnu. Les approches bayésiennes doivent distinguer le nombre de composantes spécifiées dans le modèle ($K$) du nombre de composantes "remplies" (utilisées pour générer les données, $K^+$). Une sur-ajustement (overfitting) peut conduire à des composantes redondantes ou vides, rendant l'identification des distributions de clusters difficile.

L'objectif principal est de développer une procédure capable d'identifier les distributions de clusters, de valider la pertinence de la solution de clustering et de gérer le problème de l'étiquetage (label switching) de manière automatique et diagnostique.

2. Méthodologie : La procédure CliPS

Les auteurs proposent la procédure CliPS (Clustering in the Parameter Space), qui repose sur la représentation par processus ponctuel (PPR) d'un modèle de mélange.

Concepts clés :

• Représentation par Processus Ponctuel (PPR) : Au lieu de visualiser les données, on visualise les paramètres des composantes ($\theta_k$) dans l'espace des paramètres. Chaque point représente un paramètre de composante, et sa "marque" correspond à son poids ($\eta_k$). Cette représentation est invariante aux permutations d'étiquettes.
• Fonctionnelle de bas dimension : Plutôt que d'utiliser tous les paramètres, on sélectionne une fonctionnelle $\phi(\theta_k)$ (par exemple, les vecteurs de moyenne dans un mélange gaussien) qui caractérise le mieux la différence entre les clusters.

Déroulement de l'algorithme :

Cas A : Nombre de clusters connu ($K$)

1. Échantillonnage MCMC : Génération des draws postérieurs pour les paramètres et les indicateurs latents.
2. Clustering dans l'espace des paramètres : Les draws des paramètres (ou de leur fonctionnelle) sont regroupés en $K$ groupes à l'aide d'un algorithme de clustering (ex: k-means).
3. Vérification de permutation : Pour chaque itération $m$, on vérifie si l'affectation des $K$ composantes aux $K$ groupes forme une permutation valide de $\{1, \dots, K\}$.
4. Calcul du taux de non-permutation ($\nu$) :
   • Si $\nu \approx 0$ : Les draws postérieurs forment $K$ clusters bien séparés dans l'espace des paramètres. Une étiquetage unique est possible et la solution de clustering est valide.
   • Si $\nu$ est élevé : Les distributions postérieures se chevauchent fortement. Les clusters ne sont pas distinguables, suggérant que le modèle ou le nombre de composantes est inadéquat.
5. Relabeling : Les draws valides sont relabelisés selon la permutation inverse pour obtenir un modèle identifié.

Cas B : Nombre de clusters inconnu

1. Modélisation MFM (Mixture of Finite Mixtures) ou Processus de Dirichlet : Utilisation d'une distribution a priori sur $K$ (ex: MFM avec prior sur le nombre de composantes) et d'un prior de Dirichlet sur les poids avec un paramètre de concentration $\gamma_K$ très petit pour favoriser les composantes vides (sparse).
2. Estimation de $K^+$ : Détermination du mode de la distribution postérieure du nombre de composantes remplies ($K^+$).
3. Filtrage : On ne conserve que les itérations MCMC où le nombre de composantes remplies correspond à l'estimation $\hat{K}^+$. On élimine les draws des composantes vides.
4. Application de CliPS : La procédure décrite ci-dessus est appliquée sur le sous-ensemble de draws correspondant à $\hat{K}^+$ composantes actives.

3. Contributions Clés

• Validation de la structure de cluster : Contrairement aux méthodes classiques qui imposent un étiquetage quel que soit le résultat, CliPS fournit un critère diagnostique (le taux de non-permutation $\nu$) pour valider si les clusters sont réellement séparables dans l'espace des paramètres.
• Gestion automatique du label switching : La procédure résout le problème de l'étiquetage en exploitant la séparation naturelle des draws postérieurs dans l'espace des paramètres, sans nécessiter de contraintes d'identification mathématiques a priori complexes.
• Flexibilité : La méthode est générique et s'applique à divers noyaux de clustering (Gaussiens, classes latentes, chaînes de Markov) et à des modèles paramétriques et non paramétriques (Dirichlet process).
• Distinction $K$ vs $K^+$ : Clarification théorique et pratique sur la différence entre le nombre de composantes spécifiées et le nombre de clusters réels, avec une stratégie pour gérer les modèles sur-ajustés.

4. Résultats et Applications

Les auteurs illustrent la procédure sur plusieurs jeux de données et modèles :

1. Données simulées (Gaussiennes multivariées) :

   • Démonstration que lorsque les clusters sont bien séparés, le taux de non-permutation est nul, permettant une identification parfaite.
   • Démonstration que si les clusters se chevauchent, le taux de non-permutation augmente, signalant l'inadéquation du modèle.

2. Données de diabète (Mélange de Gaussiennes) :

   • Estimation du nombre de clusters ($K^+=3$) via un modèle MFM dynamique.
   • CliPS identifie trois groupes distincts (diabète chimique, normal, manifeste) avec un taux de non-permutation de 0. L'analyse des moyennes postérieures permet de caractériser chaque groupe.

3. Données de peur (Fear data) - Analyse de classes latentes :

   • Utilisation d'un prior de processus de Dirichlet (modèle infini).
   • Identification de 2 profils de comportement (inhibé vs non inhibé).
   • Les résultats post-identification correspondent fortement aux estimations de référence (benchmark) de la littérature, validant la méthode pour des données catégorielles.

4. Données de salaires (Wage data) - Chaînes de Markov :

   • Application à des séries temporelles catégorielles avec un mélange de chaînes de Markov (sparse finite mixture).
   • Identification de 8 clusters de mobilité salariale distincts.
   • La procédure permet de visualiser les matrices de transition spécifiques à chaque cluster et d'identifier des profils typiques (ex: risque élevé de chômage vs mobilité ascendante).

5. Signification et Conclusion

La procédure CliPS représente une avancée significative dans l'analyse de clusters bayésienne. Elle transforme l'étape de post-traitement d'une simple nécessité technique (résoudre le label switching) en un outil d'évaluation de la qualité du modèle.

• Signification épistémologique : Elle réaffirme que l'objectif de l'analyse de clusters est d'inférer des distributions de population et non seulement de partitionner un échantillon.
• Pragmatisme : Elle offre aux praticiens un critère clair (le taux de non-permutation) pour décider si un modèle de mélange est approprié pour les données. Si le taux est élevé, cela indique soit un mauvais choix de modèle, soit l'absence de structure de cluster sous-jacente, évitant ainsi l'interprétation erronée de résultats artificiels.
• Généralité : La méthode est applicable à une large gamme de modèles bayésiens, rendant l'inférence sur les distributions de clusters plus robuste et interprétable.

En résumé, CliPS ne se contente pas de trouver des clusters ; elle valide qu'ils existent réellement et sont distincts dans l'espace des paramètres, assurant ainsi la fiabilité des conclusions statistiques tirées de l'analyse.