Bayesian Cluster Weighted Gaussian Models

Cet article présente un nouveau modèle gaussien bayésien pondéré par les clusters qui capture simultanément l'hétérogénéité des distributions de réponse et de prédicteurs en utilisant des priors lasso et graphical-lasso pour le rétrécissement, tout en exploitant un échantillonneur télescopique trans-dimensionnel pour inférer pleinement le nombre de clusters.

L'essentiel

Imaginez que vous soyez un détective tentant de résoudre un mystère dans une pièce bondée. Vous avez une liste de personnes (les données) et vous souhaitez déterminer à quels groupes elles appartiennent. Habituellement, les détectives observent le comportement des personnes (leurs réponses) pour deviner leur groupe. Mais que se passe-t-il si le comportement des personnes est également influencé par leur contexte, comme l'endroit où elles se tiennent ou ce qu'elles tiennent (les covariables) ?

Ce papier présente un nouvel outil de détective plus intelligent, appelé Modèles Gaussiens Pondérés par Clusters Bayésiens (BGCWM). Voici comment il fonctionne, décomposé en concepts simples :

1. Le Problème : Le Piège du « Fixe » contre le « Aléatoire »

Les méthodes de détective traditionnelles supposent souvent que les informations contextuelles (covariables) sont fixes et ne modifient pas les groupes.

• L'Ancienne Méthode : Imaginez regarder une salle de classe. Vous supposez que la taille des élèves (contexte) ne vous dit rien sur l'équipe sportive à laquelle ils appartiennent ; vous ne regardez que leurs notes aux examens (réponse).
• La Réalité : Dans le monde réel, le contexte compte. Peut-être que les élèves plus grands ont plus de chances d'être dans l'équipe de basket. Si vous ignorez le fait que la taille varie naturellement dans la pièce, vous risquez de manquer les vrais groupes.
• La Solution du Papier : Ce nouveau modèle traite les informations contextuelles comme aléatoires. Il reconnaît que le « où » et le « quoi » des points de données sont tout aussi importants que le « comment » de leur comportement pour déterminer les groupes.

2. Les Deux Superpouvoirs : La Réduction

Le modèle possède deux « superpouvoirs » spéciaux pour gérer des données désordonnées, qu'il appelle réduction. Imaginez-les comme un moyen de nettoyer le bruit et de trouver le signal.

• Pouvoir 1 : Le Lasso Bayésien (Le « Silencieux »)
  Imaginez que vous ayez une radio avec 20 boutons (variables), mais que seuls 3 d'entre eux modifient réellement la musique. Le Lasso agit comme une main intelligente qui tourne le volume des 17 boutons inutiles complètement à zéro. Il aide le modèle à ignorer les détails contextuels non pertinents et à se concentrer uniquement sur les facteurs qui comptent réellement pour le groupe.
• Pouvoir 2 : Le Lasso Graphique (Le « Cartographe »)
  Imaginez que les variables contextuelles soient des amis dans un réseau social. Certains amis se parlent beaucoup ; d'autres non. Le Lasso Graphique dessine une carte de ces connexions. Il détermine quels facteurs contextuels sont liés et lesquels sont indépendants, créant une image claire de la structure du groupe sans se laisser troubler par des informations redondantes.

3. Le Mystère du « Combien de Groupes ? »

L'une des parties les plus difficiles du clustering est de deviner combien de groupes existent. Avons-nous 2 équipes, 5 équipes ou 10 ?

• L'Ancienne Méthode : Vous pourriez essayer de deviner 2, puis 3, puis 4, et choisir celui qui semble « meilleur » en utilisant une fiche de notation (comme l'AIC ou le BIC).
• La Méthode du Papier : Le modèle traite le nombre de groupes comme un mystère à résoudre, et non comme une supposition. Il utilise une technique d'échantillonnage spéciale appelée Échantillonneur Télescopique.
  • Analogie : Imaginez une lunette télescopique qui peut s'allonger et se rétracter. Le modèle commence avec un certain nombre de groupes et peut « s'allonger » pour en ajouter ou « se rétracter » pour les fusionner, explorant différentes possibilités jusqu'à trouver le nombre de groupes le plus probable de manière naturelle. Il ne se contente pas de choisir un score ; il calcule la probabilité de chaque nombre possible de groupes.

4. Comment Ils L'Ont Testé

Les auteurs n'ont pas seulement parlé de la théorie ; ils l'ont mise à l'épreuve de deux manières :

• Le Laboratoire de Simulation : Ils ont créé de fausses données avec des secrets connus (comme un jeu vidéo avec une carte connue). Ils ont opposé leur nouveau modèle à d'anciennes méthodes établies.
  • Résultat : Leur modèle était meilleur pour trouver le bon nombre de groupes et identifier correctement quels facteurs contextuels étaient réellement importants, en particulier lorsque les données étaient désordonnées ou que les groupes étaient difficiles à distinguer.
• Le Test du Monde Réel (Données TCGA) : Ils ont appliqué le modèle à de vraies données génétiques issues de l'Atlas du Génome du Cancer. Ils ont examiné les niveaux d'expression des gènes pour voir s'ils pouvaient séparer quatre types différents de cancer (Sein, Rein, Poumon, Thyroïde).
  • Résultat : Le modèle a regroupé avec succès les échantillons en les quatre types de cancer corrects. Il a également identifié des gènes spécifiques qui étaient à l'origine de ces différences, agissant comme un projecteur sur les indices biologiques les plus importants.

Résumé

En bref, ce papier présente un nouvel outil statistique qui est meilleur pour trouver des groupes cachés dans les données car :

1. Il respecte le fait que les détails contextuels (covariables) sont aléatoires et importants.
2. Il utilise des « silencieux intelligents » pour ignorer le bruit inutile.
3. Il utilise un « télescope » flexible pour déterminer le bon nombre de groupes sans avoir besoin de deviner à l'avance.

C'est une manière plus robuste, flexible et « honnête » de laisser les données vous dire qui appartient à quel groupe.

Résumé technique

Résumé Technique : Modèles Gaussiens Pondérés par les Clusters Bayésiens

Énoncé du Problème
L'article aborde le défi de la modélisation de données hétérogènes issues de populations comportant des sous-groupes non observés, où la relation entre une variable réponse continue ($y$) et un ensemble de covariables ($x$) varie à travers ces clusters latents. Alors que les mélanges de régressions standards supposent que les covariables sont fixes et n'influencent pas l'affectation aux clusters, de nombreuses applications réelles impliquent des covariables aléatoires dont la distribution varie également entre les sous-populations. Ignorer la distribution des covariables peut entraîner une perte de signal discriminatif pertinent pour la structure latente sous-jacente. Les auteurs visent à développer un cadre entièrement bayésien pour les Modèles Pondérés par les Clusters (CWM) qui modélise simultanément la distribution conditionnelle de la réponse étant donné les covariables et la distribution marginale des covariables elles-mêmes, tout en gérant des contextes de haute dimensionnalité grâce à la sélection de variables et en déterminant le nombre de clusters sans pré-spécification.

Méthodologie
Le cadre proposé, dénommé Modèle Gaussien Pondéré par les Clusters Bayésien (BGCWM), étend le CWM standard en incorporant des priors de rétrécissement spécifiques et une stratégie d'échantillonnage trans-dimensionnel.

1. Structure du Modèle :

   • Les données $(y_i, x_i)$ sont modélisées comme un mélange de $K$ composantes.
   • Au sein de chaque cluster $k$, la réponse $y_i$ suit une régression linéaire normale : $y_i | x_i, z_{ik}=1 \sim N(\alpha_k + x_i^T \beta_k, \sigma^2_k)$.
   • Les covariables $x_i$ sont modélisées comme des variables aléatoires suivant une distribution normale multivariée : $x_i | z_{ik}=1 \sim N(\mu_k, \Sigma_k)$.
   • La vraisemblance conjointe est le produit de la proportion de mélange $\pi_k$, de la densité de régression et de la densité des covariables.

2. Priors de Rétrécissement pour la Haute Dimensionnalité :

   • Coefficients de Régression : Pour gérer des coefficients de régression parcimonieux ($\beta_k$), les auteurs emploient un prior Lasso Bayésien (distribution double exponentielle) avec un hyperprior de demi-Cauchy sur le paramètre de pénalité. Cela permet une sélection automatique des variables au sein de chaque cluster.
   • Structure de Covariance : Pour modéliser les matrices de covariance ($\Sigma_k$) des covariables aléatoires, un prior Graphical Lasso Bayésien est utilisé. Cela impose une parcimonie sur la matrice de précision ($\Omega_k = \Sigma_k^{-1}$), facilitant la détection des structures d'indépendance conditionnelle parmi les covariables au sein des clusters.

3. Inférence sur le Nombre de Clusters ($K$) :
   L'article évalue trois approches bayésiennes distinctes pour gérer le nombre inconnu de composantes :

   • $K$ Fixe avec Critères d'Information : Estimation de modèles pour une plage de $K$ et sélection du meilleur via AIC, BIC ou ICL (une approche de base inspirée du fréquentisme).
   • Mélanges Surajustés : Fixer $K$ à une borne supérieure élevée et utiliser un prior de Dirichlet parcimonieux pour encourager des composantes vides, en s'appuyant sur le nombre de composantes non vides pour l'inférence.
   • Mélanges Généralisés de Mélanges Finis (Échantillonneur Télescopique) : Traiter $K$ comme une variable aléatoire avec un prior (Beta-Négatif Binomial traduit). L'inférence est réalisée à l'aide d'un échantillonneur télescopique (Frühwirth-Schnatter et al., 2021), qui met à jour $K$ via une étape trans-dimensionnelle, évitant ainsi les complexités du MCMC à saut réversible.

4. Calcul Postérieur :
   Une approche entièrement bayésienne est mise en œuvre en utilisant l'échantillonnage Monte Carlo par Chaîne de Markov (MCMC). Un échantillonneur de Gibbs augmenté est construit en introduisant des variables auxiliaires pour faciliter la conjugaison des priors Lasso et Graphical Lasso. Lorsque $K$ est inconnu, une étape unique de Metropolis-Hastings est ajoutée pour mettre à jour le nombre de composantes. Le post-traitement implique l'algorithme des Représentants des Classes d'Équivalence (ECR) pour résoudre les problèmes d'inversion d'étiquettes.

Contributions Clés

• CWM Entièrement Bayésien : L'article introduit le premier traitement entièrement bayésien des CWM gaussiens qui traite le nombre de clusters comme aléatoire et intègre des priors de rétrécissement pour les coefficients de régression et les structures de covariance.
• Sélection de Variables Intégrée : Contrairement aux implémentations CWM précédentes qui reposent sur des paramétrisations parcimonieuses de la covariance ou une sélection a posteriori, cette méthode intègre directement la sélection de variables dans le modèle via les Lasso Bayésien et Graphical Lasso, permettant la détection de signaux à la fois dans les prédicteurs de régression et dans les structures de covariance des covariables.
• Échantillonnage Trans-dimensionnel : L'application de l'échantillonneur télescopique aux CWM fournit un mécanisme robuste pour estimer le nombre de clusters sans dépendre des critères d'information ou d'heuristiques de surajustement, offrant une quantification directe de l'incertitude pour $K$.

Résultats
La méthodologie a été évaluée par le biais d'études de simulation extensives et d'une application réelle :

1. Études de Simulation :

   • Estimation des Clusters : Les approches par échantillonneur télescopique et mélanges surajustés ont généralement surpassé les critères d'information (BIC/ICL) et les méthodes existantes (flexCWM, FLEXMIX, MoEClust, RJM) dans l'estimation du vrai nombre de clusters, en particulier lorsque $K$ était élevé (par exemple, $K=4$).
   • Performance de Clustering : Le BGCWM proposé a obtenu des scores d'Indice Rand Ajusté élevés, comparables ou supérieurs aux méthodes concurrentes, dans divers scénarios impliquant des covariables non corrélées/corrélées et homogènes/hétérogènes.
   • Sélection de Variables : La méthode a démontré une précision supérieure dans l'identification des variables significatives (minimisant les faux positifs/négatifs) par rapport à RJM et MoEClust, en particulier dans les scénarios avec des covariables non corrélées.

2. Application aux Données Génomiques TCGA :

   • Le modèle a été appliqué à des données d'expression génique provenant de quatre types de cancers (BRCA, KIRC, LUAD, THCA) pour regrouper des échantillons basés sur l'expression du gène GALNT12 et de 15 autres gènes.
   • L'échantillonneur télescopique a identifié avec succès le vrai nombre de clusters ($K=4$) dans la majorité des chaînes convergées.
   • Le modèle a récupéré les types de cancers avec un Indice Rand Ajusté de 0,662 (pour $K=4$).
   • Une évaluation a posteriori a identifié des ensembles distincts de gènes influents pour chaque cluster de cancer, soulignant la capacité du modèle à révéler des signaux biologiques spécifiques aux clusters.
   • Dans les tâches de prédiction (RMSE), le BGCWM a performé de manière compétitive face aux références d'apprentissage automatique (Random Forest, XGBoost, BART), se classant deuxième après Random Forest, tout en offrant une interprétabilité et des capacités de clustering supérieures.

Signification et Revendications
Les auteurs affirment que le cadre BGCWM fournit un outil modulaire et flexible pour le clustering basé sur des modèles avec covariables aléatoires. En traitant le nombre de clusters comme aléatoire et en utilisant des priors de rétrécissement, la méthode offre une approche unifiée pour :

1. Détecter l'hétérogénéité latente à la fois dans la relation réponse-covariable et dans la distribution des covariables.
2. Effectuer une sélection automatique de variables dans des contextes de haute dimensionnalité sans paramètres de réglage (grâce aux hyperpriors de demi-Cauchy).
3. Fournir une quantification complète de l'incertitude pour le nombre de clusters et les paramètres du modèle.

L'article note modestement que l'implémentation actuelle est restreinte aux covariables continues et aux réponses gaussiennes. Des travaux futurs sont suggérés pour étendre le cadre aux types de données mixtes, aux réponses catégorielles/comptées, et pour améliorer le mélange MCMC via des schémas de recuit parallèle. Les auteurs soulignent que bien que la méthode soit intensivement calculatoire, sa capacité à intégrer le clustering, la régression et l'analyse de la structure de covariance au sein d'un seul cadre bayésien en fait une alternative précieuse aux approches CWM fréquentistes ou semi-bayésiennes existantes.