Cluster LOCO: Feature Importance For Interpreting Clusters

Cet article introduit Cluster LOCO, un cadre agnostique au modèle qui quantifie l'importance des caractéristiques dans le partitionnement en mesurant à quel point la suppression de caractéristiques spécifiques dégrade la capacité de généralisation des étiquettes de clusters, offrant ainsi une solution fiable et indépendante de l'algorithme pour interpréter des ensembles de données complexes.

L'essentiel

Le gros problème : La « boîte noire » du regroupement

Imaginez que vous avez une énorme boîte de jouets mélangés. Vous voulez les trier en piles : voitures, poupées, blocs et puzzles. Vous utilisez un robot pour faire le tri. Le robot fait du bon travail, mais quand vous demandez : « Pourquoi as-tu mis cette voiture rouge dans la pile des "Voitures" et pas dans celle des "Poupées" ? », le robot répond simplement : « Parce que j'en ai décidé ainsi. »

En science des données, c'est ce qu'on appelle le clustering (ou partitionnement de données). C'est une façon de trouver des groupes cachés dans les données (comme regrouper des clients par habitudes d'achat ou identifier différents types de cellules dans le corps). Mais souvent, nous ne savons pas quels détails spécifiques (caractéristiques) ont poussé le robot à créer ces groupes. Était-ce la couleur ? La taille ? Le prix ?

Sans savoir le « pourquoi », les résultats sont difficiles à faire confiance, difficiles à vérifier et difficiles à reproduire.

La solution : « Cluster LOCO »

Les auteurs, Claire He et Genevera Allen, proposent un nouvel outil appelé Cluster LOCO (qui signifie Leave-One-Covariate-Out, soit « Retirer une covariable à la fois »).

Voyez cela comme un jeu de « Et si ? »

1. Vous avez votre robot qui trie les jouets.
2. Vous retirez secrètement un détail spécifique à chaque jouet (par exemple, vous cachez la « couleur » de chaque jouet).
3. Vous laissez le robot trier à nouveau les jouets, en utilisant uniquement les détails restants.
4. Le Test : Le robot a-t-il été confus ? A-t-il mis la voiture rouge dans la mauvaise pile ?
   • Si le robot est confus : Ce détail (la couleur) était important. C'était un moteur clé du regroupement.
   • Si le robot les trie exactement de la même manière : Ce détail n'avait pas beaucoup d'importance.

Ce processus est répété pour chaque détail (caractéristique) des données. Ceux qui provoquent le plus de confusion lorsqu'ils sont retirés sont classés comme étant les plus importants.

Deux versions de l'outil

L'article présente deux façons de jouer à ce jeu, selon le nombre de jouets que vous avez :

1. Cluster LOCO-Split (Le jeu des « deux équipes »)

• Comment ça marche : Vous divisez vos données en deux équipes : une « Équipe d'entraînement » et une « Équipe de test ».
• Le processus : Vous apprenez au robot avec l'Équipe d'entraînement. Ensuite, vous essayez de prédire comment le robot trierait l'Équipe de test. Vous faites cela avec tous les détails, puis vous le refaites après avoir retiré un détail.
• Le piège : Si vous avez un immense ensemble de données (comme des millions de cellules), diviser les données en deux signifie que le robot a moins d'informations pour apprendre, ce qui peut rendre les résultats instables.

2. Cluster LOCO-MP (Le jeu des « mini-patchs »)

• Comment ça marche : Pour gérer des ensembles de données massifs, cette version utilise des « minipatches ». Imaginez prendre de petites poignées de jouets aléatoires dans la grande boîte, trier ces petites poignées, puis combiner les résultats.
• L'avantage : C'est comme avoir mille petits robots travaillant en parallèle. C'est beaucoup plus rapide et cela ne se laisse pas tromper par des caractéristiques « corrélées » (comme lorsque la « taille » et le « poids » vont toujours ensemble ; si vous retirez la taille, le poids pourrait encore sauver la mise, mais cette méthode permet de comprendre que les deux étaient réellement importants).

Pourquoi est-ce meilleur que les anciennes méthodes ?

L'article compare leur nouvel outil à d'anciennes méthodes (comme l'« Importance par permutation » ou les « Valeurs de Shapley ») en utilisant deux tests principaux :

1. Le test « Faux » (Simulations) :
   Ils ont créé des données fictives où ils savaient exactement quelles caractéristiques étaient le « signal » (les vrais indices) et lesquelles étaient le « bruit » (des déchets aléatoires).

   • Les anciennes méthodes : Se faisaient souvent piéger par le bruit ou échouaient lorsque les groupes avaient des formes étranges et non linéaires (comme une forme de croissant de lune).
   • Cluster LOCO : A réussi à ignorer le bruit et a correctement identifié les vrais indices, même dans des formes non linéaires difficiles.

2. Le test du « Monde Réel » (Biologie à cellule unique) :
   Ils ont appliqué cela à des données biologiques réelles : le tri de cellules immunitaires humaines (comme les lymphocytes T et les monocytes) basées sur leur activité génétique.

   • Le problème : Habituellement, les scientifiques regroupent les cellules d'abord, puis cherchent les gènes qui sont différents entre les groupes. Les auteurs soutiennent que c'est du « double comptage » (utiliser les mêmes données deux fois), ce qui peut conduire à de fausses découvertes.
   • Le résultat : Cluster LOCO a identifié des gènes qui sont connus pour être de vrais « marqueurs » pour des types cellulaires spécifiques (comme les gènes qui définissent les monocytes). D'autres méthodes ont soit manqué ces gènes, soit mis en évidence des gènes qui n'avaient pas de sens biologique.

L'essentiel à retenir

Cluster LOCO est une nouvelle façon flexible d'expliquer pourquoi un algorithme de clustering a créé les groupes qu'il a créés.

• Il fonctionne avec n'importe quel algorithme de clustering (pas seulement un seul type spécifique).
• Il vous dit quelles caractéristiques sont les « stars » du spectacle et lesquelles ne sont que des « figurantes ».
• Il aide les scientifiques à faire davantage confiance à leurs résultats car ils peuvent voir les raisons spécifiques derrière les regroupements, plutôt que de simplement deviner.

En bref, cela transforme un robot trieur à « boîte noire » en un robot transparent capable d'expliquer son raisonnement, garantissant que les groupes trouvés sont basés sur des modèles réels et importants plutôt que sur du bruit aléatoire.

Résumé technique

Résumé Technique : Cluster LOCO : Importance des Caractéristiques pour l'Interprétation des Clusters

Énoncé du Problème

Le partitionnement de données (clustering) est un outil fondamental de l'apprentissage non supervisé utilisé pour l'analyse exploratoire, la compression de données et la découverte scientifique à travers diverses disciplines, allant des sciences sociales à la génomique. Cependant, à mesure que les ensembles de données augmentent en taille et en complexité, la fiabilité, l'auditabilité et la reproductibilité des solutions de clustering deviennent des préoccupations majeures. Un défi principal réside dans l'absence de méthodes robustes pour interpréter pourquoi une structure de clustering spécifique a été découverte.

Bien que l'importance des caractéristiques soit bien établie dans l'apprentissage supervisé (par exemple, via l'importance par permutation ou les valeurs SHAP), elle reste sous-développée dans le clustering. Les approches existantes se classent généralement en deux catégories :

1. Algorithmes intrinsèquement interprétables : Ils contraignent le modèle de clustering lui-même (par exemple, le clustering basé sur les arbres de décision), ce qui limite la flexibilité et l'extensibilité.
2. Explications post-hoc : Elles sont souvent liées à des algorithmes spécifiques (par exemple, K-means) ou reposent sur des indices de validité interne (par exemple, les scores de silhouette) et des métriques de stabilité qui peuvent ne pas refléter fidèlement la contribution des caractéristiques à la généralisabilité de la solution.

De plus, les flux de travail courants dans des domaines comme la génomique de cellule unique souffrent souvent de « double dipping » (double usage), où les mêmes données sont utilisées pour définir les clusters et ensuite pour identifier les caractéristiques distinctives (gènes marqueurs), ceant ainsi les taux de fausses découvertes. Il existe un besoin pour un cadre agnostique au modèle et post-hoc qui quantifie l'importance des caractéristiques en fonction de la mesure dans laquelle une caractéristique contribue à la stabilité et à la généralisabilité de la solution de clustering elle-même, plutôt que simplement à sa capacité à distinguer des groupes après coup.

Méthodologie : Cluster LOCO

Les auteurs proposent Cluster LOCO (Leave-One-Covariate-Out), une famille de scores d'importance des caractéristiques agnostiques au modèle pour le clustering. L'intuition centrale est dérivée du cadre LOCO de l'apprentissage supervisé : si la suppression d'une caractéristique dégrade significativement la capacité de généralisation de la solution de clustering à des données non vues, cette caractéristique est jugée importante.

1. Concept Central : Généralisabilité via l'Occlusion de Caractéristiques

Contra�à les méthodes qui mesurent les changements dans les indices de validité interne (qui reposent souvent sur des hypothèses géométriques de compacité), Cluster LOCO mesure le changement de l'erreur de généralisabilité.

• Généralisabilité : Définie comme la capacité des étiquettes de clusters apprises sur un sous-ensemble d'entraînement à être prédites avec précision sur un sous-ensemble de calibration non vu en utilisant un classifieur de transfert.
• Occlusion de Caractéristiques : L'importance d'une caractéristique est quantifiée par l'augmentation de l'erreur de généralisabilité lorsque cette caractéristique est supprimée (occluse) du jeu de données.

Le cadre introduit deux algorithmes principaux :

A. Cluster LOCO-Split

Cette méthode repose sur une approche standard de division des données :

1. Division (Split) : Les données $X$ sont divisées en un ensemble d'entraînement ($X_{tr}$) et un ensemble de calibration ($X_{cal}$).
2. Clustering : Un algorithme de clustering choisi $C_\theta$ est appliqué aux deux ensembles pour obtenir les étiquettes $z_{tr}$ et $z_{cal}$.
3. Entraînement des Classifieurs de Transfert :
   • Un classifieur de base $\hat{f}_{tr}$ est entraîné sur $(X_{tr}, z_{tr})$.
   • Un classifieur « sans la caractéristique-$j$ » $\hat{f}_{-j}^{tr}$ est entraîné sur $(X_{tr, -j}, z_{tr})$.
4. Calcul du Score : Le score d'importance $\hat{\Delta}_j$ est la différence d'erreur de prédiction sur l'ensemble de calibration entre le modèle entraîné sans la caractéristique $j$ et le modèle entraîné avec toutes les caractéristiques :
   $$\hat{\Delta}_j = \text{Error}(z_{cal}, \hat{f}_{-j}^{tr}(X_{cal, -j})) - \text{Error}(z_{cal}, \hat{f}_{tr}(X_{cal}))$$
   La métrique d'erreur peut être l'indice de Rand ajusté (ARI) négatif, la distance de Hamming ou la perte de type hinge multiclasse.

B. Cluster LOCO-MP (Minipatch)

Pour répondre aux limitations computationnelles et à l'instabilité de la division des données (particulièrement avec des clusters déséquilibrés ou des données de haute dimension), les auteurs introduisent le Cluster LOCO-MP. Cette méthode exploite les ensembles de minipatches :

1. Construction de Minipatches : Au lieu d'une division unique, l'algorithme génère $B$ minipatches aléatoires, chacun sous-échantillonnant un petit nombre d'observations ($n \ll N$) et de caractéristiques ($m \ll M$).
2. Clustering de Consensus : Chaque minipatch est soumis à un clustering, et les étiquettes sont alignées sur un clustering de référence (ou via un chevauchement par paire) pour créer un ensemble d'étiquettes de consensus.
3. Prédiction d'Ensemble :
   • LOO (Leave-One-Out) : Un prédicteur d'ensemble $\hat{H}$ fait la moyenne des prédictions des minipatches excluant l'observation cible.
   • LOCO-LOO : Un prédicteur d'ensemble $\hat{H}_{-j}$ fait la moyenne des prédictions des minipatches qui excluent à la fois l'observation cible et la caractéristique $j$.
4. Calcul du Score : Le score d'importance est la différence d'erreur entre $\hat{H}_{-j}$ et $\hat{H}$. Cette approche gère naturellement les caractéristiques corrélées car différents minipatches peuvent inclure une caractéristique d'une paire corrélée mais pas l'autre, évitant ainsi la sous-estimation de l'importance courante dans les méthodes à division unique.

C. Cluster LOCO-RAMPART

Pour les applications de haute dimension où l'objectif est d'identifier les $k$ meilleures caractéristiques, les auteurs intègrent Cluster LOCO-MP au cadre RAMPART. Il s'agit d'une procédure adaptative qui filtre de manière itérative les caractéristiques, en écartant la moitié inférieure des caractéristiques classées à chaque tour, concentrant ainsi les ressources computationnelles sur les candidats les plus prometteurs.

D. Extensions

Le cadre prend en charge les scores d'importance spécifiques au cluster : en agrégeant les erreurs sur des clusters spécifiques plutôt que sur l'ensemble du jeu de données, les utilisateurs peuvent déterminer quelles caractéristiques pilotent la formation de groupes spécifiques (par exemple, des types cellulaires spécifiques), offrant une interprétabilité locale aux côtés des scores globaux.

Contributions Clés

1. Cadre Agnostique au Modèle : Cluster LOCO est applicable à n'importe quel algorithme de clustering (par exemple, K-means, clustering spectral, clustering hiérarchique) et ne nécessite pas de réentraîner le modèle de clustering d'une manière spécifique ; il nécessite seulement la capacité de cluster les données et de prédire les étiquettes.
2. Métrique Basée sur la Généralisabilité : Elle déplace l'attention de la validité géométrique interne vers la généralisabilité de la solution de clustering, fournissant une mesure plus robuste de la contribution des caractéristiques.
3. Extensibilité (Scalability) : L'introduction de Cluster LOCO-MP permet à la méthode de passer à l'échelle sur de grands ensembles de données de haute dimension grâce à l'ensemble de minipatches, surmontant les goulots d'étranglement computationnels des approches traditionnelles de Leave-One-Out.
4. Filtrage Adaptatif : L'intégration avec RAMPART fournit une voie efficace pour la sélection de caractéristiques dans les régimes de haute dimension et de parcimonie.

Résultats

Les auteurs ont évalué Cluster LOCO par rapport à cinq méthodes de référence : l'importance des caractéristiques basée sur les prototypes (PBFI), le SHAP de Fuzzy C-Means, l'importance des caractéristiques par permutation (PFI), la propagation de la pertinence par couche (LRP) et IMPACC.

Simulations Synthétiques

• Structures Non Linéaires : Dans un jeu de données synthétique avec des demi-cercles entrelacés (non linéairement séparables), les méthodes standards comme la PFI basée sur K-means, SHAP et LRP ont échoué à identifier les caractéristiques de signal réelles, attribuant souvent une importance élevée au bruit. Cluster LOCO-Split a réussi à récupérer les bonnes caractéristiques de signal et leur ordre d'importance relatif.
• Régimes de Haute Dimension : Dans des simulations avec des mélanges gaussiens, des mélanges Gamma et des formes de type "moons/circles" entrelacées avec des dimensions de bruit croissantes ($p_{noise}$ jusqu'à 990), Cluster LOCO-MP et Cluster LOCO-RAMPART ont systématiquement surpassé les méthodes existantes. Ils ont démontré une récupération robuste des 10 meilleures caractéristiques de signal réelles même lorsque le nombre de caractéristiques de bruit augmentait, alors que les méthodes comme FCM-SHAP et PFI montraient une dégradation significative des performances.

Application au Monde Réel : Transcriptomique de Cellule Unique

Le cadre a été appliqué à un jeu de données de cellules mononucléées du sang périphérique (PBMC) pour identifier les gènes marqueurs des types de cellules immunitaires.

• Importance Globale : Cluster LOCO-MP a identifié un plus grand nombre de gènes marqueurs biologiquement validés (par exemple, FTL pour les monocytes) par rapport aux méthodes basées sur K-means (PBFI, PFI), qui n'ont pas réussi à identifier les marqueurs connus dans leurs premiers rangs.
• Importance Spécifique au Cluster : Lors de l'analyse de types cellulaires spécifiques (monocytes CD14+, cellules dendritiques, cellules NK et cellules souches CD34+), Cluster LOCO-MP a fourni des classements plus cohérents et biologiquement interprétables que LRP et l'analyse standard d'expression différentielle (DEG).
• Gestion de l'Ambiguïté : Pour les populations difficiles à claster comme les cellules souches CD34+, Cluster LOCO-MP a réussi à classer les marqueurs connus (PRSS57, EGFL7, CYTL1) dans le top 10, alors que LRP et l'analyse DEG standard ont échoué à identifier ces marqueurs, soulignant la capacité de la méthode à refléter la structure de clustering sous-jacente plutôt que simplement la signification statistique post-hoc.

Signification et Revendications

L'article affirme que Cluster LOCO comble une lacune critique dans l'interprétabilité de l'apprentissage non supervisé. En fournissant une mesure de l'importance des caractéristiques post-hoc et agnostique au modèle basée sur la généralisabilité, il permet aux praticiens de :

• Auditer les solutions de clustering pour comprendre quelles caractéristiques pilotent la structure découverte.
• Éviter les pièges statistiques du « double dipping » dans les analyses en aval (par exemple, la découverte de gènes marqueurs).
• Appliquer l'importance des caractéristiques à des flux de travail de clustering complexes, non linéaires et de haute dimension sans être contraints par des hypothèses algorithmiques spécifiques.

Les auteurs positionnent Cluster LOCO non pas comme un remplacement pour une sélection de modèle rigoureuse, mais comme un outil nécessaire pour valider et interpréter les résultats des modèles de clustering choisis, améliant ainsi la fiabilité et la reproductibilité de la découverte scientifique pilotée par le clustering. La méthode est implémentée sous la forme d'une bibliothèque Python open-source compatible avec les estimateurs standards de scikit-learn.