CliPS -- How to identify cluster distributions in Bayesian mixture models

Titel: CliPS – Het identificeren van clusterdistributies in Bayesiaanse mengmodellen

1. Het Probleem

Bij modelgebaseerde clustering worden gegevens gemodelleerd als een eindige mengverdeling, waarbij elke component van de mengverdeling overeenkomt met een cluster. Hoewel Bayesiaanse methoden krachtige voordelen bieden (zoals het inbouwen van domeinkennis via priors, regularisatie van de likelihood en volledige kwantificering van parameteronzekerheid), worstelt men met twee fundamentele uitdagingen bij het interpreteren van de resultaten:

1. Label Switching: In Bayesiaanse mengmodellen is de likelihood invariant onder permutaties van de componentlabels. Markov Chain Monte Carlo (MCMC) steekproeven wisselen daarom willekeurig van labels, waardoor de posteriorverdeling van de parameters niet direct interpreteerbaar is voor specifieke clusters.
2. Onderscheidbaarheid van Clusters: Bestaande methoden om label switching op te lossen (zoals het minimaliseren van een verliesfunctie of het opleggen van ordeningsrestricties) genereren vaak een eindige partitie of een geïdentificeerd model, ongeacht of de onderliggende clusterdistributies in de data werkelijk onderscheidbaar zijn. Ze bieden geen informatie over de geschiktheid van het gekozen clustermodel. Als clusters te veel overlappen, kan een unieke karakterisering van de clusterdistributies onmogelijk zijn, maar standaardmethoden negeren dit vaak.

Het doel van dit artikel is een procedure te ontwikkelen die niet alleen label switching oplost, maar ook validatie biedt voor de clusterstructuur en de clusterdistributies (de populatiekarakteristieken) identificeert, in plaats van alleen een partitie van de steekproef.

2. Methodologie: De CliPS-procedure

De auteurs introduceren CliPS (Clustering in the Parameter Space). De kern van deze methode is het gebruik van de Point Process Representation (PPR) van een mengmodel. In plaats van te kijken naar de data, worden de MCMC-steekproeven van de component-specifieke parameters (of een lagere-dimensionale functie daarvan) gevisualiseerd als punten in de parameterruimte.

De werking van CliPS:
De procedure verloopt in stappen, afhankelijk van of het aantal clusters ($K$) bekend is of niet.

• Stap 1 & 2: Modellering en MCMC:

  • Een Bayesiaans mengmodel wordt gespecificeerd.
  • MCMC-steekproeven worden gegenereerd (vaak met data-augmentatie voor de latente toewijzingen).
  • Als het aantal clusters onbekend is, wordt een Mixture of Finite Mixtures (MFM) model gebruikt met een prior op het aantal componenten $K$. Hierbij wordt onderscheid gemaakt tussen het totale aantal componenten $K$ en het aantal "gevulde" componenten $K_+$ (clusters die daadwerkelijk data genereren). Door een geschikte prior op de gewichten (kleine Dirichlet-parameter $\gamma$) te kiezen, worden overtollige componenten "leeg" gelaten in plaats van gedupliceerd.

• Stap 3: Clustering in de Parameterruimte:

  • De MCMC-steekproeven van de componentparameters $\theta_k$ (of een functional $\phi(\theta_k)$, zoals de gemiddelden bij Gaussische mixtures) worden samengevoegd tot een dataset van $K \times M$ punten.
  • Een ongesuperviseerde clusteringalgoritme (bijv. k-means) wordt toegepast op deze punten om ze in $K$ groepen te verdelen.
  • Cruciaal: De procedure "forceert" niet dat elke component in een andere groep terechtkomt. Als de posteriorverdelingen van de parameters overlappen, kunnen steekproeven van verschillende componenten in dezelfde cluster terechtkomen.

• Stap 4 & 5: Validatie en Relabeling:

  • Voor elke iteratie $m$ wordt gekeken of de toewijzing een permutatie is van $\{1, ..., K\}$.
  • Non-permutatie rate ($\nu$): Het percentage iteraties waarbij de clustering geen geldige permutatie oplevert (d.w.z. waar componenten niet onderscheidbaar zijn).
  • Een lage $\nu$ (bijv. 0) betekent dat de clusters goed gescheiden zijn en uniek geïdentificeerd kunnen worden. Een hoge $\nu$ wijst erop dat het model niet geschikt is voor het onderscheiden van deze clusters.
  • Iteraties met een geldige permutatie worden gebruikt om de labels te herschikken (relabeling) via de inverse permutatie.

• Stap 6: Inferentie:

  • De herschikte steekproeven worden gebruikt om de clusterdistributies te karakteriseren en nieuwe observaties toe te wijzen.

3. Belangrijkste Bijdragen

1. Validatie van Clusteroplossingen: CliPS biedt een kwantitatieve maatstaf (de non-permutatie rate) om te beoordelen of een gekozen mengmodel daadwerkelijk onderscheidbare clusters levert. Dit is een fundamenteel verschil met bestaande methoden die altijd een oplossing produceren, zelfs als de data geen duidelijke clusters heeft.
2. Identificatie van Distributies: De focus ligt op het karakteriseren van de populatie (de clusterdistributies) en niet alleen op het partitioneren van de huidige steekproef. Dit maakt de methode robuuster voor inferentie over subpopulaties.
3. Generaliseerbaarheid: De procedure is generiek en kan worden toegepast op elk type mengmodel (Gaussisch, Latente Klasse, Markov-ketens, etc.) en ongeacht of het aantal clusters bekend is of geschat moet worden via niet-parametrische priors (zoals Dirichlet-processen).
4. Omgaan met Onbekend Aantal Clusters: De auteurs tonen aan hoe CliPS kan worden gecombineerd met MFM-modellen om het aantal clusters te schatten en vervolgens de lege componenten te verwijderen voordat de clustering in de parameterruimte plaatsvindt.

4. Resultaten en Case Studies

De auteurs illustreren de methode met drie verschillende toepassingen:

• Multivariate Gaussische Mengmodellen (Diabetes Data):

  • Gegevens van 145 patiënten met drie metrische variabelen.
  • Het model schatte correct 3 clusters (chemisch, normaal, openlijk diabetes).
  • De non-permutatie rate was 0, wat aangeeft dat de clusterdistributies (gemiddelden) perfect gescheiden waren. De geschatte clusters kwamen overeen met de bekende classificatie (Accuracy 0.855).

• Latente Klasse Analyse met Dirichlet Process Prior (Fear Data):

  • Categorieel data over het gedrag van kinderen (angst, huilen, motoriek).
  • Een oneindig mengmodel werd gebruikt. De posterior van het aantal gevulde componenten ($K_+$) had een modus bij 2.
  • Na het verwijderen van steekproeven met andere $K_+$ waarden, toonde de PPR twee duidelijk gescheiden clusters. De geschatte kansen kwamen sterk overeen met de benchmark uit de literatuur.

• Sparse Mengmodel van Markov-ketens (Loondata):

  • Tijdsreeksdata van loonklassen van werknemers.
  • Een sparse finite mixture model met $K=20$ werd gebruikt. De posterior van $K_+$ had een modus bij 9, maar de auteurs kozen voor 8 om te voorkomen dat clusters te klein waren.
  • Clustering op de "persistence probabilities" (diagonaalelementen van de overgangsmatrix) leverde een zeer lage non-permutatie rate (1.4%).
  • De resulterende clusters toonden duidelijk verschillende patronen van loonmobiliteit (bijv. een cluster met hoge kans op werkloosheid vs. een cluster met stijgende inkomens).

5. Betekenis en Conclusie

De CliPS-procedure vertegenwoordigt een verschuiving in Bayesiaanse clusteranalyse: van het puur vinden van een partitie naar het valideren en karakteriseren van de onderliggende clusterdistributies.

• Robuustheid: Door de non-permutatie rate te monitoren, kunnen onderzoekers direct zien of hun model en priorkeuze leiden tot een betekenisvolle clusteroplossing. Als de rate hoog is, suggereert dit dat de clusters te veel overlappen of dat het model verkeerd gespecificeerd is.
• Flexibiliteit: De methode is niet beperkt tot specifieke distributies en werkt ook goed bij complexe scenario's zoals onbekende aantallen clusters en niet-parametrische priors.
• Praktische Toepasbaarheid: De procedure maakt het mogelijk om nieuwe observaties toe te wijzen aan de geïdentificeerde clusters, wat essentieel is voor voorspellende doeleinden in marketing, epidemiologie en sociale wetenschappen.

Kortom, CliPS biedt een rigoureuze, visuele en kwantitatieve raamwerk om de betrouwbaarheid van clusterresultaten in Bayesiaanse mengmodellen te beoordelen en te interpreteren.