CliPS -- How to identify cluster distributions in Bayesian mixture models

Titolo: CliPS – Identificazione delle distribuzioni dei cluster nei modelli di miscela bayesiani

1. Il Problema

L'analisi dei cluster basata su modelli (model-based clustering) utilizza modelli di miscela finiti per identificare gruppi sottostanti nei dati. Tuttavia, l'approccio bayesiano a questi modelli presenta due sfide fondamentali:

1. Scambio di etichette (Label Switching): Nei modelli di miscela, la verosimiglianza è invariante rispetto alla permutazione delle etichette dei componenti. Di conseguenza, le catene MCMC (Markov Chain Monte Carlo) esplorano tutte le $K!$ permutazioni possibili, rendendo difficile l'inferenza specifica sui parametri di ciascun cluster senza un post-processing complesso.
2. Identificazione della struttura dei cluster: Molti metodi bayesiani si concentrano sull'ottenere una partizione finale dei dati (assegnazione delle osservazioni ai cluster) o sulla stima del numero di componenti, ma spesso non validano se la struttura dei cluster inferita sia effettivamente distinguibile o se i cluster sovrapposti non siano identificabili. Inoltre, quando il numero di cluster è sconosciuto, l'uso di modelli sovrastimati (overfitting) con componenti "vuote" o ridondanti complica l'identificazione delle vere distribuzioni dei cluster.

L'obiettivo del paper è proporre una procedura che identifichi le distribuzioni dei cluster, validi la loro separabilità e risolva automaticamente il problema dello scambio di etichette, indipendentemente dal fatto che il numero di cluster sia noto o meno.

2. Metodologia: La procedura CliPS

Gli autori propongono la procedura CliPS (Clustering in the Parameter Space), che si basa sulla Rappresentazione come Processo di Punti (PPR) di un modello di miscela.

Concetti Chiave:

• Rappresentazione PPR: I parametri specifici dei componenti ($\theta_k$) sono visualizzati come punti nello spazio dei parametri, con le loro pesi ($\eta_k$) come "marche". Questa rappresentazione è invariante rispetto alle etichette.
• Ipotesi Fondamentale: Una soluzione di cluster valida richiede che i cluster siano distinguibili rispetto a un funzionale a bassa dimensionalità dei parametri specifici del componente (es. le medie in una miscela gaussiana). Sebbene le distribuzioni dei dati possano sovrapporsi, le distribuzioni posteriori di questi funzionali tendono a separarsi all'aumentare del campione.

Fasi della Procedura CliPS:

1. Campionamento MCMC: Si esegue il campionamento MCMC con augmentation dei dati per ottenere i draw posteriori dei parametri del modello ($\eta, \theta$) e delle assegnazioni latenti ($S$).
2. Selezione del Funzionale: Si sceglie un funzionale $\phi(\theta_k)$ (es. il vettore delle medie $\mu_k$) che caratterizza le differenze tra i cluster.
3. Clustering nello Spazio dei Parametri:
   • Si raggruppano i $K \times M$ draw dei parametri (o del funzionale) in $K$ gruppi utilizzando un algoritmo di clustering (es. k-means).
   • Punto cruciale: Non si impone che i draw della stessa iterazione appartengano a gruppi diversi. Questo permette di valutare se i cluster sono realmente separabili.
4. Verifica delle Permutazioni:
   • Per ogni iterazione $m$, si verifica se l'assegnazione dei $K$ componenti ai $K$ gruppi forma una permutazione valida di $\{1, \dots, K\}$.
   • Si calcola il tasso di non-permutazione ($\nu$): la frazione di iterazioni in cui i draw non formano una permutazione valida (es. due componenti assegnati allo stesso gruppo).
5. Rietichettatura e Inferenza:
   • Se $\nu$ è basso, si utilizzano le permutazioni valide per rietichettare i draw MCMC, ottenendo un modello identificato.
   • Se $\nu$ è alto, ciò indica che le distribuzioni dei cluster si sovrappongono troppo e il modello non è adatto a distinguere i cluster.

Adattamento per il numero di cluster sconosciuto:
Quando il numero di cluster $K^+$ è sconosciuto, si utilizza un modello di miscela di miscele finite (MFM) o un processo di Dirichlet.

• Si stima il numero di cluster come il modo della distribuzione posteriore del numero di componenti "piene" ($K^+$).
• Si filtrano le iterazioni MCMC dove il numero di componenti piene non corrisponde alla stima $\hat{K}^+$.
• Si rimuovono i draw delle componenti vuote (ridondanti) e si applica la procedura CliPS solo sui draw delle componenti piene.

3. Contributi Chiave

• Validazione della Struttura: A differenza dei metodi tradizionali che forzano una partizione finale, CliPS fornisce una metrica quantitativa (il tasso di non-permutazione) per valutare la validità della soluzione di cluster. Un tasso alto segnala che i cluster non sono distinguibili.
• Gestione Automatica dello Scambio di Etichette: La procedura risolve il problema dello scambio di etichette in modo automatico e basato sui dati, senza imporre vincoli matematici a priori (come ordinamenti forzati) che potrebbero non essere validi.
• Flessibilità: La procedura è generica e applicabile a diversi kernel di clustering (Gaussiani, Latent Class, Catene di Markov) e a diversi approcci non parametrici (Dirichlet Process, Sparse Finite Mixtures).
• Distinzione tra Componenti e Cluster: Offre un quadro teorico chiaro per distinguere il numero di componenti specificate nel modello ($K$) dal numero effettivo di cluster presenti nei dati ($K^+$), gestendo elegantemente i casi di sovrastima (overfitting).

4. Risultati e Applicazioni

Gli autori dimostrano l'efficacia di CliPS su diversi casi di studio:

1. Dati Sintetici (Gaussiani Multivariati):

   • Con $K$ noto: CliPS identifica correttamente i 4 cluster con un tasso di non-permutazione pari a zero, mostrando una chiara separazione delle medie posteriori.
   • Con $K$ sconosciuto (MFM): Il modello stima correttamente $K^+=4$, rimuove le componenti vuote e identifica i cluster con successo.

2. Dati sul Diabete (Multivariati Gaussiani):

   • Applicazione su dati reali con 3 classi note. Il modello stima $K^+=3$. CliPS identifica i cluster con $\nu=0$. Le distribuzioni posteriori delle medie permettono di caratterizzare i cluster (es. un gruppo con alti livelli di glucosio e insulina). L'accuratezza della classificazione finale è dell'85.5%.

3. Analisi Latente di Classi (Dati Categorici - Paura):

   • Utilizzo di un processo di Dirichlet su dati categorici (paura, pianto, attività motoria).
   • La distribuzione posteriore di $K^+$ ha un modo a 2. Dopo il filtraggio, CliPS separa chiaramente i due profili comportamentali (inibiti vs non inibiti) con $\nu=0$, allineandosi perfettamente con le stime di benchmark della letteratura.

4. Modelli di Catene di Markov (Dati Salariali):

   • Clustering di serie temporali categoriche (mobilità salariale).
   • Utilizzando un modello di miscela sparso con $K=20$, il metodo stima $K^+=8$. CliPS utilizza le probabilità di persistenza come funzionale. Il tasso di non-permutazione è molto basso (1.4%), permettendo di identificare 8 profili distinti di mobilità salariale.

5. Significato e Conclusione

La procedura CliPS rappresenta un avanzamento significativo nell'analisi dei cluster bayesiana perché sposta il focus dalla semplice partizione dei dati all'identificazione e validazione delle distribuzioni dei cluster.

• Robustezza: Fornisce un criterio oggettivo per decidere se un modello di miscela è appropriato per i dati in esame. Se il tasso di non-permutazione è alto, suggerisce che i cluster non sono distinguibili o che il modello (o i prior) deve essere riveduto.
• Generalità: È applicabile a una vasta gamma di modelli, inclusi quelli non parametrici e le serie temporali.
• Interpretabilità: Permette di caratterizzare i cluster in base ai loro parametri specifici (es. medie, probabilità di transizione) in modo univoco, facilitando l'interpretazione sostanziale dei risultati.

In sintesi, CliPS trasforma l'output grezzo delle simulazioni MCMC in un modello identificato e validato, garantendo che le conclusioni tratte sui sottogruppi della popolazione siano statisticamente solide e non artefatti numerici dello scambio di etichette.