Unsupervised Learning Under a General Semiparametric Clusterwise Elliptical Distribution: Efficient Estimation, Optimal Clustering, and Consistent Cluster Selection

1. Il Problema

L'analisi dei cluster è uno strumento fondamentale per scoprire sottopopolazioni latenti in assenza di etichette di classe, con applicazioni che spaziano dal marketing alla bioinformatica. Tuttavia, i metodi tradizionali presentano limitazioni significative:

• Ipotesi geometriche rigide: Algoritmi come il k-means assumono cluster sferici e di dimensioni uguali, un'ipotesi spesso violata nei dati reali (es. dati di vendita al dettaglio eterogenei o profili clinici correlati).
• Misspecificazione parametrica: I metodi basati su miscele parametriche (es. miscele Gaussiane o t-Student) sono sensibili alla scelta errata della distribuzione sottostante, portando a stime inefficienti o non robuste.
• Scelta del numero di cluster: I criteri di selezione standard (come BIC) possono non essere consistenti o adattarsi male a distribuzioni non parametriche.

Il lavoro affronta la necessità di un quadro flessibile che catturi strutture di cluster ellittiche (allungate e correlate) senza imporre una specifica parametrica completa sulla funzione di densità, garantendo al contempo efficienza statistica e coerenza nell'assegnazione dei cluster.

2. Metodologia

Gli autori introducono la Distribuzione Ellittica a Cluster Semiparametrica (SCED) e sviluppano un procedimento di stima e clustering in due fasi.

A. Il Modello SCED

Il modello assume che i dati continui $X$ siano generati da una densità condizionata:
$$f(x|c; \theta) = |\Sigma|^{-1/2} f_p((x - \mu_c)^\top \Sigma^{-1} (x - \mu_c))$$
dove:

• $\mu_c$ sono i vettori di media specifici per il cluster.
• $\Sigma$ è una matrice di dispersione invariante per cluster.
• $f_p$ è un generatore di densità sconosciuto (semiparametrico), che include come casi speciali le distribuzioni normale e t-Student multivariata.
• Viene utilizzata una rappresentazione "subjectwise" (per soggetto) per trasformare il problema di stima della densità in una stima di un generatore a bassa dimensionalità.

B. Procedura di Stima in Due Fasi

1. Fase 1: Stima con Penalità di Separazione (Separation Penalty Estimation)

   • Si stima una rappresentazione iniziale dei cluster minimizzando una somma ponderata dei quadrati degli errori con una penalità $\ell_1$ basata sulla separazione.
   • L'obiettivo è: $\min \sum (X_i - \beta_i)^\top W (X_i - \beta_i) + \lambda \sum \min_c \|W^{1/2}(\beta_i - \mu_c)\|_1$.
   • Questo approccio, risolto tramite un algoritmo DCFP (Difference of Convex Functions Programming) combinato con ADMM (Alternating Direction Method of Multipliers), garantisce la coerenza nel recupero dei cluster veri (proprietà "oracle") e fornisce un'ottima inizializzazione.

2. Fase 2: Stima Semiparametrica Efficiente e Clustering Ottimale

   • Utilizzando le assegnazioni iniziali, si stimano i parametri tramite Massima Verosimiglianza Pseudo (PML) o Massima Verosimiglianza Pseudo Marginale (PMML).
   • La densità del generatore sconosciuto viene stimata tramite kernel smoothing con correzione al bordo.
   • Viene definita una regola di clustering ottima che massimizza asintoticamente la probabilità di assegnazione corretta, aggiornando iterativamente le assegnazioni basandosi sulle probabilità posteriori stimate.

C. Selezione del Numero di Cluster

Viene proposto un nuovo criterio di informazione semiparametrico (SPIC):
$$SPIC(k) = -\frac{1}{n} p\ell(k) + \frac{k \log n}{2n^{4/5}} + \frac{k(p+1) \log n}{2n}$$
Questo criterio bilancia la verosimiglianza pseudo con termini di penalità derivati dall'espansione asintotica, garantendo la consistenza nella selezione del numero vero di cluster $k^*$.

3. Contributi Chiave

1. Quadro SCED Generale: Un modello che unifica i modelli a cluster Gaussiani e t-Student, evitando la misspecificazione del generatore di densità e mantenendo l'interpretabilità dei parametri di posizione e dispersione.
2. Algoritmo di Stima e Clustering: Uno schema che raggiunge il limite di efficienza semiparametrica asintotica e fornisce una regola di clustering asintoticamente ottima.
3. Algoritmo Computazionale Scalabile: Implementazione efficiente tramite DCFP+ADMM con una strategia di inizializzazione specifica per migliorare la stabilità e la convergenza.
4. Criterio di Selezione Consistente: Introduzione dello SPIC, che supera le limitazioni dei criteri parametrici tradizionali nella selezione del numero di cluster per modelli semiparametrici.

4. Risultati Sperimentali

Gli autori hanno valutato il metodo attraverso simulazioni Monte Carlo e due applicazioni empiriche.

Simulazioni

• Scenario: Dati generati da distribuzioni ellittiche (con generatori di densità non standard e t-Student) con vari dimensioni ($p$) e numeri di cluster ($k$).
• Performance:
  • Il metodo proposto (in particolare la variante RPMML - Refined Pseudo-Maximum Marginal Likelihood) supera significativamente il k-means e le stime parametriche (MMLn, MMLt) in termini di indice di Rand (RI) e errore quadratico medio normalizzato (RSE), specialmente quando i cluster sono sovrapposti o la dimensione è alta.
  • Lo SPIC seleziona correttamente il numero di cluster con alta frequenza, superando i criteri BIC basati su modelli normali o t-Student, che tendono a sovrastimare o sottostimare in presenza di misspecificazione.

Applicazioni Empiriche

1. Segmentazione dei Clienti (Dati di un supermercato):
   • Analisi di 4.062 clienti su 9 categorie di prodotti.
   • Il modello SCED ha identificato 3 cluster significativi con profili di spesa distinti (es. "spenditori alti", "spenditori medi", "spenditori bassi con pattern stagionali").
   • Le stime parametriche hanno fallito nel catturare la vera struttura dei dati (test di adattamento $D > 0$), mentre il modello semiparametrico ha fornito stime robuste e interpretabili.
2. Stratificazione dei Pazienti (Diabete Pima Indian):
   • Analisi di 389 donne su biomarcatori clinici e età.
   • Il modello ha identificato 4 cluster latenti che non erano semplicemente riducibili alle etichette di diabete o gravidità, ma rivelavano sottogruppi clinici complessi (es. pazienti diabetici con profili metabolici diversi).
   • Ha dimostrato che le associazioni tra biomarcatori e esiti variano tra i sottogruppi latenti, suggerendo l'importanza di valutazioni condizionate al cluster.

5. Significato e Implicazioni

Questo lavoro rappresenta un avanzamento significativo nell'apprendimento non supervisionato per dati continui:

• Robustezza: Rimuove la dipendenza da assunzioni distributive rigide, rendendo il metodo applicabile a dati reali complessi e rumorosi.
• Efficienza Statistica: Dimostra che è possibile ottenere l'efficienza semiparametrica anche in contesti di clustering non supervisionato, superando i limiti delle stime parametriche.
• Praticità: Fornisce un algoritmo computazionalmente fattibile e un criterio di selezione del modello (SPIC) che funziona bene in campioni finiti.
• Impatto Applicativo: Offre agli analisti uno strumento per scoprire strutture latenti in marketing, medicina e scienze sociali che i metodi tradizionali (come il k-means o le miscele Gaussiane) non riescono a rilevare, portando a decisioni più informate e personalizzate.

In sintesi, la proposta combina la flessibilità dei metodi non parametrici con la struttura interpretabile dei modelli parametrici, offrendo una soluzione teorica e pratica superiore per l'analisi dei cluster in scenari complessi.