Model--based clustering for spherical and hyper--spherical data using elliptically symmetric distributions

Sintesi Tecnica: Clustering basato su modelli per dati sferici e ipersferici utilizzando distribuzioni simmetriche ellittiche

Enunciato del Problema
I dati direzionali, vincolati a una norma unitaria ($S^d$), sono prevalenti in campi quali geologia, scienze ambientali e robotica. Sebbene il clustering basato su modelli per tali dati abbia suscitato un interesse significativo, la maggior parte dei metodi esistenti si basa su distribuzioni a simmetria rotazionale (ad esempio, von Mises–Fisher, Normale Proiettata, Cauchy Sferica). Queste distribuzioni assumono una covarianza isotropa, il che limita la loro capacità di modellare strutture dati complesse in cui i cluster presentano forme ellittiche piuttosto che simmetria circolare o sferica. Sebbene siano state proposte distribuzioni simmetriche ellittiche come la distribuzione di Kent, esiste la necessità di modelli di mistura robusti che utilizzino distribuzioni recentemente proposte, le quali offrono vantaggi computazionali e forme di contorno flessibili.

Metodologia
Il documento propone il clustering basato su modelli per dati sferici e ipersferici utilizzando miscele di due specifiche distribuzioni simmetriche ellittiche:

1. Gaussiana Angolare Simmetrica Ellittica (ESAG): Proposta da Paine et al. (2018), questa distribuzione deriva dalla proiezione di una distribuzione normale multivariata sulla sfera. Impone vincoli sulla matrice di covarianza per garantire l'identificabilità, consentendo contorni ellittici che corrispondono alla distribuzione Fisher–Bingham ma con una costante di normalizzazione in forma chiusa.
2. Cauchy Proiettata Sferica Simmetrica Ellittica (SESPC): Proposta da Tsagris e Alzeley (2025), questa distribuzione è derivata proiettando una distribuzione di Cauchy tridimensionale sulla sfera sotto vincoli di simmetria ellittica simili.

Stima e Implementazione:

• Algoritmo: L'algoritmo di Massimizzazione delle Aspettative (EM) è impiegato per stimare i parametri dei modelli di mistura finita. Il passo E calcola le probabilità di appartenenza posteriori, mentre il passo M aggiorna le proporzioni di miscela e i parametri della distribuzione.
• Ottimizzazione: Poiché non esistono massimizzatori in forma chiusa per i parametri di posizione ($\mu$) e forma ($\gamma$) per queste densità, viene utilizzata l'ottimizzazione numerica (ad esempio, Nelder–Mead) nel passo M.
• Selezione del Modello: Il criterio della Verosimiglianza Completata Integrata (ICL) è utilizzato per determinare il numero ottimale di cluster ($K$).
• Inizializzazione: Per evitare massimi locali, gli autori confrontano l'inizializzazione tramite $k$-means e Modelli di Mistura Gaussiana (GMM), rilevando che i GMM con covarianza strutturata producono prestazioni migliori per queste distribuzioni ellittiche.
• Covariate: Il framework consente l'inclusione di covariate per modellare le probabilità di miscela (modello concomitante) o i vettori di media (mistura di regressioni), sebbene ciò aumenti il costo computazionale.
• Dati Ipersferici: Per i dati che risiedono su ipersfere ($d > 2$), gli autori proiettano i dati su una sfera tridimensionale utilizzando l'Analisi Geodetica Principale (PGA) prima di applicare i modelli di mistura sferica.

Contributi Chiave

• Estensione dei Framework di Clustering: Il documento estende il clustering basato su modelli oltre le distribuzioni a simmetria rotazionale per includere ESAG e SESPC, consentendo la modellazione di cluster con contorni ellittici.
• Analisi Comparativa: Lo studio fornisce un confronto completo tra le miscele ESAG e SESPG per quanto riguarda l'accuratezza nel rilevamento dei cluster, la robustezza rispetto alla forma del cluster e l'efficienza computazionale.
• Adattamento Ipersferico: Affronta l'applicazione di questi modelli sferici ai dati ipersferici tramite proiezione, un passaggio necessario dato che SESPC è stata originariamente definita per sfere 3D.

Risultati

• Studi di Simulazione:
  • Accuratezza: Quando i dati sono generati da miscele ESAG, entrambi i modelli performano in modo simile. Tuttavia, quando i dati sono generati da miscele SESPC, il modello SESPC supera l'ESAG, in particolare nel rilevare il numero corretto di cluster e nel raggiungere valori più elevati dell'Indice Rand Aggiustato (ARI).
  • Forma del Cluster: La distribuzione SESPC è notata per essere più "dispersa" nelle code rispetto all'ESAG. Di conseguenza, l'ESAG fatica di più quando la struttura dati reale è altamente dispersa o quando i cluster sono formati a specifici angoli.
  • Dimensione del Campione e Concentrazione: Le prestazioni migliorano con dimensioni del campione più grandi e parametri di concentrazione ($\tau$) più elevati. Dimensioni del campione piccole o parametri di concentrazione bassi portano a difficoltà nel rilevare il numero corretto di cluster.
  • Costo Computazionale: Il modello SESPC è costantemente più veloce del modello ESAG attraverso varie dimensioni del campione ($n=200, 500, 1000$).
• Applicazioni su Dati Reali:
  • Dati Sismici (Nord America e Fiji): Entrambi i modelli hanno identificato un numero simile di cluster per i dati del Nord America (4 cluster), sebbene abbiano assegnato posizioni specifiche (ad esempio, Hawaii) in modo diverso. I cluster SESPC si sono rivelati più linearmente separabili. Per la regione delle Fiji, SESPC ha selezionato 4 cluster mentre ESAG ne ha selezionati 7; i cluster SESPC sono stati nuovamente più facili da separare. L'inclusione della magnitudo del terremoto come covariata ha avuto un effetto debole sui dati del Nord America ma ha ridotto il numero di cluster per il modello ESAG delle Fiji.
  • Dati sulla Qualità del Vino: Entrambi i modelli hanno correttamente identificato 2 cluster. ESAG ha raggiunto un ARI più alto (0,700) rispetto a SESPC (0,546), suggerendo che ESAG era più appropriato per questo specifico dataset.
  • Dati all'Ingrosso: ESAG ha rilevato 3 cluster mentre SESPC ne ha rilevati 2.
  • Confronto con SC: In entrambi i dataset reali ipersferici (Vino e All'Ingrosso), i modelli ellittici proposti hanno superato il modello di mistura Cauchy Sferica (SC) a simmetria rotazionale in termini di ARI.

Significato e Affermazioni
Gli autori affermano che il significato primario di questo lavoro risiede nel rilassare l'assunzione di covarianza isotropa intrinseca nella maggior parte dei metodi di clustering direzionale. Utilizzando miscele ESAG e SESPC, i modelli proposti possono catturare strutture di cluster ellissoidali, offrendo un'alternativa più flessibile alle distribuzioni a simmetria rotazionale.

Il documento conclude con modestia che, sebbene entrambe le distribuzioni siano efficaci, la scelta tra esse dipende dal processo di generazione dei dati sottostante: ESAG è adatto per dati con cluster più compatti e meno dispersi, mentre SESPC è superiore per dati con code più pesanti o strutture più disperse. Inoltre, lo studio dimostra che proiettare dati ipersferici su una sfera permette di applicare efficacemente questi modelli di mistura sferica a dati direzionali di dimensioni superiori, superando gli approcci tradizionali a simmetria rotazionale nei test empirici.