Model--based clustering for spherical and hyper--spherical data using elliptically symmetric distributions

Technische Samenvatting: Modelgebaseerde clustering voor sferische en hypersferische data met behulp van elliptisch symmetrische verdelingen

Probleemstelling
Richtingsdata, beperkt tot een eenheidsnorm ($S^d$), komt veel voor in vakgebieden zoals geologie, milieuwetenschappen en robotica. Hoewel modelgebaseerde clustering voor dergelijke data aanzienlijke belangstelling heeft getrokken, vertrouwen de meeste bestaande methoden op rotatiesymmetrische verdelingen (bijvoorbeeld von Mises–Fisher, Projected Normal, Spherical Cauchy). Deze verdelingen gaan uit van een isotrope covariantie, wat hun vermogen beperkt om complexe datastructuren te modelleren waarbij clusters elliptische vormen vertonen in plaats van cirkelvormige of sferische symmetrie. Hoewel elliptisch symmetrische verdelingen zoals de Kent-verdeling zijn voorgesteld, is er behoefte aan robuuste mengmodellen die gebruikmaken van onlangs voorgestelde verdelingen die rekenkundige voordelen bieden en flexibele contourvormen mogelijk maken.

Methodologie
Het artikel stelt modelgebaseerde clustering voor sferische en hypersferische data voor met behulp van mengsels van twee specifieke elliptisch symmetrische verdelingen:

1. Elliptisch Symmetrisch Angular Gaussian (ESAG): Voorgesteld door Paine et al. (2018), ontstaat deze verdeling door een multivariate normale verdeling op de sfeer te projecteren. Het legt beperkingen op de covariantiematrix op om identificeerbaarheid te waarborgen, waardoor elliptische contouren mogelijk zijn die overeenkomen met de Fisher–Bingham-verdeling, maar dan met een gesloten vorm normaliserende constante.
2. Sferisch Elliptisch Symmetrisch Projected Cauchy (SESPC): Voorgesteld door Tsagris en Alzeley (2025), wordt deze verdeling afgeleid door een Cauchy-verdeling met 3 dimensies op de sfeer te projecteren onder vergelijkbare elliptische symmetriebeperkingen.

Schatting en Implementatie:

• Algoritme: Het Expectation–Maximization (EM)-algoritme wordt ingezet om de parameters van de eindige mengmodellen te schatten. De E-stap berekent posterior lidmaatschapskansen, terwijl de M-stap mengverhoudingen en verdelingsparameters bijwerkt.
• Optimalisatie: Omdat er geen gesloten vorm-maximalisatoren bestaan voor de gemiddelde ($\mu$) en vorm ($\gamma$) parameters voor deze dichtheden, wordt numerieke optimalisatie (bijvoorbeeld Nelder–Mead) gebruikt in de M-stap.
• Modelselectie: Het Integrated Completed Likelihood (ICL)-criterium wordt gebruikt om het optimale aantal clusters ($K$) te bepalen.
• Initialisatie: Om lokale maxima te vermijden, vergelijken de auteurs initialisatie via $k$-means en Gaussian Mixture Models (GMM's), en komen tot de bevinding dat GMM's met gestructureerde covariantie betere prestaties leveren voor deze elliptische verdelingen.
• Covariaten: Het kader staat toe covariaten op te nemen om mengkansen (concomitant model) of gemiddelde vectoren (mengsel van regressies) te modelleren, hoewel dit de rekenkosten verhoogt.
• Hypersferische Data: Voor data die op hypersferen ($d > 2$) resideert, projecteren de auteurs de data eerst op een 3-dimensionale sfeer met behulp van Principal Geodesic Analysis (PGA) voordat ze de sferische mengmodellen toepassen.

Belangrijkste Bijdragen

• Uitbreiding van Clusteringkaders: Het artikel breidt modelgebaseerde clustering uit buiten rotatiesymmetrische verdelingen om ESAG en SESPC op te nemen, waardoor het modelleren van clusters met elliptische contouren mogelijk wordt.
• Vergelijkende Analyse: De studie biedt een uitgebreide vergelijking tussen ESAG- en SESPG-mengsels met betrekking tot de nauwkeurigheid van clusterdetectie, robuustheid ten opzichte van cluster-vorm en rekenkundige efficiëntie.
• Aanpassing voor Hypersferen: Het behandelt de toepassing van deze sferische modellen op hypersferische data via projectie, een noodzakelijke stap aangezien SESPC oorspronkelijk was gedefinieerd voor 3D-sferen.

Resultaten

• Simulatiestudies:
  • Nauwkeurigheid: Wanneer data wordt gegenereerd uit ESAG-mengsels, presteren beide modellen even goed. Wanneer data echter uit SESPC-mengsels wordt gegenereerd, presteert het SESPC-model beter dan ESAG, met name bij het detecteren van het juiste aantal clusters en het behalen van hogere Adjusted Rand Index (ARI)-waarden.
  • Cluster-vorm: De SESPC-verdeling wordt opgemerkt als meer "uitgespreid" in de staarten in vergelijking met ESAG. Bijgevolg heeft ESAG meer moeite wanneer de ware datastructuur sterk verspreid is of wanneer clusters worden gevormd op specifieke hoeken.
  • Steekproefgrootte en Concentratie: De prestaties verbeteren met grotere steekproefgroottes en hogere concentratieparameters ($\tau$). Kleine steekproefgroottes of lage concentratieparameters leiden tot moeilijkheden bij het detecteren van het juiste aantal clusters.
  • Rekenkosten: Het SESPC-model is consistent sneller dan het ESAG-model over verschillende steekproefgroottes ($n=200, 500, 1000$).
• Toepassingen op Realistische Data:
  • Aardbevingsdata (Noord-Amerika & Fiji): Beide modellen identificeerden een vergelijkbaar aantal clusters voor Noord-Amerikaanse data (4 clusters), hoewel ze specifieke locaties (bijvoorbeeld Hawaï) verschillend toewezen. SESPC-clusters bleken lineair beter te scheiden. Voor het Fiji-gebied selecteerde SESPC 4 clusters terwijl ESAG er 7 selecteerde; SESPC-clusters waren opnieuw makkelijker te scheiden. De opname van aardbevingsgrootte als covariaat had een zwak effect op Noord-Amerikaanse data, maar verlaagde het aantal clusters voor het Fiji ESAG-model.
  • Wijnkwaliteitsdata: Beide modellen identificeerden correct 2 clusters. ESAG behaalde een hogere ARI (0,700) in vergelijking met SESPC (0,546), wat suggereert dat ESAG geschikter was voor deze specifieke dataset.
  • Groothandeldata: ESAG detecteerde 3 clusters terwijl SESPC er 2 detecteerde.
  • Vergelijking met SC: In beide realistische hypersferische datasets (Wijn en Groothandel) presteerden de voorgestelde elliptische modellen beter dan het rotatiesymmetrische Spherical Cauchy (SC)-mengmodel in termen van ARI.

Betekenis en Beweringen
De auteurs beweren dat de primaire betekenis van dit werk ligt in het versoepelen van de isotrope covariantie-aanname die inherent is aan de meeste richtingsclustering-methoden. Door gebruik te maken van ESAG- en SESPC-mengsels kunnen de voorgestelde modellen ellipsoïdale clusterstructuren vastleggen, en bieden ze een flexibeler alternatief voor rotatiesymmetrische verdelingen.

Het artikel concludeert nederig dat hoewel beide verdelingen effectief zijn, de keuze tussen hen afhangt van het onderliggende data-generatieproces: ESAG is geschikt voor data met strakkere, minder verspreide clusters, terwijl SESPC superieur is voor data met zwaardere staarten of meer verspreide structuren. Bovendien toont de studie aan dat het projecteren van hypersferische data op een sfeer het mogelijk maakt deze sferische mengmodellen effectief toe te passen op hogere dimensionale richtingsdata, en dat ze in empirische tests beter presteren dan traditionele rotatiesymmetrische benaderingen.