Model--based clustering for spherical and hyper--spherical data using elliptically symmetric distributions

Resumo Técnico: Agrupamento baseado em modelo para dados esféricos e hiper-esféricos utilizando distribuições simétricas elipticamente

Declaração do Problema
Dados direcionais, restritos a uma norma unitária ($S^d$), são prevalentes em campos como geologia, ciências ambientais e robótica. Embora o agrupamento baseado em modelo para tais dados tenha atraído interesse significativo, a maioria dos métodos existentes baseia-se em distribuições simétricas rotacionalmente (por exemplo, von Mises–Fisher, Normal Projetada, Cauchy Esférico). Essas distribuições assumem covariância isotrópica, o que restringe sua capacidade de modelar estruturas de dados complexas onde os agrupamentos exibem formas elípticas em vez de simetria circular ou esférica. Embora distribuições simétricas elipticamente, como a distribuição de Kent, tenham sido propostas, há uma necessidade de modelos de mistura robustos que utilizem distribuições recentemente propostas, oferecendo vantagens computacionais e formas de contorno flexíveis.

Metodologia
O artigo propõe agrupamento baseado em modelo para dados esféricos e hiper-esféricos utilizando misturas de duas distribuições simétricas elipticamente específicas:

1. Gaussiana Angular Simétrica Elipticamente (ESAG): Proposta por Paine et al. (2018), esta distribuição surge da projeção de uma distribuição normal multivariada sobre a esfera. Ela impõe restrições à matriz de covariância para garantir identificabilidade, permitindo contornos elípticos que correspondem à distribuição Fisher–Bingham, mas com uma constante de normalização de forma fechada.
2. Cauchy Projetado Esférico Simétrico Elipticamente (SESPC): Proposto por Tsagris e Alzeley (2025), esta distribuição é derivada projetando-se uma distribuição Cauchy tridimensional sobre a esfera sob restrições de simetria elíptica semelhantes.

Estimação e Implementação:

• Algoritmo: O algoritmo Expectation–Maximization (EM) é empregado para estimar os parâmetros dos modelos de mistura finitos. O passo E computa probabilidades de pertencimento posteriores, enquanto o passo M atualiza as proporções de mistura e os parâmetros da distribuição.
• Otimização: Como maximizadores de forma fechada para os parâmetros de média ($\mu$) e forma ($\gamma$) não existem para essas densidades, otimização numérica (por exemplo, Nelder–Mead) é utilizada no passo M.
• Seleção de Modelo: O critério de Verossimilhança Completada Integrada (ICL) é utilizado para determinar o número ótimo de agrupamentos ($K$).
• Inicialização: Para evitar máximos locais, os autores comparam a inicialização via $k$-means e Modelos de Mistura Gaussianos (GMMs), constatando que GMMs com covariância estruturada produzem melhor desempenho para essas distribuições elípticas.
• Covariáveis: O framework permite a inclusão de covariáveis para modelar probabilidades de mistura (modelo concomitante) ou vetores de média (mistura de regressões), embora isso aumente o custo computacional.
• Dados Hiper-esféricos: Para dados residindo em hiper-esferas ($d > 2$), os autores projetam os dados sobre uma esfera tridimensional usando Análise de Geodésicas Principais (PGA) antes de aplicar os modelos de mistura esféricos.

Principais Contribuições

• Extensão de Frameworks de Agrupamento: O artigo estende o agrupamento baseado em modelo além das distribuições simétricas rotacionalmente para incluir ESAG e SESPC, permitindo a modelagem de agrupamentos com contornos elípticos.
• Análise Comparativa: O estudo fornece uma comparação abrangente entre as misturas ESAG e SESPG quanto à precisão de detecção de agrupamentos, robustez à forma do agrupamento e eficiência computacional.
• Adaptação Hiper-esférica: Aborda a aplicação desses modelos esféricos a dados hiper-esféricos via projeção, um passo necessário dado que o SESPC foi originalmente definido para esferas 3D.

Resultados

• Estudos de Simulação:
  • Precisão: Quando os dados são gerados a partir de misturas ESAG, ambos os modelos performam de forma similar. No entanto, quando os dados são gerados a partir de misturas SESPC, o modelo SESPC supera o ESAG, particularmente na detecção do número correto de agrupamentos e na obtenção de valores mais altos do Índice Rand Ajustado (ARI).
  • Forma do Agrupamento: A distribuição SESPC é notada por ser mais "espalhada" nas caudas em comparação com a ESAG. Consequentemente, a ESAG enfrenta mais dificuldades quando a estrutura real dos dados é altamente dispersa ou quando os agrupamentos são formados em ângulos específicos.
  • Tamanho da Amostra e Concentração: O desempenho melhora com tamanhos de amostra maiores e parâmetros de concentração ($\tau$) mais altos. Tamanhos de amostra pequenos ou parâmetros de concentração baixos levam a dificuldades na detecção do número correto de agrupamentos.
  • Custo Computacional: O modelo SESPC é consistentemente mais rápido que o modelo ESAG em vários tamanhos de amostra ($n=200, 500, 1000$).
• Aplicações em Dados Reais:
  • Dados de Terremotos (América do Norte e Fiji): Ambos os modelos identificaram números semelhantes de agrupamentos para dados da América do Norte (4 agrupamentos), embora tenham atribuído locais específicos (por exemplo, Havaí) de forma diferente. Verificou-se que os agrupamentos SESPC eram mais linearmente separáveis. Para a região de Fiji, o SESPC selecionou 4 agrupamentos enquanto o ESAG selecionou 7; os agrupamentos SESPC foram novamente mais fáceis de separar. A inclusão da magnitude do terremoto como covariável teve um efeito fraco nos dados da América do Norte, mas reduziu o número de agrupamentos para o modelo ESAG de Fiji.
  • Dados de Qualidade de Vinho: Ambos os modelos identificaram corretamente 2 agrupamentos. O ESAG alcançou um ARI mais alto (0,700) em comparação com o SESPC (0,546), sugerindo que o ESAG foi mais apropriado para este conjunto de dados específico.
  • Dados de Atacado: O ESAG detectou 3 agrupamentos enquanto o SESPC detectou 2.
  • Comparação com SC: Em ambos os conjuntos de dados hiper-esféricos do mundo real (Vinho e Atacado), os modelos elípticos propostos superaram o modelo de mistura Cauchy Esférico (SC) simétrico rotacionalmente em termos de ARI.

Significância e Afirmações
Os autores afirmam que a principal significância deste trabalho reside no relaxamento da suposição de covariância isotrópica inerente à maioria dos métodos de agrupamento direcional. Ao utilizar misturas ESAG e SESPC, os modelos propostos podem capturar estruturas de agrupamentos elipsoidais, oferecendo uma alternativa mais flexível às distribuições simétricas rotacionalmente.

O artigo conclui modestamente que, embora ambas as distribuições sejam eficazes, a escolha entre elas depende do processo de geração de dados subjacente: o ESAG é adequado para dados com agrupamentos mais apertados e menos dispersos, enquanto o SESPC é superior para dados com caudas mais pesadas ou estruturas mais dispersas. Além disso, o estudo demonstra que projetar dados hiper-esféricos sobre uma esfera permite que esses modelos de mistura esféricos sejam aplicados efetivamente a dados direcionais de dimensões mais altas, superando abordagens tradicionais simétricas rotacionalmente em testes empíricos.