📊 statistics

Clustering data with values missing at random using scale mixtures of multivariate skew-normal distributions

Este artigo propõe um algoritmo do tipo EM aumentado para agrupamento baseado em modelos de dados com valores ausentes ao acaso, estendendo a mistura finita de misturas de escala de distribuições multivariadas skew-normais para lidar simultaneamente com assimetria, caudas pesadas e observações incompletas.

Autores originais: Jason Pillay, Cristina Tortora, Antonio Punzo, Andriette Bekker

Publicado 2026-07-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jason Pillay, Cristina Tortora, Antonio Punzo, Andriette Bekker

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério agrupando suspeitos com base em seus hábitos. No mundo da ciência de dados, isso é chamado de "clustering" (agrupamento). Geralmente, os detetives têm um alinhamento perfeito onde cada suspeito aparece com um arquivo completo de informações. Mas no mundo real, os arquivos costem ter páginas faltando, a tinta está borrada ou as testemunhas esquecem detalhes. Isso é "dados ausentes". Se você tentar resolver o mistério ignorando os arquivos ausentes, pode perder as pistas mais importantes. Se tentar adivinhar o que está faltando, pode acidentalmente inventar um suspeito que nunca existiu.

Para dar sentido a informações incompletas e desorganizadas, os cientistas frequentemente usam uma ferramenta chamada "modelo de mistura" (mixture model). Pense nisso como um saco de mármores de cores diferentes. Se você enfiar a mão e tirar um, não sabe qual é a cor, mas sabe que o saco é uma mistura de vermelho, azul e verde. O objetivo é descobrir quantas cores existem no saco e como é a aparência "média" de um mármore vermelho. Por muito tempo, os cientistas assumiram que esses mármores eram perfeitamente redondos e simétricos, como dados padrão. Mas os dados do mundo real costumam ser desproporcionais — alguns mármores são alongados, ou têm caudas pesadas onde valores extremos ficam à espreita. Para lidar com isso, os cientistas desenvolveram distribuições "skew-normal" (assimétricas normais), que são como mármores elásticos e desproporcionais que podem se moldar a formas estranhas.

No entanto, havia um problema: esses mármores sofisticados e elásticos eram ótimos quando os dados estavam completos, mas desmoronavam quando os arquivos tinham páginas faltando. Você não podia simplesmente ignorar as partes que faltavam, e adivinhar era arriscado. Este artigo intervém para corrigir essa lacuna. Ele pega os mármores "skew-normal" poderosos e elásticos e ensina como lidar com informações ausentes sem quebrar as regras do jogo.

Os autores, uma equipe de estatísticos da África do Sul, dos EUA e da Itália, construíram um novo motor matemático chamado família "Finite Mixture of Scale Mixtures of Multivariate Skew-Normal" (FMSMSN). Imagine esta família como uma caixa de ferramentas contendo quatro tipos diferentes de mármores elásticos e desproporcionais: o skew-normal padrão, o skew-t (que lida com outliers extremos), o skew-slash (que lida com outliers ainda mais selvagens) e o skew-variance-gamma (o mais flexível de todos).

O grande avanço deste artigo é que eles descobriram como usar toda essa caixa de ferramentas mesmo quando os dados estão incompletos. Eles fizeram isso assumindo que os dados ausentes são "Missing At Random" (MAR - Ausentes ao Acaso). Em termos de detetive, isso significa que o motivo de um arquivo estar faltando não é porque o suspeito está escondendo algo específico sobre si mesmo, mas talvez porque o arquivo se perdeu no correio ou a testemunha estava ocupada. A ausência não depende do valor secreto em si. Sob essa suposição, os autores derivaram um novo conjunto de regras (um algoritmo modificado) que permite ao computador "preencher as lacunas" matematicamente enquanto descobre os grupos, em vez de apenas adivinhar ou descartar os dados.

Para ver se o novo motor funcionava, a equipe realizou uma série de simulações computacionais. Eles criaram conjuntos de dados falsos com dois grupos de dados, alguns próximos entre si e outros distantes. Eles então apagaram deliberadamente 0%, 20%, 40%, 60% e até 80% das informações de forma aleatória. Eles testaram todos os quatro tipos de mármores de sua caixa de ferramentas para ver qual ainda conseguia encontrar os grupos corretamente e adivinhar as formas certas dos mármores.

Os resultados mostraram que, à medida que mais dados desapareciam, tornava-se mais difícil para todos os modelos encontrarem os grupos, o que é esperado. No entanto, os modelos mais complexos e flexíveis (como o skew-variance-gamma) geralmente tiveram um desempenho melhor em recuperar as formas reais dos dados, mesmo com até 80% das informações ausentes. A equipe descobriu que, embora nenhum modelo fosse perfeito quando os dados estavam ausentes, seu novo método era muito superior ao simples fato de deletar as linhas incompletas, o que teria deixado quase nenhum dado disponível para trabalhar.

Finalmente, os pesquisadores levaram seu novo método para fora do laboratório de simulação e o aplicaram a dados do mundo real: emissões globais de dióxido de carbono (CO2). Eles analisaram as emissões de sete setores diferentes (como eletricidade, manufatura e transporte) para países de todo o mundo. O detalhe? Mais de 84% das linhas nesse conjunto de dados estavam incompletas. Se tivessem usado o antigo método de "deletar o que falta", teriam que jogar fora quase todo o conjunto de dados. Em vez disso, eles usaram seu novo algoritmo.

O algoritmo agrupou com sucesso os países em dois clusters distintos. Um grupo incluía nações com emissões geralmente mais baixas, como partes do Norte da África, Canadá e Japão. O outro grupo incluía países com emissões mais altas, incluindo os EUA, China, Índia e muitas nações do Sul Global. A análise sugeriu uma ligação entre o crescimento econômico (PIB) em melhoria e o aumento das emissões de carbono, destacando que economias em desenvolvimento frequentemente enfrentam um compromisso entre crescimento e impacto ambiental. O estudo conclui que, ao usar essa abordagem flexível e amigável a dados ausentes, os cientistas agora podem descobrir padrões em dados desorganizados do mundo real que antes eram impossíveis de visualizar, oferecendo uma imagem mais clara das tendências globais sem ter que descartar informações valiosas.

Resumo Técnico: Agrupamento de Dados com Valores Ausentes ao Acaso Usando Misturas de Escala de Distribuições Multivariadas Assimétricas

Definição do Problema
O agrupamento baseado em modelos é uma ferramenta padrão para analisar dados de alta dimensão, mas enfrenta desafios significativos quando os conjuntos de dados exibem assimetria, caudas pesadas e valores ausentes. Embora os Modelos de Mistura Gaussiana (GMMs) sejam computacionalmente eficientes, eles frequentemente falham em capturar geometrias de agrupamento assimétricas, levando os profissionais a superestimar o número de clusters para compensar a assimetria. Embora a família de Misturas Finitas de Misturas de Escala de Distribuições Multivariadas Assimétricas (FMSMSN) tenha sido desenvolvida para abordar a assimetria e a curtose excessiva, a literatura existente carece de um framework unificado para aplicar esses modelos a dados incompletos. As abordagens atuais dependem frequentemente da exclusão de casos (listwise deletion), o que descarta informações valiosas e introduz viés, ou de técnicas de imputação computacionalmente caras. Além disso, extensões anteriores da família FMSMSN para lidar com dados ausentes limitaram-se a membros específicos da família (por exemplo, apenas skew-t ou skew-normal) em vez de toda a família geral.

Metodologia
O artigo propõe um framework geral para ajustar modelos FMSMSN a dados com valores Ausentes ao Acaso (MAR - Missing At Random). A metodologia é construída sobre três pilares teóricos e algorítmicos:

Teoria Distributiva sob MAR: Os autores estendem a teoria de distribuição da distribuição multivariada assimétrica (SN) para lidar explicitamente com vetores aleatórios com componentes observados ( $X^{(o)}$ ) e ausentes ( $X^{(m)}$ ). Eles derivam a distribuição de probabilidade completa que governa os componentes ausentes sob a suposição MAR. Isso envolve a partição do vetor de localização ( $\mu$ ), da matriz de escala ( $\Sigma$ ) e do vetor de assimetria ( $\lambda$ ) em subcomponentes observados e ausentes. Os autores estabelecem que a distribuição condicional dos componentes ausentes, dados os observados, segue uma forma skew-normal específica com parâmetros atualizados.
Representação Estocástica e Momentos: Utilizando a representação estocástica da família FMSMSN, o artigo deriva expressões de forma fechada para as expectativas condicionais e covariâncias dos dados ausentes. Essas derivações são cruciais para o algoritmo de Expectativa-Maximização (EM), pois permitem o cálculo das estatísticas suficientes necessárias sem recorrer à integração numérica.
Algoritmo ECM: Os autores desenvolvem um algoritmo de Expectativa-Condicional Maximização (ECM) adaptado para observações incompletas.
- Passo E (Expectativa): Computa as expectativas condicionais das variáveis latentes (vetores de alocação, variáveis de escala e variáveis normais truncadas) e dos componentes de dados ausentes. O artigo fornece expressões de forma fechada para essas expectativas, incluindo os produtos cruzados dos valores ausentes.
- Passo M (Maximização): Atualiza os parâmetros do modelo (proporções de mistura, localização, escala, assimetria e hiperparâmetros) maximizando a esperança da log-verossimilhança dos dados completos. O passo M é dividido em etapas de maximização condicional para lidar com a interdependência dos parâmetros.
- Convergência: O algoritmo utiliza o critério de aceleração de Aitken para determinar a convergência, garantindo que a log-verossimilhança observada se estabilize.

Principais Contribuições
O artigo apresenta duas contribuições primárias:

Extensão Teórica: Fornece a primeira derivação da distribuição de probabilidade completa para componentes ausentes dentro de toda a família FMSMSM sob o mecanismo MAR. Isso inclui o estabelecimento de expressões cruciais de estrutura de expectativa e covariância, permitindo que a família seja aplicada de forma geral, em vez de apenas a casos especiais isolados.
Inovação Metodológica: Propõe um procedimento de estimação generalizado (algoritmo ECM) que lida simultaneamente com observações incompletas e variáveis latentes para a família FMSMSM. Uma vantagem distinta desta abordagem é que ela fornece um conjunto de valores imputados para os dados ausentes ao final do algoritmo com custo computacional adicional mínimo, preservando a estrutura distributiva subjacente.

Resultos
O método proposto foi avaliado através de extensos experimentos de simulação e uma aplicação no mundo real:

Estudos de Simulação: Os autores simularam dados bivariados a partir de misturas de dois componentes usando quatro distribuições específicas: Skew-Normal (SN), Skew-Slash (SS), Skew-t (ST) e Skew-Variance-Gamma (SVG). Eles testaram o desempenho através de níveis variados de sobreposição de clusters (bem separados vs. próximos) e proporções de dados ausentes (0% a 80%).
- Desempenho de Agrupamento: Medido pelo Índice Rand Ajustado (ARI), os resultados mostraram uma relação inversa entre a proporção de dados ausentes e a precisão do agrupamento. No entanto, a família FMSMSM manteve um desempenho robusto mesmo com alta taxa de ausência (até 80%). As distribuições mais flexíveis (SVG e SS) geralmente superaram a SN simples quando os dados foram gerados a partir de distribuições complexas, particularmente em cenários de proximidade próxima de clusters.
- Recuperação de Parâmetros: Medido pelo Viés Absoluto (AB) e Erro Quadrático Médio (RMSE), a distribuição SVG demonstrou consistentemente o menor erro através de níveis variados de ausência e proximidade de clusters. A recuperação dos parâmetros de assimetria ( $\lambda$ ) mostrou um comportamento único, desviando-se da tendência geral sob proximidade de clusters próxima.
Aplicação no Mundo Real: O método foi aplicado aos dados globais de emissões de CO2 do banco de dados EDGAR (2022), que continha 84,13% de linhas incompletas em sete setores econômicos.
- A seleção de modelo via Critério de Informação Bayesiano (BIC) favoreceu uma mistura de dois componentes Skew-Variance-Gamma.
- A análise agrupou com sucesso os países em dois clusters distintos: um representando países com emissões totais mais baixas (incluindo partes da Europa, Norte da África e economias desenvolvidas como Japão e Canadá) e outro representando países com emissões mais altas (incluindo o Sul Global, EUA, Reino Unido, Austrália, China e Índia).
- Os resultados destacaram uma ligação entre a melhoria do PIB e o aumento das emissões de carbono, bem como fatores de condução distintos entre o Norte e o Sul Globais. A capacidade de modelar o conjunto de dados completo sem a exclusão de casos foi crítica, pois o subconjunto completo era pequeno demais para uma análise significativa.

Significância e Alegações
O artigo afirma que o framework proposto aborda uma lacuna crítica na literatura ao permitir a aplicação de toda a família FMSMSM a dados incompletos. A significância reside na capacidade de:

Lidar com dados que exibem tanto assimetria quanto caudas pesadas sem descartar observações incompletas.
Oferecer um kit de ferramentas de modelagem flexível onde os profissionais podem selecionar a distribuição mais apropriada (da SN à SVG) com base nas características dos dados, equilibrando parcimônia e complexidade.
Oferecer uma alternativa computacionalmente eficiente à imputação múltipla, fornecendo tanto estimativas de parâmetros quanto uma reconstrução heurística do conjunto de dados incompleto.

Os autores concluem que, embora o desempenho seja naturalmente inferior ao de conjuntos de dados completos, o método produz resultados significativos que seriam inacessíveis de outra forma. Eles observam que trabalhos futuros focarão em estender esta metodologia para dados censurados, dos quais o MAR é um caso especial.

Mais como este