📊 statistics

Handling mild outliers and unobserved values in compositional datasets using finite mixtures of mean-parametrised Dirichlet models

Este artigo propõe uma mistura finita convexa de modelos de Dirichlet parametrizados pela média, baseada em expectativa-máxima, para lidar de forma robusta com valores ausentes simultâneos e outliers leves em dados composicionais heterogêneos, demonstrando desempenho de agrupamento e detecção de outliers superior em comparação com abordagens convencionais.

Autores originais: Jason Pillay, Andriëtte Bekker, Cristina Tortora, Antonio Punzo

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jason Pillay, Andriëtte Bekker, Cristina Tortora, Antonio Punzo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar entender como as pessoas passam o seu dia olhando para um gráfico de pizza onde as fatias representam horas gastas trabalhando, dormindo, cuidando da família ou relaxando. Em estatística, esse tipo de dado, onde as partes devem somar um todo, é chamado de dados composicionais. Eles aparecem em toda parte, desde a composição química de rochas até o tempo que as pessoas passam em diferentes atividades. No entanto, os dados do mundo real raramente são perfeitos. Frequentemente, algumas fatias do gráfico estão faltando porque uma pessoa esqueceu de relatar uma atividade ou o dado foi perdido. Ao mesmo tempo, alguns relatos são estranhos ou incomuns, talvez porque alguém passou vinte horas trabalhando ou apenas duas horas dormindo. Essas entradas estranhas, conhecidas como outliers (valores atípicos), podem distorcer a imagem, tornando difícil enxergar os verdadeiros padrões de como um grupo se comporta. Por décadas, os estatísticos lutaram para analisar essa mistura desordenada de peças faltantes e pontos estranhos sem quebrar a regra fundamental de que as partes devem sempre somar um todo.

Uma equipe de pesquisadores desenvolveu uma nova maneira de lidar com esse problema específico. Eles criaram um modelo matemático que pode olhar para dados incompletos e desordenados e ainda assim encontrar grupos claros de comportamentos semelhantes, tudo isso enquanto identifica quais entradas são estranhas demais para fazer parte desses grupos. A abordagem deles é construída sobre um conceito chamado distribuição de Dirichlet, uma ferramenta que se ajusta naturalmente a dados limitados a um todo, como um gráfico de pizza. Enquanto métodos anteriores frequentemente tentavam forçar esses dados a assumir uma forma diferente para facilitar a análise, o que poderia introduzir erros, este novo método trabalha diretamente na forma original. Ele trata a informação ausente e os outliers estranhos não como obstáculos a serem ignorados, mas como características a serem compreendidas. Os pesquisadores provaram que seu método pode encontrar a explicação mais provável para os dados e que essa explicação é única, o que significa que existe apenas uma melhor resposta para o quebra-cabeça que estão resolvendo.

Para testar sua ideia, os pesquisadores realizaram milhares de simulações de computador. Eles criaram conjuntos de dados fictícios que imitavam a vida real, completos com valores ausentes variando de quase nenhum até noventa por cento dos dados, e adicionaram quantidades variáveis de pontos estranhos, os outliers. Eles descobriram que seu novo modelo conseguia classificar os dados nos grupos corretos e identificar as entradas estranhas, mesmo quando os dados estavam muito incompletos. Curiosamente, eles descobriram que ter uma quantidade moderada de dados ausentes às vezes ajudava o modelo a performar melhor. Quando os dados estavam totalmente completos, mas cheios de ruído, o modelo às vezes tinha dificuldade em distinguir os grupos reais do caos. Mas quando alguns dados estavam faltando, o modelo tornava-se menos distraído pelo ruído e conseguia focar mais claramente nos padrões subjacentes. Isso sugere que existe um ponto ideal onde a informação ausente ajuda o modelo a ignorar o pior dos erros.

Os pesquisadores então aplicaram seu método a um conjunto de dados do mundo real da American Time Use Survey, que rastreia como os americanos passam seus dias. Este conjunto de dados era particularmente desafiador, com quase metade das atividades relatadas ausentes e uma parte significativa dos registros contendo padrões de uso do tempo incomuns. Quando usaram um método padrão, mais antigo, para analisar esses dados, o modelo dividiu as pessoas em quatro grupos distintos, mas essa divisão parecia artificial, impulsionada em grande parte pelos outliers estranhos. Em contraste, o novo modelo identificou apenas dois grupos claros e sensatos. Um grupo consistia de pessoas cujos dias eram dominados pelo trabalho e cuidados pessoais, enquanto o outro era definido pela vida doméstica, lazer e ajuda à família. O modelo também sinalizou cerca de dezesseis por cento dos registros como outliers, reconhecendo que esses indivíduos tinham rotinas diárias incomuns que não se encaixavam perfeitamente em nenhum dos dois grupos principais. Ao manter a análise na escala original dos dados, os pesquisadores puderam descrever esses grupos em termos simples, como "centrado no trabalho" ou "centrado no lar", sem precisar traduzir os resultados de volta de um espaço matemático distorcido.

A importância deste trabalho reside na sua capacidade de respeitar as restrições naturais dos dados enquanto lida com a desordem da realidade. Em vez de forçar os dados a caberem em um molde rígido, o novo método se adapta aos dados, permitindo que valores ausentes e pontos estranhos coexistam com os padrões principais. Isso significa que os pesquisadores agora podem estudar comportamentos complexos do mundo real com maior confiança, sabendo que suas conclusões não estão sendo distorcidas por lacunas nos dados ou por alguns registros incomuns. A abordagem oferece uma maneira mais honesta e precisa de ver o mundo através da lente de como as pessoas passam seu tempo, ou de como qualquer outro dado proporcional se comporta, revelando a verdadeira estrutura escondida sob o ruído.

Resumo Técnico: Lidar com Outliers Leves e Valores Não Observados em Conjuntos de Dados Composicionais

Declaração do Problema
Dados composicionais, que residem em um simplex unitário e somam uma constante, frequentemente enfrentam dois desafios simultâneos: a presença de pontos atípicos (outliers) e valores ausentes. Abordagens tradicionais costumam recorrer à transformação de dados composicionais para o espaço real (por exemplo, via transformações de razão logarítmica aditiva ou isométrica) para aplicar técnicas multivariadas padrão, como a distribuição normal. No entanto, essas transformações podem distorcer as posições relativas dos outliers, introduzir viés na retrotransformação e falhar em fornecer um arcabouço principado para lidar com dados ausentes diretamente no simplex. Além disso, os modelos de mistura de Dirichlet existentes têm dificuldade em acomodar simultaneamente valores ausentes e contaminação sem recorrer a imputações ad hoc ou transformações.

Metodologia
Os autores propõem um modelo de mistura finita de distribuições de Dirichlet parametrizadas pela média sob o modelo de contaminação de Huber, especificamente projetado para dados composicionais incompletos.

Formulação do Modelo:
- Contaminação: O modelo define outliers diretamente no simplex usando uma densidade contaminada $f_{CD}$ . Esta densidade é uma mistura de um componente de referência Dirichlet e um componente contaminado com variabilidade inflada. A contaminação é controlada por um parâmetro de proporção $\varepsilon$ (probabilidade de um outlier) e um parâmetro de inflação de variabilidade $\eta > 1$ .
- Ausência de Dados (Missingness): O arcabouço assume um mecanismo de Dados Ausentes ao Acaso (MAR - Missing At Random). Crucialmente, os autores derivam a distribuição condicional das partes ausentes ( $\mathbf{X}_m$ ) dadas as partes observadas ( $\mathbf{X}_o$ ) para um vetor distribuído por Dirichlet. Eles provam que, sob MAR, as partes ausentes, quando escalonadas pela massa restante, seguem uma distribuição Dirichlet com parâmetros ajustados. Isso permite a derivação da distribuição marginal dos dados observados sem imputação.
- Referencial de Ruído Uniforme: O artigo estabelece que o ruído uniforme no simplex segue uma distribuição Dirichlet específica ( $DS_p(\frac{1}{p}\mathbf{1}; \frac{1}{p})$ ), fornecendo um referencial teórico para a detecção de outliers.
Inferência e Otimização:
- Existência e Unicidade: Os autores estabelecem que a maximização da log-verossimilhança observada para a distribuição de Dirichlet parametrizada pela média contaminada produz Estimativas de Máxima Verossimilhança (MLEs) únicas. Eles demonstram que a log-verossimilhança é estritamente côncava em relação aos parâmetros de média e coercitiva em relação aos parâmetros de variabilidade, garantindo a existência e unicidade dos otimizadores para um único componente ( $G=1$ ). Para misturas ( $G>1$ ), a identificabilidade é discutida até a permutação.
- Algoritmo EM: Um algoritmo de Expectativa-Maximização (EM) customizado é desenvolvido:
  - Passo E (E-step): Calcula as probabilidades a posteriori de pertencimento ao cluster e de status de outlier. Ele incorpora os momentos da distribuição das partes ausentes, utilizando as distribuições condicionais derivadas para lidar com observações incompletas.
  - Passo M (M-step): Atualiza os parâmetros via um método de Newton-Raphson (NR) restrito. Como não existem soluções de forma fechada para os parâmetros de média ( $\boldsymbol{\mu}$ ), variabilidade ( $\gamma$ ) e inflação ( $\eta$ ), os autores derivam atualizações iterativas elemento a elemento. O algoritmo utiliza aceleração de Aitken para determinar a convergência.
Agrupamento (Clustering) e Detecção:
- O algoritmo realiza simultaneamente o agrupamento (atribuição de observações a componentes de mistura) e a detecção de outliers (sinalizando observações como típicas ou contaminadas) com base em probabilidades de Máxima A Posteriori (MAP).

Principais Resultados

Estudo de Simulação: O desempenho foi avaliado em 1.000 conjuntos de dados com graus variados de ausência (0–90%), contaminação (10–30%) e tamanhos de amostra ( $n=100, 1000$ ).
- Agrupamento: O modelo proposto manteve alta precisão e pontuações de Índice de Rand Ajustado (ARI) mesmo com ausência significativa. Curiosamente, a ausência moderada às vezes melhorou o desempenho do agrupamento em cenários de alto ruído ao reduzir a influência de configurações de outliers.
- Detecção de Outliers: O modelo demonstrou alta precisão na detecção de outliers, embora as Taxas de Verdadeiros Positivos (TPR) tenham diminuído conforme a ausência aumentava (um viés para classificar linhas esparsas como típicas). Grandes tamanhos de amostra melhoraram significativamente as métricas de detecção.
- Recuperação de Parâmetros: A estimativa das médias permaneceu não enviesada através dos níveis de ausência. A estimativa dos parâmetros de variabilidade mostrou uma relação não monotônica com a ausência, revelando um "ponto ideal" (sweet spot) de ausência moderada onde a recuperação de parâmetros foi mais precisa.
- Seleção de Modelo: Critérios como AIC, BIC e ICL identificaram com sucesso o número correto de componentes no modelo contaminado, superando o modelo de mistura de Dirichlet padrão (não contaminado), que tendia a sobre-dividir os clusters para acomodar os outliers.
Aplicação (American Time Use Survey):
- Aplicado a um conjunto de dados com 49,1% de células ausentes, o modelo contaminado ( $G=2$ ) foi selecionado em detrimento de um modelo de mistura de Dirichlet padrão ( $G=4$ ) baseado no Likelihood de Classificação Integrada (ICL).
- O modelo padrão identificou quatro clusters, dividindo artificialmente um grupo para acomodar os outliers.
- O modelo proposto identificou dois clusters interpretáveis: um grupo "intensivo em trabalho" e um grupo "social/recreativo". Ele sinalizou com sucesso aproximadamente 16,4% das observações como outliers (composições de uso do tempo atípicas) sem forçá-las em grupos separados e potencialmente espúrios.

Significância e Alegações
O artigo alega fornecer uma representação principada de outliers e um método para derivar a distribuição das partes ausentes enquanto considera a contaminação, tudo isso sem transformar os dados para fora do simplex. As principais contribções são:

Teóricas: Estabelecer a existência, unicidade e identificabilidade de MLEs para misturas de Dirichlet parametrizadas pela média sob MAR.
Metodológicas: Desenvolver um algoritmo EM tratável que lida com valores ausentes e outliers simultaneamente através de atualizações iterativas elemento a elemento, evitando os vieses introduzidos por transformações de razão logarítmica.
Práticas: Demonstrar que modelar outliers diretamente no simplex evita a divisão artificial de clusters frequentemente vista em abordagens convencionais, levando a resultados mais interpretáveis na análise de dados composicionais.

Os autores concluem que este arcabouço inverte a perspectiva tradicional de adaptar os dados a modelos não restritos, desenvolvendo ferramentas de estimação que respeitam a geometria e as restrições dos dados composicionais, abrindo caminhos para novas modelagens baseadas em simplex.

Resumo Técnico: Lidar com Outliers Leves e Valores Não Observados em Conjuntos de Dados Composicionais

Mais como este