📊 statistics

Handling Missingness and Censoring in Dirichlet Mixture Models

Este artigo propõe um novo algoritmo de Expectativa-Maximização para ajustar misturas finitas de distribuições de Dirichlet diretamente no simplexo para lidar com dados composicionais ausentes e censurados, demonstrando, por meio de simulações e aplicações do mundo real, que esta abordagem supera os métodos tradicionais de exclusão de casos em precisão de agrupamento e seleção de modelo, preservando a interpretabilidade dos dados.

Autores originais: Jason Pillay, Andriette Bekker, Cristina Tortora, Antonio Punzo

Publicado 2026-07-31

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jason Pillay, Andriette Bekker, Cristina Tortora, Antonio Punzo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descrever uma vitamina, mas só consegue sentir o gosto de algumas das frutas dentro dela. Talvez você saiba que há morango e banana, mas o liquidificador escondeu a manga e o kiwi. No mundo da ciência de dados, isso é chamado de "dados composicionais". É uma informação que descreve como as partes compõem um todo, como os ingredientes de uma receita ou os produtos químicos de uma rocha. A parte complicada é que essas partes estão presas umas às outras: se você tem mais de um ingrediente, automaticamente tem menos dos outros, porque eles devem sempre somar 100%. Os cientistas usam esses dados para entender tudo, desde como as montanhas se formam até por que o ar está ficando poluído. Mas há um grande problema: dados do mundo real são bagunçados. Às vezes os sensores quebram, às vezes os produtos químicos são pequenos demais para serem vistos, e às vezes os dados simplesmente desaparecem. Quando isso acontece, as ferramentas matemáticas usuais ficam confusas porque não conseguem lidar com as peças "faltantes" sem jogar fora a vitamina inteira ou alterar a receita de uma forma que a torne irreconhecível.

Este artigo aborda exatamente essa dor de cabeça. Os autores, Jason Pillay e sua equipe, inventaram uma nova maneira de fazer matemática que não joga fora as partes que faltam. Em vez de forçar os dados a caberem em um formato que não lhes serve, eles construíram um algoritmo "detetive" especial que consegue adivinhar quais seriam as partes perdidas enquanto organiza os dados em grupos. Pense nisso como um quebra-cabeça onde algumas peças estão faltando; em vez de desistir, o detetive usa o formato das peças ao redor para descobrir exatamente onde as peças que faltam pertencem, tudo isso mantendo a imagem do quebra-cabeça fiel ao original. Eles testaram esse detetive com dados falsos com peças faltando e com dados reais sobre rochas e poluição do ar. Eles descobriram que seu método é muito melhor em encontrar os grupos corretos e escolher o número certo de categorias do que a antiga maneira de apenas deletar os dados bagunçados. É uma forma de dar sentido a histórias incompletas sem perder o fio da meada.

O Problema: O Quebra-Cabeça da "Peça Faltante"

Na ciência, frequentemente lidamos com dados que descrevem um todo através de suas partes. Imagine uma rocha composta por diferentes minerais, ou uma lufada de ar preenchida com diferentes produtos químicos. A regra é simples: todas as partes devem somar 100%. Se a rocha tem 50% de quartzo, ela só pode ter 50% de todo o resto combinado. Isso é chamado de "dados composicionais".

O problema surge quando os dados estão incompletos. Talvez uma máquina tenha falhado ao medir um mineral específico, ou um produto químico era tênue demais para ser visto, então o número está oculto. No passado, os cientistas tinham duas opções ruins:

Jogar fora: Deletar a amostra inteira porque uma peça está faltando. Isso desperdiça muita informação.
Fingir: Adivinhar o número que falta e preenchê-lo antes de fazer a matemática. Isso pode enganar os resultados e fazer com que os grupos pareçam errados.

Os autores deste artigo queriam encontrar uma terceira via: um método que permaneça no "simplex" (o nome matemático para essa regra de 100%) e lide com as peças faltantes diretamente, sem deletá-las ou fingi-las.

A Solução: Um Algoritmo Detetive Inteligente

Os autores desenvolveram uma nova versão de uma ferramenta matemática famosa chamada algoritmo de Expectativa-Maximização (EM). Você pode pensar neste algoritmo como um detetive superinteligente tentando organizar uma pilha bagunçada de pistas em diferentes grupos.

Veja como o detetive funciona neste novo método:

A Configuração: O detetive sabe que existem diferentes "tipos" de rochas ou amostras de ar (chamados de clusters), mas ainda não sabe a qual tipo cada amostra pertence.
O Palpite (E-step): Quando o detetive vê uma amostra com peças faltando, ele não entra em pânico. Ele olha para as peças que consegue ver e pergunta: "Se esta amostra pertence ao Grupo A, quais seriam as peças faltantes mais prováveis?". Ele calcula a probabilidade das partes ausentes com base nas regras do grupo.
A Atualização (M-step): Usando esses palpites, o detetive atualiza sua compreensão de como o Grupo A e o Grupo B realmente se parecem.
O Ciclo: Ele repete este processo repetidamente. A cada ciclo, os palpites ficam melhores e os grupos tornam-se mais claros.

A magia é que isso acontece tudo ao mesmo tempo. O algoritmo descobre os valores ausentes e organiza as amostras em grupos simultaneamente, tudo isso respeitando a regra de que tudo deve somar 100%.

O Teste: Simulações e Mistérios do Mundo Real

Para ver se o seu detetive era bom, os autores realizaram dois tipos de testes.

1. O Laboratório de Simulação (Dados Falsos)
Eles criaram 1.000 conjuntos de dados falsos onde sabiam os grupos verdadeiros, mas depois esconderam diferentes quantidades de dados (de 0% a 90% de ausência).

O Resultado: Mesmo quando 90% dos dados estavam faltando, seu método ainda conseguia classificar as amostras com uma precisão surpreendente.
A Comparação: Eles compararam isso com o método antigo de apenas deletar as amostras incompletas. Quando os dados estavam faltando, o método antigo falhava em encontrar o número correto de grupos. O novo método, porém, continuou encontrando o número correto de grupos (quatro, em seu teste) com muito mais frequência, mesmo quando os dados eram muito esparsos.
Censura: Eles também testaram dados "censurados", onde um valor é escondido porque é pequeno demais para ser medido (como um produto químico abaixo de um limite de detecção). O novo método lidou com isso tão bem quanto os dados ausentes.

2. Os Mistérios do Mundo Real
Eles aplicaram seu método a dois conjuntos de dados reais para ver se ele poderia resolver enigmas científicos reais.

Mistério 1: O Manto da Terra (Xenólitos)
Eles analisaram 1.256 amostras de rochas vindas das profundezas da Terra. Essas rochas tinham 33% de suas medições faltando porque foram coletadas de diferentes lugares usando ferramentas diferentes.
A Descoberta: O algoritmo classificou as rochas em quatro grupos distintos. Esses grupos correspondiam perfeitamente a tipos geológicos reais. Por exemplo, um grupo era rico em magnésio e silício (peridotitos) de partes antigas e estáveis da crosta terrestre, enquanto outro tinha mais ferro e cromo. O método identificou com sucesso esses tipos de rocha sem precisar descartar as amostras bagunçadas.
Mistério 2: O Ar que Respiramos (PM2.5)
Eles analisaram dados do Sistema de Qualidade do Ar dos EUA, rastreando partículas minúsculas no ar. Esses dados tinham tanto valores ausentes quanto valores "censurados" (produtos químicos pequenos demais para serem medidos).
A Descoberta: O algoritmo encontrou quatro tipos claros de poluição do ar.
- Grupo 1: Ar frio com muitos sulfatos e nitratos (frequentemente provenientes de emissões industriais).
- Grupo 2: Uma mistura de carbono e nitratos.
- Grupo 3: Ar quente onde uma enorme parte da poluição era desconhecida (o "resíduo" era enorme), sugerindo partículas invisíveis que não absorvem luz bem.
- Grupo 4: Ar quente dominado por carbono orgânico (como fumaça ou escapamento), comum em cidades.
O Insight: O método mostrou que, em climas mais quentes, a composição da poluição muda, e muito dela é feita de coisas que os sensores sequer conseguiam ver. Isso dá aos cientistas uma nova pista sobre o que procurar no ar.

Por Que Isso Importa

O artigo sugere que não precisamos escolher entre jogar fora os dados ruins ou fingir números. Ao construir um modelo que entende as regras do jogo (a soma de 100%) e consegue lidar com peças faltantes, os cientistas podem obter respostas mais claras de dados bagunçados.

Os autores descobriram que seu método é melhor em encontrar o número correto de grupos e organizar as amostras corretamente do que a antiga abordagem de "deletar os dados ruins". Embora o artigo não afirme que isso resolve todos os problemas do mundo, mostra que, para rochas e qualidade do ar, este novo detetive é uma ferramenta poderosa. Ele permite que os pesquisadores vejam a imagem completa, mesmo quando algumas peças estão escondidas na escuridão.

Resumo Técnico: Tratamento de Ausência e Censura em Modelos de Mistura de Dirichlet

Definição do Problema
Dados composicionais, que descrevem as proporções relativas das partes que constituem um todo, residem em um simplex e não em um espaço euclidiano irrestrito. Uma limitação fundamental na análise de tais dados é a prevalência de observações incompletas, incluindo valores ausentes (devido a falhas de equipamento, não resposta ou limites de amostragem) e valores censurados (onde as concentrações caem abaixo dos limiares de detecção). Métodos tradicionais baseados em verossimilhança para modelos composicionais geralmente exigem composições totalmente observadas. Consequentemente, analistas frequentemente recorrem ao descarte de dados parcialmente observados (exclusão de casos) ou à transformação dos dados em espaços irrestritos (por exemplo, via transformações de razão de log) antes da análise. Essas abordagens correm o risco de sacrificar a interpretabilidade, a coerência e a eficiência estatística, particularmente porque a restrição de soma constante vincula cada componente, o que significa que a incerteza em uma parte afeta a interpretação de todas as outras. Além disso, os métodos padrão de imputação separam o tratamento da ausência da subsequente análise de agrupamento (clustering), falhando em incorporar a incerteza da imputação na estimativa de parâmetros.

Metodologia
Este artigo propõe um algoritmo de Expectativa–Maximização (EM) baseado em verossimilhança para ajustar misturas finitas de distribuições de Dirichlet diretamente no simplex, acomodando componentes ausentes e censurados sem sair do espaço composicional.

Estrutura Teórica: A abordagem utiliza as propriedades da distribuição de Dirichlet e da distribuição de Dirichlet truncada. O vetor aleatório é particionado em componentes observados ( $X_o$ ) e não observados ( $X_u$ ). O método deriva a densidade marginal dos componentes observados e a distribuição condicional dos componentes não observados dados os componentes observados e a pertinência ao cluster. Os componentes não observados são modelados seguindo uma distribuição de Dirichlet truncada dentro de limites específicos definidos pelo mecanismo de censura ou padrão de ausência.
O Algoritmo EM:
- E-step: Calcula o valor esperado da log-verossimilhança completa. Isso envolve o cálculo da probabilidade posterior de pertinência ao cluster ( $\tilde{z}_{ig}$ ) para cada observação, o que considera a probabilidade de a parte não observada cair dentro de sua região de truncamento específica. Também calcula os valores esperados dos logaritmos dos componentes não observados ( $\tilde{E}_{ikg}$ ), derivados das propriedades da distribuição de Dirichlet truncada e da função digama.
- M-step: Maximiza a log-verossimilhança esperada em relação às proporções de mistura ( $\pi_g$ ) e aos parâmetros de Dirichlet ( $\alpha_g$ ). As proporções de mistura são atualizadas via médias ponderadas padrão. Os parâmetros de Dirichlet são reparametrizados usando variáveis irrestritas ( $\beta_{kg} = \ln \alpha_{kg}$ ) e otimizados usando um algoritmo de Newton–Raphson (NR).
Mecanismos de Tratamento: A estrutura opera sob uma suposição de Coarsening At Random (CAR - Envelhecimento Aleatório), que abrange Missing Completely At Random (MCAR - Ausência Completamente Aleatória), Missing At Random (MAR - Ausência Aleatória) e censura determinística. O algoritmo requer apenas um único componente observado por composição para funcionar, permitindo lidar com conjuntos de dados que não possuem sequer uma linha totalmente observada.
Inicialização e Convergência: O algoritmo utiliza estimativas de método dos momentos para inicialização e utiliza o critério de aceleração de Aitken para avaliar a convergência da log-verossimilhança dos dados observados.

Principais Contribuições e Resultados

Estimativa e Imputação Simultâneas: O método proposto realiza a estimação de parâmetros, alocação de clusters e imputação baseada em modelo simultaneamente dentro de um único procedimento de verossimilhança, preservando a estrutura composicional.
Estudo de Simulação: Simulações extensas foram conduzidas em conjuntos de dados gerados a partir de misturas de quatro distribuições de Dirichlet com dimensões variadas ( $p=6$ $p = 6$ a $10$) e níveis de incompletude (até 90% de ausência ou censura).
- Desempenho de Agrupamento: O algoritmo manteve precisão de agrupamento e Índice Rand Ajustado (ARI) não nulos mesmo em altos níveis de ausência (90%), embora o desempenho tenha declinado naturalmente conforme a esparsidade dos dados aumentava.
- Seleção de Modelo: O método proposto demonstrou uma probabilidade significativamente maior de identificar corretamente o número real de clusters (quatro) usando os critérios AIC, BIC e ICL em comparação com a alternativa de exclusão de casos. A exclusão de casos resultou em uma queda rápida para zero na probabilidade de seleção correta do modelo assim que a ausência excedeu 50%, enquanto o método proposto permaneceu robusto.
- Censura vs. MAR: O algoritmo funcionou efetivamente sob ambos os mecanismos MAR e de censura, embora a precisão da seleção de modelo tenha decaído ligeiramente mais sob censura devido à natureza mais severa do envelhecimento (coarsening).
Aplicações no Mundo Real:
- EarthChem Mantle Xenoliths: Aplicado a um conjunto de dados geoquímicos ( $n=1256$ , 33% de ausência) para identificar tipos de rochas e métodos de especiação. Uma mistura de quatro componentes revelou perfis interpretáveis, distinguindo peridotitos de ambientes cratônicos, piroxenitos de ambientes intraplaca e outros grupos geoquímicos distintos, com resultados alinhados a descritores geológicos não utilizados no agrupamento.
- Sistema de Qualidade do Ar (AQS) PM2.5: Aplicado a dados de especiação de material particulado ( $n=99$ ) contendo tanto valores ausentes quanto valores à esquerda censurados. Um modelo de quatro componentes caracterizou perfis de poluição distintos, diferenciando clusters dominados por íons inorgânicos secundários (associados a temperaturas mais baixas), fontes mistas de carbono/inorgânicas e composições dominadas por matéria orgânica (associadas a temperaturas mais altas).

Significância e Alegações
O artigo afirma que a metodologia proposta aborda uma lacuna crítica na análise de dados composicionais ao permitir a inferência baseada em verossimilhança e o agrupamento diretamente no simplex na presença de partes não observadas. Ao evitar a exclusão de dados ou a transformação para espaços irrestritos, o método preserva a interpretabilidade das variáveis originais e as restrições geométricas dos dados. Os autores sustentam que sua abordagem melhora substancialmente o desempenho da seleção de modelos e do agrupamento em relação às alternativas existentes, particularmente em cenários de severa incompletude de dados. O trabalho reforça a utilidade dos modelos de mistura de Dirichlet para populações composicionais heterogêneas e sugere uma mudança de adaptar os dados para ajustar modelos irrestritos para o desenvolvimento de ferramentas de estimativa que respeitem a geometria dos dados composicionais.

O Problema: O Quebra-Cabeça da "Peça Faltante"

A Solução: Um Algoritmo Detetive Inteligente

O Teste: Simulações e Mistérios do Mundo Real

Por Que Isso Importa

Resumo Técnico: Tratamento de Ausência e Censura em Modelos de Mistura de Dirichlet

Mais como este