📊 statistics

Handling Missingness and Censoring in Dirichlet Models

Este artigo propõe um algoritmo de expectativa-maximização para a estimativa de máxima verossimilhança e imputação baseada em modelo de parâmetros de Dirichlet para lidar com componentes ausentes e censurados em dados composicionais, demonstrando desempenho superior na preservação da estrutura composicional em comparação com métodos existentes por meio de simulações e um estudo de caso de especiação de mercúrio.

Autores originais: J. Pillay, A. Bekker, C. Tortora, A. Punzo

Publicado 2026-07-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: J. Pillay, A. Bekker, C. Tortora, A. Punzo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando descrever uma pizza, mas só pode falar sobre os acompanhamentos, não a pizza inteira. No mundo da estatística, isso é chamado de "dados composicionais". É qualquer conjunto de números que representam partes de um todo, como a porcentagem de diferentes minerais em uma rocha, a mistura de espécies em uma floresta ou o orçamento para diferentes departamentos em uma empresa. A regra de ouro aqui é que todas as partes devem somar exatamente 100% (ou 1). Devido a essa regra, as partes estão presas umas às outras: se o queijo aumenta, o pepperoni deve diminuir. Isso cria uma dança matemática complicada onde os números dependem uns dos outros de maneiras que podem enganar programas de computador padrão.

Normalmente, os estatísticos lidam com informações ausentes jogando fora a pizza inteira se apenas uma fatia estiver faltando, ou espremendo os dados em um formato diferente (como uma linha reta) para torná-los mais fáceis de analisar. Mas espremer os dados pode distorcer os sabores, e jogar fora os dados é um desperdício. A grande questão é: Como preenchemos as fatias de pizza que faltam sem estragar a receita ou fingir que sabemos coisas que não sabemos? Isso é especialmente difícil quando as peças ausentes não estão apenas "sumidas", mas são "censuradas" — o que significa que sabemos que elas existem em algum lugar dentro de um certo intervalo, mas não sabemos o número exato.

Este artigo apresenta uma nova maneira inteligente de resolver esse quebra-cabeça usando um método chamado algoritmo de Expectativa-Maximização (EM), especificamente projetado para a "distribuição Dirichlet". Pense na distribuição Dirichlet como o livro de receitas matemático perfeito para esses conjuntos de dados de "parte de um todo". Os autores, trabalhando com dados da Universidade de Pretória e outras instituições, construíram uma ferramenta que atua como um detetive superinteligente. Em vez de adivinhar os números ausentes aleatoriamente ou jogar fora os dados bagunçados, o algoritmo deles joga um jogo de "adivinhar e verificar" repetidamente. Ele começa com um palpite para os valores ausentes, calcula a melhor receita possível (parâmetros) com base nesse palpite e, em seguida, usa essa nova receita para fazer um palpite melhor para os valores ausentes. Ele continua fazendo isso até que a receita e os palpites parem de mudar.

O artigo mostra que este método funciona muito bem, mesmo quando os dados são muito bagunçados. Em seus testes, eles simularam cenários onde até 90% dos dados estavam ausentes ou apenas parcialmente conhecidos, e seu método ainda conseguiu recuperar a verdadeira receita subjacente muito melhor do que os métodos antigos. Eles também testaram o método em dados do mundo real sobre níveis de mercúrio no sangue humano. Nesse conjunto de dados, alguns tipos de mercúrio eram pequenos demais para serem medidos (censurados) e alguns estavam completamente ausentes. O novo algoritmo preencheu as lacunas com sucesso, sugerindo que o metilmercúrio (frequentemente proveniente de peixes) é o tipo mais comum, ao mesmo tempo em que revelou que provavelmente existem tipos desconhecidos de mercúrio no sangue que não estão sendo medidos.

Crucialmente, os autores descobriram que seu método preserva melhor a "forma" natural dos dados do que outras abordagens. Enquanto outros métodos podem forçar os dados a um formato que não se ajusta, esta nova ferramenta permanece dentro do "simplex" (o espaço matemático onde todas as partes somam um). Os resultados sugerem que, para cientistas que lidam com misturas incompletas — sejam amostras de sangue, composição do solo ou resultados de pesquisas — esta nova abordagem oferece uma maneira mais confiável de entender o quadro completo, mesmo quando algumas peças estão escondidas. Não afirma ser mágica, mas nas simulações e testes do mundo real apresentados, ela consistentemente superou as formas padrão atuais de lidar com peças ausentes.

Resumo Técnico: Lidar com Ausência de Dados e Censura em Modelos de Dirichlet

Definição do Problema
Dados composicionais, que representam proporções relativas de partes de um todo e residem em um simplex unitário, são frequentemente encontrados em campos que variam da microbiologia às ciências ambientais. A distribuição de Dirichlet é o modelo probabilístico canônico para tais dados, análogo à distribuição normal multivariada para dados não restritos. No entanto, uma limitação significativa na prática atual é que a inferência baseada em verossimilhança para os parâmetros de Dirichlet tipicamente requer composições totalmente observadas. Em cenários do mundo real, os dados frequentemente contêm componentes ausentes ou valores censurados (por exemplo, devido a limites de detecção ou especiação incompleta).

As abordagens existentes para lidar com essa incompletude geralmente se dividem em três categorias: exclusão de linhas incompletas (que descarta informação), substituição por valores fixos (por exemplo, zeros) ou imputação. Métodos de imputação frequentemente dependem da transformação de dados para um espaço não restrito (por exemplo, via transformações de razão de logaritmos), ajuste de um modelo e mapeamento dos resultados de volta para o simplex. Essa abordagem baseada em transformação sofre de vários inconvenientes: pode tornar as interpretações das variáveis originais irrecuperáveis, falhar em fornecer mapeamentos injetivos de volta ao simplex e ter dificuldade em acomodar naturalmente mecanismos de censura. Além disso, métodos de imputação não paramétricos frequentemente ignoram a estrutura específica de censura, levando a potenciais vieses e distribuições subjacentes distorcidas.

Metodologia
Os autores propõem um framework unificado que trata tanto os componentes ausentes quanto os censurados como formas de "coarsening" (encruamento/grosseria) no sentido de Heitjan & Rubin (1991). Este framework abrange o Mecanismo de Ausência Completamente ao Acaso (MCAR), Ausência ao Acaso (MAR) e Ausência Não Ao Acaso (MNAR) como casos especiais de Coarsening Completamente ao Acaso (CCAR), Coarsening ao Acaso (CAR) e Coarsening Não Ao Acaso (CNAR), respectivamente. O artigo foca no mecanismo CAR, onde o enrugamento depende dos dados observados, mas não dos valores exatos não observados, tornando o mecanismo ignorável para a inferência de verossimilhança.

O núcleo da metodologia é um algoritmo do tipo Expectativa–Maximização (EM) projetado para realizar a estimativa de Máxima Verossimilhança (ML) dos parâmetros de Dirichlet diretamente no simplex sem transformação de dados. O algoritmo procede da seguinte forma:

Fundamentação Teórica: Os autores derivam a densidade marginal dos componentes observados e a distribuição condicional dos componentes não observados dados os observados. Eles estabelecem que a distribuição condicional dos componentes não observados, dados os componentes observados e a região viável definida pelos limites de censura, segue uma distribuição de Dirichlet truncada.
Passo E (E-Step): O algoritmo calcula a esperança condicional da log-verossimilhança dos dados completos. Isso envolve calcular o valor esperado do logaritmo dos componentes não observados. Utilizando as propriedades da distribuição de Dirichlet truncada, os autores derivam uma expressão de forma fechada para essas esperanças envolvendo a função digama e a derivada da constante de normalização da distribuição truncada.
Passo M (M-Step): O algoritmo maximiza a esperança da log-verossimilhança dos dados completos em relação ao vetor de parâmetros $\alpha$ . Para garantir a positividade dos parâmetros de Dirichlet durante a otimização, os autores utilizam uma reparametrização ( $\alpha_k = e^{\beta_k}$ ) e empregam um algoritmo de Newton–Raphson (NR) aninhado nas iterações do EM. A matriz Hessiana é invertida eficientemente usando a fórmula de Sherman–Morrison.
Convergência: O algoritmo utiliza regras de parada específicas: uma regra interna baseada na convergência de Newton–Raphson e uma regra externa baseada no critério de aceleração de Aitken aplicado à log-verossimilhança dos dados observados.

Principais Contribuições
O artigo apresenta várias contribuições técnicas específicas:

Framework Unificado: Desenvolve um único framework baseado em verossimilhança que lida simultaneamente com componentes ausentes e censurados no simplex, evitando a necessidade de transformação de dados.
Algoritmo EM para Dirichlet: Deriva um algoritmo do tipo EM computacionalmente eficiente para a estimação de ML de parâmetros de Dirichlet na presença de dados incompletos, incluindo a derivação das esperanças condicionais necessárias envolvendo distribuições de Dirichlet truncadas.
Requisitos Mínimos de Dados: O método permite o ajuste de uma distribuição de Dirichlet mesmo quando um conjunto de dados possui linhas com apenas um componente observado, um cenário onde muitos métodos baseados em transformação falham.
Estimativa e Imputação Conjuntas: A abordagem realiza a estimação de parâmetros e a imputação baseada no modelo de forma conjunta, preservando a estrutura composicional e evitando os erros associados à retro-transformação.

Resultados e Avaliação
O desempenho do método proposto foi avaliado através de duas vias primárias:

Estudo de Simulação: Um estudo de simulação extensivo (detalhado no Material Suplementar) avaliou o método sob mecanismos de enrugamento progressivamente mais complexos. Os resultados indicaram que o estimador proposto melhora substancialmente a recuperação de parâmetros em comparação com a estimativa de ML baseada apenas em casos completos. Além disso, as imputações geradas pelo algoritmo proposto exibiram erros menores do que as produzidas por uma abordagem de modelo existente (ALR-EM) e uma alternativa não paramétrica (imputação pela média geométrica). O método demonstrou confiabilidade mesmo sob condições extremas, como conjuntos de dados com até 90% de valores não observados.
Aplicação em Dados Reais: A metodologia foi aplicada a dados de especiação de mercúrio do National Health and Nutrition Examination Survey (NHANES). Este conjunto de dados continha 3.872 observações com aproximadamente 72% das células não observadas devido a limites de detecção e especiação incompleta.
- O modelo de Dirichlet proporcionou um melhor ajuste aos dados observados do que o modelo log-normal multivariado (usado na abordagem ALR-EM), conforme evidenciado por valores de log-verossimilhança observada, AIC e BIC mais altos.
- Cálculos de distância de Wasserstein confirmaram que as distribuições de Dirichlet e log-normal ajustadas modelam os dados de forma diferente, sendo que a de Dirichlet fornece uma representação mais plausível.
- O método estimou com sucesso as proporções de tipos de mercúrio desconhecidos e forneceu imputações que preservaram melhor a estrutura composicional observada em comparação com abordagens concorrentes.

Significância e Alegações
Os autores alegam que este trabalho aborda uma lacuna fundamental na análise de dados composicionais: a falta de um método de estimativa baseado em verossimilhança que acomode diretamente proporções incompletas no simplex unitário. Ao inverter a perspectiva tradicional de adaptar os dados para modelos não restritos, o método proposto desenvolve ferramentas de estimativa que respeitam a geometria e as restrições dos dados composicionais.

A significância do trabalho reside em sua capacidade de permitir a inferência baseada em verossimilhança e o agrupamento (clustering) diretamente no simplex na presença de valores não observados. Os autores sugerem que isso abre portas para novos desenvolvimentos em modelagem baseada em simplex, incluindo estruturas de mistura mais ricas e procedimentos inferenciais mais flexíveis. O método é apresentado como uma alternativa robusta que evita as limitações interpretativas e os potenciais vieses introduzidos por abordagens baseadas em transformação, particularmente em cenários envolvendo altos níveis de ausência ou censura.

Mais como este