📊 statistics

Bayesian nonparametric models for zero-inflated count-compositional data using ensembles of regression trees

Os autores propõem dois novos modelos bayesianos não paramétricos baseados em ensembles de árvores de regressão (BART) para analisar dados de contagem-composicionais com excesso de zeros, superando desafios como superdispersão e heterogeneidade entre amostras através de uma inferência eficiente validada em simulações e em um estudo de caso de paleoclima.

Autores originais: André F. B. Menezes, Andrew C. Parnell, Keefe Murphy

Publicado 2026-04-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: André F. B. Menezes, Andrew C. Parnell, Keefe Murphy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando entender como o clima do passado influenciou a vida das plantas em uma floresta antiga. Você tem um "caderno de anotações" (os dados) cheio de contagens de diferentes tipos de pólen encontrado em camadas de solo.

O problema é que esse caderno é muito bagunçado:

Tem muita coisa faltando: Em muitos lugares, você não encontra pólen de certas plantas (muitos zeros). Às vezes, a planta não existia ali (zero "estrutural"), e às vezes ela existia, mas você só não a viu na amostra (zero "acidental").
É muito variável: A quantidade de pólen muda drasticamente de um lugar para outro, muito mais do que o esperado.
As relações são complexas: O clima não afeta as plantas de forma simples e reta. Um pouco de calor pode ajudar, mas muito calor pode matar. E isso muda dependendo de qual planta é.

Os métodos estatísticos antigos tentavam desenhar uma linha reta para explicar tudo isso. Eles falhavam porque a realidade é cheia de curvas, saltos e mistérios.

A Solução: O "Time de Árvores Mágicas" (BART)

Os autores deste artigo criaram uma nova ferramenta estatística chamada ZANIM-LN-BART. Para entender como funciona, vamos usar uma analogia:

Imagine que você precisa prever o tempo para 28 tipos diferentes de plantas. Em vez de usar um único meteorologista (um modelo simples), você contrata um time de 100 especialistas (uma "ensemble" de árvores de regressão).

Cada especialista é uma "árvore de decisão": Eles olham para os dados e fazem perguntas simples: "Se a temperatura estiver acima de 10°C, a planta A cresce. Se estiver abaixo, ela morre."
O Time Juntos: Quando você junta as opiniões de todos esses 100 especialistas, você obtém uma previsão super precisa que consegue capturar curvas estranhas, interações complexas e padrões que um único modelo nunca veria. Isso é o BART (Bayesian Additive Regression Trees).

O Grande Truque: Separando o "Nunca" do "Talvez"

A grande inovação deste trabalho é que eles ensinaram esse time de especialistas a fazer duas perguntas diferentes ao mesmo tempo para cada planta:

"A planta existe aqui?" (Probabilidade de Zero Estrutural):
- Imagine que você está procurando um urso polar no deserto. A chance de vê-lo é zero, não porque você é ruim em procurar, mas porque ele não pode estar lá.
- O modelo aprende a identificar quando uma planta nunca deveria estar em um local (devido ao clima, por exemplo). Isso é o "zero estrutural".
"Se ela existe, quanto pólen ela produz?" (Probabilidade de Composição):
- Se a planta pode estar lá, o modelo usa o time de árvores para prever exatamente quanto pólen ela vai gerar, considerando que a quantidade pode variar muito (super-dispersão).

Por que isso é importante? (A Analogia do Queijo)

Pense nos dados de pólen como um queijo com muitos buracos.

Modelos antigos: Tentavam explicar os buracos dizendo que o queijo é apenas "furado de forma aleatória". Eles misturavam os buracos reais (a planta não existe) com os buracos de amostragem (a planta existe, mas não foi vista). O resultado era uma previsão torta.
O novo modelo (ZANIM-LN-BART): Ele olha para o queijo e diz: "Ah, este buraco aqui é porque a planta não cresce no gelo (zero estrutural), e aquele buraco ali é só porque a amostra foi pequena (zero de amostragem)". Ao separar essas duas coisas, ele consegue prever o sabor do queijo (o clima passado) com muito mais precisão.

O Resultado na Vida Real

Os autores testaram isso com dados reais de pólen da Irlanda e com dados de bactérias no intestino humano.

No clima: O modelo conseguiu descobrir que certas plantas só aparecem em climas muito específicos, criando curvas complexas que modelos antigos ignoravam.
No intestino: Eles conseguiram ver como a dieta (carboidratos, gorduras) afeta diferentes bactérias de formas não lineares, separando as bactérias que nunca aparecem em certas dietas daquelas que apenas aparecem em pequenas quantidades.

Resumo em uma frase

Os autores criaram um "super-detetive" estatístico que usa um exército de árvores de decisão para entender dados complicados e cheios de zeros, conseguindo distinguir o que é "ausência real" do que é apenas "sorte ruim na amostragem", tudo isso sem precisar assumir que a natureza segue regras simples e lineares.

Título: Modelos Bayesianos Não Paramétricos para Dados de Contagem-Composicionais com Inflação de Zeros Usando Ensembles de Árvores de Regressão

1. O Problema

Os dados de contagem-composicionais (onde múltiplas contagens de categorias mutuamente exclusivas somam um total fixo) são comuns em campos como sequenciamento de alto rendimento (microbioma), levantamentos ecológicos e estudos de paleoclima. A análise desses dados enfrenta quatro desafios principais que os métodos existentes frequentemente não conseguem abordar simultaneamente:

Inflação de Zeros: Excesso de zeros que não são apenas devido à variabilidade de amostragem, mas podem ser "zeros estruturais" (o evento não pode ocorrer em certas condições).
Sobre-dispersão: A variância dos dados excede significativamente a média, violando as suposições da distribuição multinomial padrão.
Heterogeneidade entre Amostras: Dependências complexas e não observadas entre as categorias e entre as amostras.
Efeitos de Covariáveis Complexos: Relações não lineares e interações entre covariáveis e a composição que modelos paramétricos lineares falham em capturar.

Métodos existentes, como regressões Dirichlet-Multinomial (DM) ou Logística-Normal (MLN), muitas vezes assumem formas funcionais paramétricas lineares ou não modelam explicitamente a inflação de zeros estruturais, levando a viés nas estimativas.

2. Metodologia Proposta

Os autores propõem dois novos modelos Bayesianos não paramétricos baseados na distribuição Zero-and-N-inflated Multinomial (ZANIM), estendida com priores de Bayesian Additive Regression Trees (BART).

Base Probabilística (ZANIM): O modelo utiliza a distribuição ZANIM, que trata os dados como uma mistura finita com $2^d$ componentes. Ela distingue entre:
- Probabilidades de Contagem ( $\theta$ ): A composição populacional quando o evento é possível.
- Probabilidades de Zeros Estruturais ( $\zeta$ ): A probabilidade de um zero estrutural (o evento não ocorre).
- Zeros de Amostragem: Ocorrem quando o evento é possível, mas a contagem observada é zero.
- Inflação de N: Caso extremo onde zeros ocorrem em todas as categorias exceto uma.
Priors Não Paramétricos (BART):
- Para as probabilidades de contagem ( $\theta$ ), é aplicado um prior Logístico-BART (Murray, 2021), permitindo que a relação com as covariáveis seja não linear e capture interações sem especificação prévia da forma funcional.
- Para as probabilidades de zeros estruturais ( $\zeta$ ), é aplicado um prior Probit-BART (Chipman et al., 2010), também permitindo efeitos não lineares das covariáveis sobre a ocorrência de zeros estruturais.
Extensão para Sobre-dispersão (ZANIM-LN-BART):
- O modelo ZANIM-LN-BART incorpora efeitos aleatórios logístico-normais multivariados nas probabilidades de contagem individuais. Isso captura heterogeneidade não observada e dependências complexas entre categorias que vão além da estrutura de mistura da ZANIM.
- Para lidar com a não identificabilidade da matriz de covariância dos efeitos aleatórios, o modelo utiliza uma restrição de soma-zero e um prior hiperparamétrico de análise fatorial com encolhimento (Multiplicative Gamma Process).
Inferência:
- Foi desenvolvido um algoritmo eficiente de MCMC (Cadeia de Markov Monte Carlo) combinando esquemas de aumentação de dados (para lidar com a mistura e os zeros latentes) com rotinas de amostragem BART estabelecidas (backfitting bayesiano).
- Variáveis latentes incluem indicadores de risco de zero ( $z_{ij}$ ), variáveis de augmentação para o link probit ( $w_{ij}$ ) e variáveis de escala ( $\phi_i$ ).

3. Contribuições Chave

Flexibilidade Funcional: Pela primeira vez, efeitos de covariáveis não lineares e interações são modelados simultaneamente para as componentes de contagem e de zeros estruturais em dados composicionais, sem assumir formas lineares.
Modelagem Explícita de Zeros Estruturais: Diferente de modelos que tratam todos os zeros como amostragem, o modelo separa explicitamente zeros estruturais de zeros de amostragem, evitando viés nas estimativas de probabilidade de composição.
Novas Extensões do BART:
- Introdução do ZANIM-BART (com zeros estruturais).
- Introdução do ZANIM-LN-BART (com zeros estruturais + efeitos aleatórios para sobre-dispersão).
- Derivação do MLN-BART (Logística-Normal com BART, sem zeros estruturais), que parece ser uma contribuição nova na literatura.
Algoritmo Eficiente: Adaptação de esquemas de aumentação de dados para permitir a amostragem conjunta de árvores de regressão para múltiplas categorias e componentes latentes.

4. Resultados

Estudos de Simulação:
- Os modelos propostos (especialmente o ZANIM-LN-BART) recuperaram com precisão as probabilidades de contagem populacional, probabilidades de zeros estruturais e probabilidades individuais, mesmo quando o processo gerador de dados (DGP) era complexo e não linear.
- Modelos concorrentes (DM-reg, ML-BART, MLN-GP) falharam em capturar zeros estruturais, resultando em viés significativo e intervalos de credibilidade mal calibrados.
- O modelo ZANIDM-reg (que assume linearidade) teve desempenho inferior quando as relações verdadeiras eram não lineares.
- O ZANIM-LN-BART demonstrou robustez: quando os dados não tinham zeros estruturais, o modelo performou tão bem quanto seus casos especiais (ML-BART/MLN-BART), indicando que a componente extra de mistura não prejudica a inferência na ausência de zeros estruturais.
Aplicação em Paleoclima (Dados de Pólen):
- Utilizando um conjunto de dados com 7.832 amostras e 28 táxons de pólen, o modelo ZANIM-LN-BART forneceu o melhor ajuste aos dados, superando modelos de regressão e modelos BART sem efeitos aleatórios ou zeros estruturais.
- Os Holdout Predictive Checks (HPC) mostraram que o ZANIM-LN-BART capturou corretamente a sobre-dispersão, a inflação de zeros e a estrutura composicional, enquanto outros modelos subestimaram ou superestimaram essas características.
- As análises de dependência parcial revelaram relações não lineares complexas entre variáveis climáticas (temperatura, precipitação) e a abundância/ausência de espécies de pólen.
Aplicação em Microbioma (Intestino Humano):
- Em um conjunto de dados de microbioma com 108 covariáveis dietéticas, o ZANIM-LN-BART identificou associações esparsas e não lineares entre nutrientes e composições microbianas.
- O modelo demonstrou capacidade de seleção de variáveis e captura de efeitos não lineares (ex: efeito quadrático do ferro na abundância de Prevotella), superando modelos de regressão paramétrica.

5. Significado e Conclusão

Este trabalho preenche uma lacuna crítica na análise de dados de contagem-composicionais. Ao combinar a flexibilidade dos BARTs (para capturar não linearidades e interações) com a estrutura probabilística rigorosa da ZANIM (para lidar com zeros estruturais e sobre-dispersão), os autores oferecem uma ferramenta poderosa para cientistas de dados em ecologia, paleoclimatologia e biologia.

O principal avanço é a capacidade de modelar simultaneamente como as covariáveis afetam a composição dos dados e como elas afetam a probabilidade de um evento não ocorrer (zeros estruturais), tudo isso sem impor suposições paramétricas rígidas. O modelo ZANIM-LN-BART, em particular, destaca-se como uma solução robusta para dados reais que apresentam alta variabilidade, esparsidade e dependências complexas, oferecendo insights mais precisos sobre os mecanismos subjacentes aos dados observados.