Finite mixture representations of zero-and-$N$-inflated distributions for count-compositional data

Titel: Eindige mengselrepresentaties van zero- en N-geinflateerde verdelingen voor tellende composietdata

Auteurs: André F. B. Menezes, Andrew C. Parnell en Keefe Murphy
Gepubliceerd in: Journal of Multivariate Analysis (2025)

1. Het Probleem

De studie richt zich op tellende composietdata (count-compositional data), waarbij waarnemingen bestaan uit tellingen van $d$ categorieën die samen een totaal van $N$ trials vormen (bijv. microbiome-data). Een veelvoorkomend probleem in dergelijke data is de overmaat aan nullen (zero-inflation).

In univariate gevallen wordt dit vaak behandeld met zero-inflated modellen. In multivariate settings is dit echter complexer omdat nullen niet alleen in één categorie kunnen voorkomen, maar ook gelijktijdig in meerdere categorieën.

• Structuur van nullen: Als nullen in alle categorieën behalve één voorkomen, moet de resterende categorie per definitie de waarde $N$ aannemen. Dit fenomeen staat bekend als 'endpoint-inflation' (of N-inflation).
• Huidige tekortkomingen: Bestaande uitbreidingen van de multinomiale of Dirichlet-multinomiale verdelingen richten zich vaak op het modelleren van de latente ruimte (bijv. via beta-stick-breaking) in plaats van de steekproefverdeling van de tellingen zelf. Hierdoor ontbreekt vaak een volledige probabilistische karakterisering van de verdeling als steekproefverdeling, en worden theoretische eigenschappen zoals momenten en randverdelingen niet volledig afgeleid.

2. Methodologie

De auteurs ontwikkelen een unificerend kader dat twee multivariate modellen voorstelt als eindige mengselverdelingen (finite mixture distributions). Dit kader maakt het mogelijk om zowel zero-inflation als N-inflation (endpoint-inflation) en overdispersie simultaan te modelleren.

A. De ZANIM-verdeling (Zero-and-N-Inflated Multinomial)

• Basis: Gebaseerd op multinomiale mengselcomponenten.
• Afleiding: De auteurs beginnen met de multinomiale waarschijnlijkheidsfunctie en introduceren een hulpvariabele $\phi$ (Gamma-verdeling) om de likelihood te herschrijven als een product van Poisson-achtige termen. Ze introduceren vervolgens een zero-inflatie parameter $\zeta_j$ voor elke categorie $j$.
• Structuur: De ZANIM-verdeling is een eindig mengsel van $2^d$ componenten:
  1. Een standaard multinomiale component.
  2. Degeneratieve componenten voor het geval alle tellingen 0 zijn ($\delta_{0_d}$).
  3. Degeneratieve componenten voor het geval precies $d-1$ categorieën 0 zijn (wat leidt tot N-inflation in de resterende categorie).
  4. Gereduceerde multinomiale componenten voor gevallen waar $k$ categorieën ($1 \le k \le d-2$) 0 zijn.
• Stochastische representatie: De verdeling kan worden gegenereerd via een reeks onafhankelijke Bernoulli-variabelen die bepalen of een categorie "structuur-0" is of dat de tellingen uit een multinomiale verdeling komen.

B. De ZANIDM-verdeling (Zero-and-N-Inflated Dirichlet-Multinomial)

• Basis: Gebaseerd op Dirichlet-multinomiale (DM) mengselcomponenten.
• Context: Dit is een herformulering van de eerder door Koslovsky [10] geïntroduceerde ZIDM-verdeling. De auteurs tonen aan dat ZIDM beter beschreven kan worden als ZANIDM door het als een eindig mengsel te karakteriseren.
• Structuur: Net als ZANIM is dit een mengsel van $2^d$ componenten, maar de niet-degeneratieve componenten zijn nu Dirichlet-multinomiale verdelingen (in plaats van multinomiale). Dit introduceert extra overdispersie.
• Relatie: Wanneer de concentratieparameters van de Dirichlet-verdeling naar oneindig gaan, convergeert de ZANIDM-verdeling naar de ZANIM-verdeling.

C. Bayesiaanse Inferentie

De auteurs ontwikkelen geavanceerde Bayesiaanse inferentie-schema's met Gibbs-sampling:

• ZANIM: Gebruikt data-augmentatie met latente variabelen om conjugate updates te mogelijk maken voor parameters $\theta$ en $\zeta$.
• ZANIDM: De auteurs verbeteren de bestaande methode van Koslovsky door een gecollapseerde Gibbs-sampling aanpak te introduceren. In plaats van gezamenlijke "expand-and-contract" stappen (Metropolis-Hastings) voor latente variabelen, marginaliseren ze over de gamma-variabele $\lambda_j$ om directe updates voor de Bernoulli-indicator $z_j$ en de Gamma-variabele $\lambda_j$ mogelijk te maken. Dit verhoogt de efficiëntie aanzienlijk.
• Voor de concentratieparameters $\alpha$ worden verschillende sampling-methoden getest (Data Augmentation met Power-Truncated Normal, Random Walk Metropolis-Hastings, en Slice Sampling).

3. Belangrijkste Bijdragen

1. Unificerend Kader: Het bieden van een gemeenschappelijke probabilistische representatie voor zowel ZANIM als ZANIDM als eindige mengselverdelingen.
2. Volledige Karakterisering: Voor het eerst wordt de ZANIDM-verdeling volledig gekarakteriseerd als een steekproefverdeling van tellingen, inclusief de afleiding van de waarschijnlijkheidsmassafunctie (PMF) met expliciete degeneratieve componenten.
3. Theoretische Eigenschappen: Afleiding van cruciale statistische eigenschappen, waaronder:
   • Randverdelingen (mixture van binomiale/beta-binomiale en degeneratieve verdelingen).
   • Momenten (verwachting, variantie, covariantie).
   • Het vermogen om zowel positieve als negatieve correlaties te modelleren (in tegenstelling tot standaard multinomiale modellen die alleen negatieve correlatie toestaan).
4. Efficiënte Inferentie: Ontwikkeling van een geoptimaliseerd Bayesiaans inferentie-algoritme voor ZANIDM dat significant efficiënter is dan de bestaande methoden, met name door het vermijden van dimensionale veranderingen in de MCMC-stappen.

4. Resultaten

• Simulatiestudies:
  • De gecollapseerde Gibbs-sampling voor ZANIDM toont een hogere Effective Sample Size (ESS) en lagere bias in vergelijking met de methode van Koslovsky.
  • De modellen kunnen data met overmaat aan nullen en overdispersie nauwkeurig reproduceren.
  • Modelselectie via ELPD (Expected Log Predictive Density) toont aan dat het juiste model (ZANIM vs. ZANIDM) de data het beste fit, afhankelijk van de onderliggende generatieverdeling. ZANIM presteert beter bij minder overdispersie, terwijl ZANIDM noodzakelijk is bij sterke overdispersie.
• Toepassing op Microbiome-data:
  • De modellen werden toegepast op een dataset van menselijke darmmicrobiomen (98 individuen, 28 taxa).
  • De data vertoonde 32,6% nullen en hoge overdispersie.
  • Resultaat: Het ZANIDM-model bood een betere fit dan ZANIM (hogere ELPD), wat aangeeft dat de overdispersie in de microbiome-data een belangrijkere rol speelt dan alleen structurele nullen.
  • De analyse toonde aan dat voor sommige taxa (bijv. Prevotella) de nullen voornamelijk structureel zijn (hoge $\zeta$), terwijl voor andere taxa (bijv. Actinomycineae) de overdispersie (via de DM-component) een groter deel van de nullen verklaart.

5. Betekenis en Conclusie

Dit artikel biedt een fundamentele bijdrage aan de statistische modellering van multivariate tellende data. Door de modellen als eindige mengsels te definiëren, kunnen onderzoekers nu:

• Theoretisch onderbouwde inferentie uitvoeren met bekende eigenschappen (momenten, randverdelingen).
• Efficiëntere Bayesiaanse schattingen uitvoeren, wat essentieel is voor complexe datasets zoals microbiome-studies.
• Flexibiliteit tonen in het modelleren van complexe afhankelijkheidsstructuren (positieve en negatieve correlaties) en overdispersie.

De auteurs merken op dat de huidige aanname van onafhankelijke zero-indicatoren een beperking kan zijn en dat toekomstig werk gericht zal zijn op het introduceren van gedeelde latente factoren (via multivariate probit-modellen) om correlaties tussen de zero-inflatie van verschillende categorieën te modelleren. Desondanks vormen de ZANIM en ZANIDM verdelingen nu een robuust en theoretisch onderbouwd instrument voor onderzoekers die te maken hebben met zero-inflated composietdata.