📊 statistics

Bayesian nonparametric models for zero-inflated count-compositional data using ensembles of regression trees

Cet article propose deux nouveaux modèles bayésiens non paramétriques basés sur des ensembles d'arbres de régression pour analyser des données de comptage compositionnelles avec excès de zéros, en surmontant les défis de la surdispersion et de l'hétérogénéité grâce à une inférence efficace validée par des simulations et une étude paléoclimatique.

Auteurs originaux : André F. B. Menezes, Andrew C. Parnell, Keefe Murphy

Publié 2026-04-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : André F. B. Menezes, Andrew C. Parnell, Keefe Murphy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective écologique. Votre mission ? Comprendre pourquoi certaines plantes (représentées par du pollen) poussent ici et pas là, en fonction du climat. Vous avez un carnet de notes rempli de comptes : "10 grains de pollen de pin, 0 de chêne, 5 de bouleau..." pour chaque échantillon de sol que vous analysez.

Le problème, c'est que ces données sont très désordonnées :

Il y a trop de zéros : Souvent, vous ne trouvez aucun grain d'une certaine plante, même si elle pourrait y être. Est-ce qu'elle n'est vraiment pas là ? Ou est-ce qu'elle était là mais vous ne l'avez pas vue par hasard ?
C'est très variable : Parfois, vous trouvez 100 grains, parfois 1, sans raison apparente.
Les règles sont compliquées : Le climat n'agit pas de façon simple et linéaire. Un peu plus de chaleur peut faire exploser la population d'une plante, mais trop de chaleur la tue. C'est une courbe, pas une ligne droite.

Jusqu'à présent, les outils mathématiques pour analyser ces données étaient comme des marteaux-piqueurs : ils étaient trop rigides. Ils supposaient que tout était une ligne droite et ne savaient pas bien distinguer entre "la plante est absente" et "la plante est absente par hasard".

La solution proposée : Le "Couteau Suisse" des arbres de décision

Les auteurs de cet article (André, Andrew et Keefe) ont créé un nouvel outil statistique, un peu comme un couteau suisse ultra-intelligent appelé ZANIM-LN-BART.

Voici comment cela fonctionne, avec des analogies simples :

1. Le problème des "Zéros" (Le mystère de l'absence)

Dans votre carnet, un "0" peut signifier deux choses :

Zéro structurel : La plante est vraiment absente (le climat est trop froid pour elle). C'est comme chercher un pinguin dans le désert : il n'y est pas, point final.
Zéro d'échantillonnage : La plante est là, mais vous n'avez pas eu la chance de trouver un grain de pollen dans votre échantillon. C'est comme chercher un moustique dans une pièce sombre : il est là, mais vous ne l'avez pas vu.

L'ancien modèle ne faisait pas la différence. Le nouveau modèle, lui, a deux yeux :

Un œil pour prédire la probabilité que la plante soit réellement absente (le "Zéro structurel").
Un autre œil pour prédire la proportion de pollen si elle est présente.
Il utilise des arbres de décision (des questions du type "Si la température > 10°C, alors...") pour faire ces prédictions.

2. La flexibilité (Le caméléon)

Les anciennes méthodes forçaient les données à suivre une ligne droite (comme un train sur des rails). Si la réalité était une courbe (comme une montagne russe), le modèle échouait.

Leur nouvel outil utilise des forêts d'arbres de décision (BART). Imaginez une forêt où chaque arbre pose une petite question simple. Ensemble, ils peuvent dessiner n'importe quelle forme : des courbes, des pics, des vallées. C'est comme si vous aviez un caméléon capable de s'adapter à n'importe quelle forme de paysage climatique, sans avoir besoin de lui dire à l'avance à quoi ressemblera le paysage.

3. Le chaos et la variation (Le brouillard)

Parfois, même avec le même climat, les résultats changent beaucoup d'un endroit à l'autre (à cause du vent, du sol, etc.). C'est le "bruit".
Le modèle ajoute une couche de mystère contrôlé (des effets aléatoires cachés). Imaginez que vous ayez un brouillard léger qui varie d'un endroit à l'autre. Le modèle apprend à distinguer ce qui est dû au climat (la cause réelle) et ce qui est dû au brouillard (le hasard), pour ne pas se tromper.

L'expérience de terrain : Le climat et le pollen

Pour prouver que leur outil est le meilleur, ils l'ont testé sur deux terrains de jeu :

Des simulations : Ils ont créé de fausses données avec des règles complexes et cachées. Leurs modèles ont réussi à retrouver les règles cachées là où les autres outils échouaient.
La réalité (Paléoclimat) : Ils ont analysé des milliers d'échantillons de pollen pour reconstruire le climat du passé.
- Résultat : Leur modèle a mieux compris les données que les anciens. Il a pu dire : "Ah, le chêne disparaît quand il fait trop froid, mais pas de façon linéaire, c'est une chute brutale après un certain seuil."
- Il a aussi réussi à dire : "Ce zéro ici, ce n'est pas parce qu'il n'y a pas de chêne, c'est juste que l'échantillon était petit."

En résumé

Imaginez que vous essayez de comprendre une pièce de musique complexe.

Les anciens modèles écoutaient la musique avec des écouteurs bas de gamme : ils entendaient juste "ça va" ou "ça ne va pas", et confondaient les silences avec des notes manquantes.
Le nouveau modèle (ZANIM-LN-BART) est un ingénieur du son avec un studio de mixage. Il peut :
- Isoler chaque instrument (chaque espèce de plante).
- Distinguer un silence volontaire (la plante n'est pas là) d'un silence accidentel (on ne l'a pas entendue).
- Comprendre les mélodies complexes (les relations non-linéaires avec le climat).

Grâce à cette méthode, les scientifiques peuvent maintenant mieux comprendre comment le climat a façonné la végétation dans le passé, et peut-être mieux prédire comment il la façonnera dans le futur. C'est une avancée majeure pour les détectives du climat !

1. Problématique et Contexte

Les données de comptage compositionnelles (count-compositional data) sont omniprésentes dans des domaines tels que la séquençage à haut débit, les enquêtes écologiques et les études paléoclimatiques. Ces données représentent des fréquences d'occurrence dans plusieurs catégories mutuellement exclusives, contraintes de sommer à un total fixe.

L'analyse de ces données rencontre quatre défis majeurs souvent non résolus simultanément par les méthodes existantes :

Surdispersion : La variance observée dépasse celle attendue sous une distribution multinomiale simple.
Excès de zéros (Zero-inflation) : Une proportion de zéros bien supérieure à celle prédite par les modèles standards. Il est crucial de distinguer les zéros structurels (l'événement ne peut pas se produire, ex. : une espèce absente d'un habitat) des zéros d'échantillonnage (l'événement est possible mais non détecté).
Hétérogénéité inter-échantillons : Des variations non expliquées entre les observations.
Effets de covariables complexes : Les relations entre les covariables (ex. : climat, nutriments) et les compositions sont souvent non linéaires et impliquent des interactions, ce que les modèles paramétriques linéaires classiques ne capturent pas bien.

Les approches actuelles (Dirichlet-multinomiale, Logistique-Normale, modèles à zéros inflés paramétriques) souffrent soit de l'incapacité à modéliser explicitement les zéros structurels, soit de l'hypothèse restrictive de relations linéaires entre les covariables et les probabilités.

2. Méthodologie Proposée

Les auteurs proposent deux nouveaux modèles bayésiens non paramétriques basés sur des ensembles d'arbres de régression (BART - Bayesian Additive Regression Trees) : le ZANIM-BART et le ZANIM-LN-BART.

A. Fondement Probabiliste : La distribution ZANIM

Les modèles s'appuient sur la distribution Zero-and-N-inflated Multinomial (ZANIM), introduite par Menezes et al. (2025). Cette distribution est un mélange fini capable de gérer :

Les zéros structurels (via des indicateurs latents $z_{ij}$ ).
L'inflation N (cas où tous les comptes sont nuls sauf un).
La surdispersion via un mélange de composantes.

B. Approche Non Paramétrique (BART)

Au lieu de spécifier des formes fonctionnelles paramétriques (linéaires), les auteurs attribuent des priors BART indépendants aux deux composantes clés du modèle :

Probabilités de comptage ( $\theta$ ) : Modélisées via un Log-linear BART (Murray, 2021). Cela permet de capturer des effets non linéaires et des interactions complexes entre les covariables sur les proportions relatives.
Probabilités de zéros structurels ( $\zeta$ ) : Modélisées via un Probit BART (Chipman et al., 2010). Cela permet de déterminer flexiblement quelles covariables influencent la probabilité qu'une catégorie soit structurellement absente.

C. Extension avec Effets Aléatoires : ZANIM-LN-BART

Pour capturer une hétérogénéité supplémentaire et des dépendances complexes entre les catégories, le modèle ZANIM-LN-BART intègre des effets aléatoires logistiques-normaux multivariés.

Cela permet de modéliser la variabilité spécifique à l'échantillon (surdispersion résiduelle) au-delà du mélange de zéros.
Une contrainte de somme nulle et une hiérarchie factorielle (factor-analytic hyperprior) sont utilisées pour assurer l'identifiabilité et la parcimonie de la matrice de covariance des effets aléatoires.

D. Inférence

Les auteurs développent un algorithme MCMC (Monte Carlo par Chaîne de Markov) efficace combinant :

Des schémas d'augmentation de données (Data Augmentation) pour linéariser les termes de vraisemblance (méthode d'Albert et Chib pour les probits, et adaptation pour la partie ZANIM).
Des routines de mise à jour Bayesian Backfitting pour les arbres de régression.
Des échantillonnages elliptiques pour les effets aléatoires.

3. Contributions Clés

Modélisation conjointe flexible : C'est la première approche qui combine explicitement la modélisation des zéros structurels, la surdispersion (via effets aléatoires) et des effets de covariables non paramétriques complexes pour des données de comptage compositionnelles.
Extension du cadre BART : Généralisation du modèle ML-BART (Murray, 2021) en introduisant des priors BART pour les probabilités de zéros structurels et des effets aléatoires, créant ainsi le modèle MLN-BART (Logistic-Normal BART) comme sous-produit.
Algorithme d'inférence robuste : Développement d'un algorithme MCMC capable de gérer la complexité du mélange de distributions et des ensembles d'arbres via l'augmentation de données, rendant l'inférence bayésienne faisable pour ces modèles complexes.
Validation rigoureuse : Démonstration de la supériorité des modèles par rapport aux méthodes existantes (Dirichlet-multinomiale, ZIDM, MLN-GP) dans des simulations et des applications réelles.

4. Résultats

Études de Simulation

Récupération des paramètres : Les modèles ZANIM-BART et ZANIM-LN-BART récupèrent avec précision les probabilités de comptage et de zéros structurels, même lorsque les relations covariables-réponse sont non linéaires et que le processus générateur de données est mal spécifié pour les modèles concurrents.
Gestion des zéros : Les modèles qui ignorent les zéros structurels (comme ML-BART ou MLN-GP) produisent des estimations biaisées des probabilités de comptage et une quantification de l'incertitude inadéquate (intervalles de crédibilité sous-estimés).
Robustesse : Le modèle ZANIM-LN-BART fonctionne bien même en l'absence de zéros structurels (se comportant comme son cas spécial MLN-BART), prouvant qu'il n'introduit pas de biais inutile.
Performance : Bien que plus coûteux en temps de calcul que les modèles de régression linéaire, les modèles BART restent faisables et surpassent largement les modèles à noyaux gaussiens (GP) en termes de scalabilité et de précision sur les données à zéros inflés.

Applications Réelles

Données Paléoclimatiques (Pollen) :
- Analyse de 7 832 échantillons de pollen avec 28 taxons et 3 covariables climatiques.
- Les données présentent une forte surdispersion et un excès de zéros (63 %).
- Le ZANIM-LN-BART offre le meilleur ajustement (vérifications prédictives sur données de rétention), capturant correctement la structure de dépendance, la surdispersion et les relations non linéaires entre le climat et la composition du pollen.
- Les analyses de dépendance partielle révèlent des réponses climatiques unimodales et multimodales complexes que les modèles linéaires ne peuvent pas détecter.
Données Microbiome (Intestin humain) :
- Application sur un jeu de données de 96 individus avec 13 taxons et 108 covariables alimentaires.
- Le modèle identifie des associations non linéaires entre les nutriments et les abondances microbiennes, ainsi que des facteurs influençant l'absence structurelle des taxons.
- Comparé aux modèles ZIDM et DM avec sélection de variables, le ZANIM-LN-BART évite le surajustement (overfitting) grâce aux effets aléatoires et fournit une quantification de l'incertitude plus fiable.

5. Signification et Impact

Cet article représente une avancée significative dans l'analyse statistique des données de comptage compositionnelles. En levant les contraintes de linéarité et en modélisant explicitement la nature binaire des zéros (structurels vs d'échantillonnage), les auteurs offrent un outil puissant pour des domaines où la complexité des données est la norme.

Pour la science des données : Cela démontre la puissance des méthodes non paramétriques bayésiennes (BART) pour gérer des structures de données complexes et des contraintes de somme.
Pour les domaines appliqués : Les chercheurs en paléoclimatologie et en microbiologie disposent désormais d'un cadre robuste pour explorer des relations environnement-biologie complexes sans avoir à pré-spécifier des formes fonctionnelles risquées, tout en obtenant des inférences plus fiables sur les mécanismes d'absence des espèces.

En résumé, ce travail comble un vide méthodologique majeur en fournissant un modèle unique capable de traiter simultanément la compositionnalité, l'inflation de zéros, la surdispersion et la non-linéarité des effets de covariables.