Dirichlet kernel density estimation on the simplex with missing data

Cet article propose et analyse un estimateur de densité non paramétrique basé sur un noyau de Dirichlet adaptatif et un pondération par probabilité inverse pour estimer la densité de données compositionnelles sur le simplexe en présence de données manquantes, démontrant ainsi sa supériorité par rapport aux méthodes de transformation log-ratio et son applicabilité à des données réelles de composition leucocytaire.

L'essentiel

🥧 Le Gâteau de la Vie et les Morceaux Manquants

Imaginez que vous essayez de comprendre la recette parfaite d'un gâteau. Ce gâteau est spécial : il est composé de plusieurs ingrédients (farine, sucre, œufs, beurre) qui doivent impérativement s'additionner pour faire 100 % du gâteau. En statistiques, on appelle cela des données compositionnelles. Elles vivent sur un "triangle" (ou un espace géométrique spécial appelé simplexe), car si vous augmentez un ingrédient, vous devez obligatoirement en diminuer un autre pour que le total reste 100 %.

Le problème ? Parfois, dans votre enquête sur les recettes, certaines personnes oublient de vous dire combien de sucre elles ont mis, ou leur fiche est illisible. C'est ce qu'on appelle des données manquantes.

Si vous jetez simplement les fiches incomplètes à la poubelle, vous risquez de vous tromper sur la vraie recette moyenne. Si vous inventez (imputez) les chiffres manquants, vous risquez d'introduire des erreurs de calcul.

L'objectif de ce papier est de trouver une méthode intelligente pour deviner la vraie forme du gâteau (la densité de probabilité) même quand certains morceaux de la recette manquent, sans avoir à deviner ce qu'il y a dedans.

---

🎭 La Méthode du "Poids Inversé" : Le Système de Récompense

Les auteurs proposent une astuce géniale appelée l'estimation par pondération inverse de la probabilité (IPW).

Imaginez que vous organisez une grande fête et que vous voulez connaître la répartition des goûts musicaux de tous les invités. Mais certains invités sont timides et ne disent pas ce qu'ils aiment (ils sont "manquants").

• Si un invité très bavard (qui a beaucoup de chances de parler) ne dit rien, ce n'est pas grave.
• Mais si un invité très timide (qui a très peu de chances de parler) vous donne quand même son avis, c'est une information précieuse ! Il représente non seulement lui-même, mais aussi tous les autres timides qui n'ont pas osé parler.

La méthode IPW dit : "Donnons un gros poids (une grande importance) à ceux qui ont parlé alors qu'ils avaient peu de chances de le faire, et un petit poids à ceux qui ont parlé alors qu'ils étaient très enclins à le faire."

Ainsi, on rééquilibre la balance pour retrouver la vraie image de la foule, sans avoir besoin de deviner ce que les timides pensaient.

---

🧭 La Boussole Adaptative : Le Noyau Dirichlet

Maintenant, comment dessiner le gâteau avec ces données pondérées ?

Les méthodes classiques (comme les "noyaux" standards) sont comme des boussoles rigides. Si vous les utilisez près du bord du gâteau (là où un ingrédient est presque à 0 %), elles se trompent et donnent des résultats négatifs (ce qui est impossible pour une recette !).

Les auteurs utilisent une boussole spéciale appelée Noyau Dirichlet.

• L'analogie : Imaginez que votre boussole est faite de pâte à modeler flexible. Au centre du gâteau, elle est ronde et classique. Mais dès qu'elle approche du bord (le mur de la cuisine), elle s'adapte, s'aplatit et se colle au mur sans jamais sortir de la cuisine.
• Le résultat : Elle garantit que la recette estimée reste toujours positive et respecte la règle des 100 %, même aux extrémités.

---

🕵️‍♂️ L'Enquête : Quand on ne connaît pas les "Probabilités de Parler"

Dans la vraie vie, on ne sait pas toujours exactement pourquoi quelqu'un a parlé ou s'est tu. On ne connaît pas la "probabilité de réponse" (appelée propension).

Pour résoudre ce mystère, les auteurs ajoutent une étape d'enquête :

1. Ils observent d'autres informations disponibles (comme l'âge, le sexe, ou le niveau d'éducation des invités).
2. Ils utilisent une technique de lissage (régression de Nadaraya-Watson) pour deviner, en fonction de ces infos, quelle était la probabilité que chaque personne parle.
3. Ils utilisent cette estimation pour appliquer la méthode des poids inverses décrite plus haut.

C'est comme si un détective utilisait les indices visibles pour deviner les motivations invisibles, afin de rééquilibrer l'enquête.

---

📊 Les Résultats : Ce que disent les expériences

Les chercheurs ont testé leur méthode avec des simulations (des jeux de données inventés) et une vraie étude sur le sang humain (les leucocytes, ou globules blancs).

• Le test : Ils ont comparé leur méthode (Noyau Dirichlet + Poids Inverses) avec d'autres méthodes qui essaient de transformer les données en nombres simples avant de les analyser.
• Le verdict : La méthode des auteurs gagne souvent le match ! Elle est plus précise, surtout quand il y a beaucoup de données manquantes. Elle arrive à trouver le "profil moyen" le plus typique (le mode) sans se perdre dans les erreurs de transformation.
• L'exemple réel : En appliquant cela aux données de santé (NHANES), ils ont pu identifier le profil immunitaire "standard" d'une population, même avec des données incomplètes.

🚀 En Résumé

Ce papier nous dit :

1. Ne jetez pas les données incomplètes, ne les inventez pas non plus.
2. Pesez-les intelligemment : donnez plus d'importance à ceux qui sont rares mais présents.
3. Utilisez une boussole flexible (Noyau Dirichlet) qui respecte les règles du jeu (les ingrédients doivent faire 100 %).
4. Résultat : Vous obtenez une image claire et précise de la réalité, même si le puzzle est incomplet.

C'est une nouvelle façon de faire de la statistique qui est plus robuste, plus juste et qui respecte la nature complexe de nos données (comme les recettes de cuisine ou les mélanges de sang).

Résumé technique

Voici un résumé technique détaillé de l'article « Dirichlet kernel density estimation on the simplex with missing data » en français.

1. Problématique et Contexte

Données compositionnelles et simplices :
L'article traite de l'estimation de densité non paramétrique pour des données compositionnelles. Ces données, notées $Y$, sont constituées de composantes non négatives dont la somme est égale à 1. Leur support naturel est le simplexe $S_d = \{s \in [0, 1]^d : \sum s_i \le 1\}$. Les méthodes multivariées classiques échouent souvent ici car elles ne respectent pas la contrainte de fermeture et la dépendance induite entre les composantes.

Le problème des données manquantes :
Dans de nombreuses applications réelles (microbiome, géochimie, santé publique), les observations de $Y$ sont soumises à un mécanisme de données manquantes. L'article se concentre sur le cas MANQUANT AU HASARD (MAR - Missing At Random), où la probabilité qu'une observation soit manquante dépend de covariables entièrement observées $X$, mais pas de la valeur manquante de $Y$ elle-même.

Limites des approches existantes :
Les méthodes traditionnelles pour gérer les données manquantes reposent souvent sur l'imputation (remplissage des valeurs manquantes) suivie d'une estimation de densité. Cependant, cette approche à deux étapes introduit des biais de modélisation et ne cible pas directement la distribution complète. De plus, les estimateurs de densité standards (comme les noyaux gaussiens) appliqués aux données transformées (log-ratio) peuvent souffrir de problèmes aux frontières du simplexe.

2. Méthodologie Proposée

Les auteurs proposent une méthode d'estimation de densité sur le simplexe combinant deux concepts clés :

1. Estimation par noyau de Dirichlet (Dirichlet Kernel) :
   Au lieu d'utiliser des noyaux symétriques standards, l'article utilise un noyau de Dirichlet adaptatif, noté $\kappa_{s,b}(\cdot)$. Ce noyau est défini par une distribution de Dirichlet dont les paramètres dépendent du point d'évaluation $s$ et d'un paramètre de lissage $b$.

   • Avantages : Il garantit la non-négativité de l'estimateur, respecte naturellement le support du simplexe et atténue les effets de bord (boundary effects) inhérents aux méthodes classiques.

2. Pondération par l'inverse des probabilités (IPW - Inverse Probability Weighting) :
   Pour corriger le biais introduit par le mécanisme MAR sans imputer les données, l'estimateur pondère les observations observées par l'inverse de leur probabilité d'observation (le propensity score $\pi(X)$).

   • Estimateur Pseudo ($\tilde{f}_{n,b}$) : Suppose que les probabilités d'observation $\pi(X)$ sont connues.
   • Estimateur Faisable ($\hat{f}_{n,b}$) : Dans la pratique, $\pi(X)$ est inconnu. Les auteurs l'estiment via une régression de Nadaraya-Watson (estimation non paramétrique) à partir des données observées, puis substituent cette estimation dans la formule IPW.

Formulation de l'estimateur :
L'estimateur final est donné par :
$$\hat{f}_{n,b}(s) = \frac{1}{n} \sum_{i=1}^n \frac{\delta_i}{\hat{\pi}_i(X_{1:n})} \kappa_{s,b}(Y^i)$$
où $\delta_i$ est l'indicateur d'observation et $\hat{\pi}_i$ l'estimateur de la probabilité d'observation.

3. Contributions Théoriques Principales

L'article établit une théorie asymptotique complète pour les deux estimateurs (pseudo et faisable) sous des hypothèses de régularité standard (densité lisse, support borné, probabilité d'observation bornée away from zero).

• Biais et Variance :

  • Pour l'estimateur pseudo, le biais dominant est identique à celui de l'estimateur sur données complètes (dépendant de la dérivée seconde de la densité).
  • La variance est augmentée par un facteur $(1 + \zeta(s))$, où $\zeta(s)$ capture la variabilité due aux poids IPW.
  • Pour l'estimateur faisable (avec $\pi$ estimé), les auteurs montrent que l'erreur d'estimation de la propension n'influe pas sur le terme dominant de la variance, à condition que la dimension des covariables $p$ soit strictement inférieure à la dimension du simplexe $d$ ($p < d$). Un terme de réduction de variance d'ordre supérieur apparaît même.

• Taux de convergence optimaux :
  Les auteurs dérivent les taux optimaux de lissage pour le paramètre $b$ (lié à la densité) et $h$ (lié à l'estimation de la propension).

  • Taux optimal pour $b$ : $O(n^{-2/(d+4)})$.
  • Taux optimal pour $h$ : $O(n^{-1/(p+4)})$.
  • Le taux de convergence global du MSE (Erreur Quadratique Moyenne) est de l'ordre de $O(n^{-4/(d+4)})$.

• Normalité Asymptotique :
  Les deux estimateurs convergent vers une loi normale centrée réduite après un renormalisation appropriée, permettant la construction d'intervales de confiance.

4. Résultats Empiriques (Simulations et Application Réelle)

Étude de Simulation :

• Comparaison : La méthode proposée (IPW Dirichlet KDE) est comparée à des alternatives basées sur des transformations log-ratio (additive et isométrique) suivies d'une estimation par noyau gaussien dans l'espace euclidien.
• Performance : Sur divers modèles de mélanges de Dirichlet et pour différentes tailles d'échantillons ($n$) et taux de manquants (jusqu'à 40 %), l'estimateur IPW Dirichlet surpasse systématiquement les méthodes basées sur les transformations log-ratio en termes d'Erreur Quadratique Intégrée (ISE).
• Robustesse : La méthode reste stable même avec des taux de manquants élevés, bien que la variance augmente avec le taux de manquants. L'augmentation de la taille de l'échantillon compense efficacement cette perte d'information.

Application aux Données Réelles (NHANES) :

• Données : Utilisation des données de l'enquête NHANES (2017-2018) sur la composition des leucocytes (neutrophiles, lymphocytes, autres). Les covariables utilisées sont l'Indice de Masse Corporelle (IMC).
• Résultat : L'estimateur permet d'identifier le profil immunitaire modal (le plus fréquent) dans la population échantillonnée. Le mode estimé correspond à environ 57 % de neutrophiles, 32 % de lymphocytes et 11 % d'autres, ce qui est biologiquement cohérent avec les profils de santé standards.
• Valeur ajoutée : L'approche gère correctement les données manquantes (bloc de données différentielles manquantes) tout en respectant la structure compositionnelle des données sans nécessiter de transformation préalable.

5. Signification et Perspectives

Signification :
Ce travail comble un vide important dans la littérature statistique en fournissant une méthode rigoureuse pour l'estimation de densité sur le simplexe en présence de données manquantes MAR. Il démontre que l'approche IPW, couplée à des noyaux asymétriques adaptés à la géométrie du simplexe, est supérieure aux approches de transformation classiques, évitant ainsi les distorsions aux frontières et les biais d'imputation.

Limites et Extensions Futures :

• La condition $p < d$ (dimension des covariables inférieure à celle du simplexe) est nécessaire pour la normalité asymptotique actuelle. Pour $p \ge d$, des noyaux d'ordre supérieur ou des modèles paramétriques pour la propension seraient nécessaires.
• L'article suggère des extensions vers des données avec des zéros structurels (courant en microbiome), des bandes de confiance uniformes, et l'intégration de poids d'échantillonnage complexes (comme dans les enquêtes NHANES).

En résumé, cette étude propose un cadre théorique solide et une méthode pratique robuste pour analyser des données compositionnelles incomplètes, avec des applications directes en épidémiologie, en biologie et en sciences environnementales.