📊 statistics

Handling Missingness and Censoring in Dirichlet Models

Cet article propose un algorithme d'espérance-maximisation pour l'estimation du maximum de vraisemblance et l'imputation basée sur un modèle des paramètres de Dirichlet afin de traiter les composantes manquantes et censurées dans les données compositionnelles, démontrant une performance supérieure pour préserver la structure compositionnelle par rapport aux méthodes existantes à travers des simulations et une étude de cas sur la spéciation du mercure.

Auteurs originaux : J. Pillay, A. Bekker, C. Tortora, A. Punzo

Publié 2026-07-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : J. Pillay, A. Bekker, C. Tortora, A. Punzo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de décrire une pizza, mais que vous ne pouvez parler que des garnitures, et non de la pizza entière. Dans le monde des statistiques, cela s'appelle des « données compositionnelles ». Il s'agit de tout ensemble de nombres qui représentent des parties d'un tout, comme le pourcentage de différents minéraux dans une roche, le mélange d'espèces dans une forêt, ou le budget de différents départements dans une entreprise. La règle d'or ici est que toutes les parties doivent totaliser exactement 100 % (ou 1). En raison de cette règle, les parties sont liées entre elles : si le fromage augmente, le pepperoni doit diminuer. Cela crée une danse mathématique complexe où les nombres dépendent les uns des autres d'une manière qui peut tromper les programmes informatiques standards.

Habituellement, les statisticiens gèrent les informations manquantes en jetant la pizza entière s'il manque ne serait-ce qu'une part, ou en écrasant les données pour leur donner une forme différente (comme une ligne droite) afin de faciliter l'analyse. Mais écraser les données peut en altérer les saveurs, et jeter des données est un gaspillage. La grande question est la suivante : comment remplir les parts manquantes de la pizza sans gâcher la recette ou prétendre savoir des choses que nous ignorons ? C'est particulièrement difficile lorsque les morceaux manquants ne sont pas simplement « absents », mais sont « censurés » — ce qui signifie que nous savons qu'ils existent quelque part dans une certaine plage, mais que nous ne connaissons pas le nombre exact.

Cet article introduit une nouvelle méthode ingénieuse pour résoudre ce casse-tête en utilisant une méthode appelée l'algorithme d'Espérance-Maximisation (EM), spécifiquement conçue pour la « distribution de Dirichlet ». Considérez la distribution de Dirichlet comme le livre de recettes mathématique parfait pour ces ensembles de données de type « partie d'un tout ». Les auteurs, travaillant avec des données de l'Université de Pretoria et d'autres institutions, ont construit un outil qui agit comme un détective super intelligent. Au lieu de deviner les nombres manquants de manière aléatoire ou de jeter les données désordonnées, leur algorithme joue à un jeu de « devine et vérifie » de manière répétée. Il commence par une supposition pour les valeurs manquantes, calcule la meilleure recette possible (les paramètres) basée sur cette supposition, puis utilise cette nouvelle recette pour faire une meilleure supposition pour les valeurs manquantes. Il continue ainsi jusqu'à ce que la recette et les suppositions cessent de changer.

L'article montre que cette méthode fonctionne très bien, même lorsque les données sont très désordonnées. Dans leurs tests, ils ont simulé des scénarios où jusqu'à 90 % des données étaient manquantes ou seulement partiellement connues, et leur méthode a tout de même réussi à retrouver la véritable recette sous-jacente bien mieux que les anciennes méthodes. Ils ont également testé l'outil sur des données réelles concernant les niveaux de mercure dans le sang humain. Dans cet ensemble de données, certains types de mercure étaient trop faibles pour être mesurés (censurés), et d'autres étaient complètement manquants. Le nouvel algorithme a réussi à combler les vides, suggérant que le méthylmercure (provenant souvent du poisson) est le type le plus courant, tout en révélant qu'il existe probablement des types de mercure inconnus dans le sang qui ne sont pas mesurés.

Crucialement, les auteurs ont constaté que leur méthode préserve mieux la « forme » naturelle des données que d'autres approches. Alors que d'autres méthodes pourraient forcer les données dans une forme qui ne leur correspond pas, ce nouvel outil reste bien à l'intérieur du « simplexe » (l'espace mathématique où toutes les parties s'additionnent pour donner un). Les résultats suggèrent que pour les scientifiques traitant des mélanges incomplets — qu'il s'agisse d'échantillons de sang, de la composition du sol ou de résultats d'enquêtes — cette nouvelle approche offre un moyen plus fiable de comprendre l'image globale, même quand certaines pièces sont cachées. Elle ne prétend pas être magique, mais dans les simulations et les tests en conditions réelles présentés, elle surpasse systématiquement les méthodes standards actuelles pour gérer les éléments manquants.

Résumé technique : Gestion des données manquantes et de la censure dans les modèles de Dirichlet

Énoncé du problème
Les données compositionnelles, qui représentent les proportions relatives de parties d'un tout et résident sur un simplexe unité, sont fréquemment rencontrées dans des domaines allant de la microbiologie aux sciences de l'environnement. La distribution de Dirichlet est le modèle probabiliste canonique pour ces données, analogue à la distribution normale multivariée pour les données non contraintes. Cependant, une limitation significative de la pratique actuelle est que l'inférence basée sur la vraisemblance des paramètres de Dirichlet nécessite généralement des compositions entièrement observées. Dans des scénarios réels, les données contiennent souvent des composantes manquantes ou des valeurs censurées (par exemple, en raison de limites de détection ou d'une spéciation incomplète).

Les approches existantes pour gérer cette incomplétude tombent généralement dans trois catégories : la suppression des lignes incomplètes (ce qui rejette de l'information), la substitution par des valeurs fixes (par exemple, des zéros), ou l'imputation. Les méthodes d'imputation reposent souvent sur la transformation de données vers un espace non contraint (par exemple, via des transformations de rapports logarithmiques), l'ajustement d'un modèle, puis la projection des résultats sur le simplexe. Cette approche basée sur la transformation présente plusieurs inconvénients : elle peut rendre les interprétations des variables originales irrécupérables, échouer à fournir des applications injectives vers le simplexe, et peiner à accommoder naturellement les mécanismes de censure. De plus, les méthodes d'imputation non paramétriques ignorees souvent la structure spécifique de la censure, entraînant un biais potentiel et des distributions sous-jacentes déformées.

Méthodologie
Les auteurs proposent un cadre unifié qui traite les composantes manquantes et censurées comme des formes de « grossissement » (coarsening) au sens de Heitjan & Rubin (1991). Ce cadre englobe les cas de données manquantes complètement au hasard (MCAR), manquantes au hasard (MAR) et manquantes non au hasard (MNAR) en tant que cas particuliers de grossissement complètement au hasard (CCAR), grossissement au hasard (CAR) et grossissement non au hasard (CNAR), respectivement. L'article se concentre sur le mécanisme CAR, où le grossissement dépend des données observées mais non des valeurs exactes non observées, ce qui rend le mécanisme ignorable pour l'inférence basée sur la vraisemblance.

Le cœur de la méthodologie est un algorithme de type Expectation–Maximisation (EM) conçu pour effectuer l'estimation par maximum de vraisemblance (ML) des paramètres de Dirichlet directement sur le simplexe sans transformation de données. L'algorithme procède comme suit :

Fondement théorique : Les auteurs dérivent la densité marginale des composantes observées et la distribution conditionnelle des composantes non observées étant donné les observées. Ils établissent que la distribution conditionnelle des composantes non observées, étant donné les parties observées et la région réalisable définie par les bornes de censure, suit une distribution de Dirichlet tronquée.
Étape E (E-Step) : L'algorithme calcule l'espérance mathématique de la log-vraisemblance des données complètes. Cela implique de calculer l'espérance de la valeur logarithmique des composantes non observées. En utilisant les propriétés de la distribution de Dirichlet tronquée, les auteurs dérivent une expression en forme fermée pour ces espérances impliquant la fonction digamma et la dérivée de la constante de normalisation de la distribution tronquée.
Étape M (M-Step) : L'algorithme maximise l'espérance de la log-vraisemblance des données complètes par rapport au vecteur de paramètres $\alpha$ . Pour garantir la positivité des paramètres de Dirichlet pendant l'optimisation, les auteurs emploient une reparamétrisation ( $\alpha_k = e^{\beta_k}$ ) et utilisent un algorithme de Newton–Raphson (NR) imbriqué dans les itérations EM. La matrice Hessienne est inversée efficacement à l'aide de la formule de Sherman–Morrison.
Convergence : L'algorithme emploie des règles d'arrêt spécifiques : une règle interne basée sur la convergence de Newton–Raphson et une règle externe basée sur le critère d'accélération d'Aitken appliqué à la log-vraisemblance des données observées.

Contributions clés
L'article présente plusieurs contributions techniques spécifiques :

Cadre unifié : Il développe un cadre unique basé sur la vraisemblance qui gère simultanément les composantes manquantes et censurées sur le simplexe, évitant ainsi le besoin de transformation de données.
Algorithme EM pour Dirichlet : Il dérive un algorithme de type EM efficace pour l'estimation ML des paramètres de Dirichlet en présence de données incomplètes, incluant la dérivation des espérances conditionnelles nécessaires impliquant les distributions de Dirichlet tronquées.
Exigences de données minimales : La méthode permet l'ajustement d'une distribution de Dirichlet même lorsqu'un ensemble de données possède des lignes avec une seule composante observée, un scénario où de nombreuses méthodes existantes basées sur la transformation échouent.
Estimation et imputation conjointes : L'approche réalise l'estimation des paramètres et l'imputation basées sur le modèle de manière conjointe, préservant la structure compositionnelle et évitant les erreurs associées à la rétro-transformation.

Résultats et évaluation
La performance de la méthode proposée a été évaluée par deux voies principales :

Étude de simulation : Une étude de simulation approfondie (détaillée dans le matériel supplémentaire) a évalué la méthode sous des mécanismes de grossissement de plus en plus complexes. Les résultats ont indiqué que l'estimateur proposé améliore substantiellement la récupération des paramètres par rapport à l'estimation ML basée uniquement sur les cas complets. De plus, les imputations générées par l'algorithme proposé présentaient des erreurs plus faibles que celles produites par une approche de modèle existante (ALR-EM) et une alternative non paramétrique (imputation par moyenne géométrique). La méthode a démontré sa fiabilité même dans des conditions extrêmes, telles que des ensembles de données avec jusqu'à 90 % de valeurs non observées.
Application à des données réelles : La méthodologie a été appliquée aux données de spéciation du mercure provenant de l'enquête nationale sur la santé et la nutrition (NHANES). Cet ensemble de données contenait 3 872 observations avec environ 72 % de cellules non observées en raison des limites de détection et d'une spéciation incomplète.
- Le modèle de Dirichlet fournit un meilleur ajustement aux données observées que le modèle log-normal multivarié (utilisé dans l'approche ALR-EM), comme en témoignent les valeurs plus élevées de la log-vraisemblance observée, de l'AIC et du BIC.
- Les calculs de la distance de Wasserstein ont confirmé que les distributions de Dirichlet et log-normale ajustées modélisent les données différemment, le modèle de Dirichlet fournissant une représentation plus plausible.
- La méthode a réussi à estimer les proportions des types de mercure inconnus et a fourni des imputations qui préservaient mieux la structure compositionnelle observée par rapport aux approches concurrentes.

Signification et revendications
Les auteurs affirment que ce travail comble une lacune fondamentale dans l'analyse des données compositionnelles : l'absence d'une méthode d'estimation basée sur la vraisemblance qui intègre directement les proportions incomplètes sur le simplexe unité. En inversant la perspective traditionnelle consistant à adapter les données à des modèles non contraints, la méthode proposée développe des outils d'estimation qui respectent la géométrie et les contraintes des données compositionnelles.

La portée de ce travail réside dans sa capacité à permettre l'inférence par vraisemblance et le regroupement (clustering) directement sur le simplexe en présence de valeurs non observées. Les auteurs suggèrent que cela ouvre la voie à de nouveaux développements dans la modélisation sur le simplexe, y compris des structures de mélange plus riches et des procédures inférentielles plus flexibles. La méthode est présentée comme une alternative robuste qui évite les limitations d'interprétation et les biais potentiels introduits par les approches basées sur la transformation, particulièrement dans les scénarios impliquant des niveaux élevés de données manquantes ou de censure.

Résumé technique : Gestion des données manquantes et de la censure dans les modèles de Dirichlet

Articles similaires