📊 statistics

Handling Missingness and Censoring in Dirichlet Mixture Models

Cet article propose un nouvel algorithme d'espérance-maximisation pour l'ajustement de mélanges finis de distributions de Dirichlet directement sur le simplexe afin de traiter les données compositionnelles manquantes et censurées, démontrant, à travers des simulations et des applications réelles, que cette approche surpasse les méthodes traditionnelles de suppression de cas en termes de précision de partitionnement et de sélection de modèle tout en préservant l'interprétabilité des données.

Auteurs originaux : Jason Pillay, Andriette Bekker, Cristina Tortora, Antonio Punzo

Publié 2026-07-31

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jason Pillay, Andriette Bekker, Cristina Tortora, Antonio Punzo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de décrire un smoothie, mais que vous ne pouvez goûter que quelques-uns des fruits à l'intérieur. Peut-être savez-vous qu'il y a de la fraise et de la banane, mais le mixeur a caché la mangue et le kiwi. Dans le monde de la science des données, c'est ce qu'on appelle des « données compositionnelles ». Il s'agit d'informations qui décrivent comment des parties constituent un tout, comme les ingrédients d'une recette ou les composants chimiques d'une roche. La partie délicate est que ces parties sont liées entre elles : si vous avez plus d'un ingrédient, vous avez automatiquement moins des autres, car ils doivent toujours totaliser 100 %. Les scientifiques utilisent ces données pour comprendre tout, de la formation des montagnes à la raison pour laquelle l'air devient pollué. Mais il y a un gros problème : les données du monde réel sont désordonnées. Parfois, des capteurs tombent en panne, parfois des produits chimiques sont trop minuscules pour être vus, et parfois les données sont simplement manquantes. Quand cela arrive, les outils mathématiques habituels sont déroutés car ils ne peuvent pas gérer les pièces « manquantes » sans jeter tout le smoothie ou modifier la recette d'une manière qui la rend méconnaissable.

Ce document s'attaque à ce casse-tête précis. Les auteurs, Jason Pillay et son équipe, ont inventé une nouvelle façon de faire des mathématiques qui ne jette pas les pièces manquantes. Au lieu de forcer les données dans une forme qui ne leur convient pas, ils ont construit un algorithme spécial de type « détective » capable de deviner quelles pourraient être les parties manquantes tout en triant les données en groupes. Imaginez un puzzle où certaines pièces manquent ; au lieu d'abandonner, le détective utilise la forme des pièces environnantes pour déterminer exactement où les pièces manquantes doivent se trouver, tout en gardant l'image du puzzle fidèle à l'original. Ils ont testé ce détective sur des données fictives avec des pièces manquantes et sur des données réelles concernant les roches et la pollution de l'air. Ils ont découvert que leur méthode est bien meilleure pour trouver les bons groupes et choisir le bon nombre de catégories que l'ancienne méthode consistant à simplement supprimer les données désordonnées. C'est une façon de donner un sens à des histoires incomplètes sans perdre le fil de l'intrigue.

Le Problème : Le puzzle de la « pièce manquante »

En science, nous traitons souvent des données qui décrivent un tout par ses parties. Imaginez une roche composée de différents minéraux, ou une bouffée d'air remplie de différents produits chimiques. La règle est simple : toutes les parties doivent totaliser 100 %. Si la roche contient 50 % de quartz, elle ne peut contenir que 50 % du reste combiné. C'est ce qu'on appelle des « données compositionnelles ».

Le problème survient lorsque les données sont incomplètes. Peut-être qu'une machine n'a pas réussi à mesurer un minéral spécifique, ou qu'un produit chimique était trop faible pour être vu, de sorte que le chiffre est caché. Par le passé, les scientifiques avaient deux mauvaises options :

Tout jeter : Supprimer l'échantillon entier parce qu'une pièce manque. Cela gaspille beaucoup d'informations.
Simuler : Deviner le chiffre manquant et le remplir avant de faire les calculs. Cela peut fausser les résultats et rendre les groupes erronés.

Les auteurs de ce document voulaient trouver une troisième voie : une méthode qui reste sur le « simplex » (le nom mathématique de cette règle des 100 %) et qui gère directement les pièces manquantes, sans les supprimer ni les simuler.

La Solution : Un algorithme de détective intelligent

Les auteurs ont développé une nouvelle version d'un outil mathématique célèbre appelé l'algorithme d'Espérance-Maximisation (EM). Vous pouvez voir cet algorithme comme un détective super intelligent essayant de trier un tas de indices désordonnés en différents groupes.

Voici comment le détective fonctionne dans cette nouvelle méthode :

La Configuration : Le détective sait qu'il existe différents « types » de roches ou d'échantillons d'air (appelés clusters/groupes), mais il ne sait pas encore à quel type appartient chaque échantillon.
L'Hypothèse (Étape E) : Lorsqu'un détective voit un échantillon avec des pièces manquantes, il ne panique pas. Il regarde les pièces qu'il voit et se demande : « Si cet échantillon appartient au Groupe A, quelles seraient probablement les pièces manquantes ? » Il calcule la probabilité des parties manquantes en fonction des règles du groupe.
La Mise à jour (Étape M) : En utilisant ces hypothèses, le détective met à jour sa compréhension de ce à quoi le Groupe A et le Groupe B ressemblent réellement.
La Boucle : Il répète ce processus encore et encore. À chaque boucle, les hypothèses s'améliorent et les groupes deviennent plus clairs.

La magie réside dans le fait que tout cela se produit en même temps. L'algorithme détermine les valeurs manquantes et trie les échantillons en groupes simultanément, tout en respectant la règle que tout doit totaliser 100 %.

Le Test : Simulations et Mystères du Monde Réel

Pour voir si leur détective était efficace, les auteurs ont mené deux types de tests.

1. Le Laboratoire de Simulation (Les données fictives)
Ils ont créé 1 000 ensembles de données fictives où ils connaissaient les vrais groupes, puis ils ont caché différentes quantités de données (de 0 % à 90 % de données manquantes).

Le Résultat : Même lorsqu'il manquait 90 % des données, leur méthode pouvait toujours trier les échantillons avec une précision surprenante.
La Comparaison : Ils ont comparé cela à l'ancienne méthode consistant à simplement supprimer les échantillons incomplets. Lorsque les données manquaient, l'ancienne méthode échouait à trouver le bon nombre de groupes. La nouvelle méthode, cependant, continuait de trouver le bon nombre de groupes (quatre, dans leur test) beaucoup plus souvent, même lorsque les données étaient très éparses.
Censure : Ils ont également testé des données « censurées », où une valeur est cachée parce qu'elle est trop petite pour être mesurée (comme un produit chimique en dessous d'une limite de détection). La nouvelle méthode gérait cela aussi bien que les données manquantes.

2. Les Mystères du Monde Réel
Ils ont appliqué leur méthode à deux ensembles de données réelles pour voir si elle pouvait résoudre des énigmes scientifiques réelles.

Mystère 1 : Le Manteau de la Terre (Xénolithes)
Ils ont analysé 1 256 échantillons de roches provenant des profondeurs de la Terre. Ces roches avaient 33 % de leurs mesures manquantes car elles ont été collectées dans des endroits différents en utilisant des outils différents.
- La Découverte : L'algorithme a trié les roches en quatre groupes distincts. Ces groupes correspondaient parfaitement à de vrais types géologiques. Par exemple, un groupe était riche en magnésium et en silicium (péridotites) provenant d'anciennes parties stables de la croûte terrestre, tandis qu'un autre contenait plus de fer et de chrome. La méthode a réussi à identifier ces types de roches sans avoir besoin de jeter les échantillons désordonnés.
Mystère 2 : L'Air que nous respirons (PM2.5)
Ils ont examiné des données du système de qualité de l'air des États-Unis, suivant les particules fines dans l'air. Ces données contenaient à la fois des valeurs manquantes et des valeurs « censurées » (produits chimiques trop petits pour être mesurés).
- La Découverte : L'algorithme a trouvé quatre types clairs de pollution de l'air.
  - Groupe 1 : Air froid avec beaucoup de sulfates et de nitrates (souvent issus d'émissions industrielles).
  - Groupe 2 : Un mélange de carbone et de nitrates.
  - Groupe 3 : Air chaud où une énorme partie de la pollution était inconnue (la partie « résiduelle » était immense), suggérant des particules invisibles qui n'absorbent pas bien la lumière.
  - Groupe 4 : Air chaud dominé par le carbone organique (comme la fumée ou l'échappement), ce qui est courant dans les villes.
- L'Intuition : La méthode a montré qu'en période de chaleur, la composition de la pollution change, et qu'une grande partie est constituée de choses que les capteurs ne pouvaient même pas voir. Cela donne aux scientifiques un nouvel indice sur ce qu'il faut surveiller dans l'air.

Pourquoi cela importe

Le document suggère que nous n'avons pas à choisir entre jeter les mauvaises données ou simuler des chiffres. En construisant un modèle qui comprend les règles du jeu (la somme de 100 %) et qui peut gérer les pièces manquantes, les scientifiques peuvent obtenir des réponses plus claires à partir de données désordonnées.

Les auteurs ont constaté que leur méthode est plus performante pour trouver le bon nombre de groupes et trier les échantillons correctement que l'ancienne approche consistant à « supprimer les mauvaises données ». Bien que le document ne prétende pas que cela résout tous les problèmes du monde, il montre que pour les roches et la qualité de l'air, ce nouveau détective est un outil puissant. Il permet aux chercheurs de voir l'image complète, même quand certaines pièces sont cachées dans l'obscurité.

Résumé technique : Gestion des données manquantes et de la censure dans les modèles de mélanges de Dirichlet

Énoncé du problème
Les données compositionnelles, qui décrivent les proportions relatives des parties constituant un tout, résident sur un simplexe plutôt que dans un espace euclidien non contraint. Une limitation fondamentale de l'analyse de ces données est la prévalence des observations incomplètes, incluant les valeurs manquantes (dues à un dysfonctionnement de l'équipement, une non-réponse ou des limites d'échantillonnage) et les valeurs censurées (où les concentrations tombent sous les seuils de détection). Les méthodes classiques de maximum de vraisemblance pour les modèles compositionnels exigent généralement des compositions entièrement observées. Par conséquent, les analystes ont souvent recours à la suppression des observations partielles (suppression des cas) ou à la transformation des données vers des espaces non contraints (par exemple, via des transformations de ratio logarithmique) avant l'analyse. Ces approches risquent de sacrifier l'interprétabilité, la cohérence et l'efficacité statistique, car la contrainte de somme constante lie chaque composante, ce qui signifie que l'incertitude sur une partie affecte l'interprétation de toutes les autres. De plus, les méthodes d'imputation standard séparent le traitement des données manquantes de l'analyse de partitionnement (clustering) ultérieure, échouant ainsi à intégrer l'incertitude d'imputation dans l'estimation des paramètres.

Méthodologie
Cet article propose un algorithme d'espérance-maximisation (EM) fondé sur la vraisemblance pour ajuster des mélanges finis de distributions de Dirichlet directement sur le simplexe, en tenant compte des composantes manquantes et censurées sans quitter l'espace compositionnel.

Cadre théorique : L'approche utilise les propriétés de la distribution de Dirichlet et de la distribution de Dirichlet tronquée. Le vecteur aléatoire est partitionné en composantes observées ( $X_o$ ) et non observées ( $X_u$ ). La méthode dérive la densité marginale des composantes observées et la distribution conditionnelle des composantes non observées étant donné les composantes observées et l'appartenance au groupe (cluster). Les composantes non observées sont modélisées comme suivant une distribution de Dirichlet tronquée dans des limites spécifiques définies par le mécanisme de censure ou le schéma de données manquantes.
L'algorithme EM :
- Étape E : Calcule l'espérance de la log-vraisemblance complète. Cela implique le calcul de la probabilité a posteriori d'appartenance au groupe ( $\tilde{z}_{ig}$ ) pour chaque observation, ce qui tient compte de la probabilité que la partie non observée se situe dans sa région de troncature spécifique. Il calcule également les espérances des logarithmes des composantes non observées ( $\tilde{E}_{ikg}$ ), dérivées des propriétés de la distribution de Dirichlet tronquée et de la fonction digamma.
- Étape M : Maximise la log-vraisemblance espérée par rapport aux proportions de mélange ( $\pi_g$ ) et aux paramètres de Dirichlet ( $\alpha_g$ ). Les proportions de mélange sont mises à jour via des moyennes pondérées standards. Les paramètres de Dirichlet sont reparamétrés à l'aide de variables non contraintes ( $\beta_{kg} = \ln \alpha_{kg}$ ) et optimisés à l'aide d'un algorithme de Newton-Raphson (NR).
Mécanismes de gestion : Le cadre opère sous l'hypothion de l'imputation de type "Coarsening At Random" (CAR), qui englobe le "Missing Completely At Random" (MCAR), le "Missing At Random" (MAR) et la censure déterministe. L'algorithme ne nécessite qu'une seule composante observée par composition pour fonctionner, permettant de traiter des ensembles de données ne possédant aucune ligne entièrement observée.
Initialisation et convergence : L'algorithme utilise des estimations par la méthode des moments pour l'initialisation et emploie le critère d'accélération d'Aitken pour évaluer la convergence de la log-vraisemblance des données observées.

Contributions clés et résultats

Estimation et imputation simultanées : La méthode proposée effectue l'estimation des paramètres, l'allocation aux groupes et l'imputation basée sur le modèle simultanément au sein d'une procédure unique de vraisemblance, préservant ainsi la structure compositionnelle.
Étude de simulation : Des simulations approfondies ont été menées sur des ensembles de données générés à partir de mélanges de quatre distributions de Dirichlet avec des dimensions variables ( $p=6$ $p = 6$ à $10$) et des niveaux d'incomplétude élevés (jusqu'à 90 % de données manquantes ou censurées).
- Performance du partitionnement (clustering) : L'algorithme a maintenu une précision de partitionnement et un indice de Rand ajusté (ARI) non nuls, même à des niveaux de données manquantes élevés (90 %), bien que la performance ait naturellement décliné à mesure que la parcimonie des données augmentait.
- Sélection de modèle : La méthode proposée a démontré une probabilité nettement plus élevée d'identifier correctement le nombre réel de groupes (quatre) en utilisant les critères AIC, BIC et ICL par rapport à l'alternative de la suppression des cas. La suppression des cas entraînait une chute rapide à une probabilité nulle de sélection correcte du modèle dès que l'incomplétude dépassait 50 %, tandis que la méthode proposée restait robuste.
- Censure vs MAR : L'algorithme a fonctionné efficacement sous les mécanismes MAR et de censure, bien que la précision de la sélection du modèle ait légèrement décliné plus rapidement sous la censure en raison de la nature plus sévère de l'imputation de type "coarsening".
Applications réelles :
- EarthChem Mantle Xenoliths : Appliquée à un ensemble de données géochimiques ( $n=1256$ , 33 % de données manquantes) pour identifier les types de roches et les méthodes de spéciation. Un mélange à quatre composantes a révélé des profils interprétables, distinguant les péridotites des contextes cratoniques, les pyroxénites des contextes intraplaques, et d'autres groupes géochimiques distincts, avec des résultats s'alignant sur des descripteurs géologiques non utilisés pour le partitionnement.
- Air Quality System (AQS) PM2.5 : Appliquée à des données de spéciation de particules fines ( $n=99$ ) contenant à la fois des valeurs manquantes et des valeurs censurées à gauche. Un modèle à quatre composantes a caractérisé des profils de pollution distincts, différenciant des groupes dominés par des ions inorganiques secondaires (associés à des températures plus fraîches), des sources mixtes carbone/inorganique, et des compositions dominées par les matières organiques (associées à des températures plus chaudes).

Signification et affirmations
L'article affirme que la méthodologie proposée comble une lacune critique dans l'analyse des données compositionnelles en permettant l'inférence par vraisemblance et le partitionnement directement sur le simplexe en présence de parties non observées. En évitant la suppression de données ou la transformation vers des espaces non contraints, la méthode préserve l'interprétabilité des variables originales et les contraintes géométriques des données. Les auteurs soutiennent que leur approche améliore considérablement la performance de la sélection de modèles et du partitionnement par rapport aux alternatives existantes, particulièrement dans des scénarios de forte incomplétude des données. Ce travail renforce l'utilité des modèles de mélange de Dirichlet pour les populations compositionnelles hétérogènes et suggère un passage de l'adaptation des données pour qu'elles correspondent à des modèles non contraints vers le développement d'outils d'estimation qui respectent la géométrie des données compositionnelles.

Le Problème : Le puzzle de la « pièce manquante »

La Solution : Un algorithme de détective intelligent

Le Test : Simulations et Mystères du Monde Réel

Pourquoi cela importe

Résumé technique : Gestion des données manquantes et de la censure dans les modèles de mélanges de Dirichlet

Articles similaires