Clustering data with values missing at random using scale mixtures of multivariate skew-normal distributions
Cet article propose un algorithme de type EM augmenté pour le partitionnement de modèles de données avec des valeurs manquantes au hasard en étendant le mélange fini de mélanges d'échelle de distributions skew-normal multivariées afin de traiter simultanément l'asymétrie, les queues lourdes et les observations incomplètes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un détective essayant de résoudre un mystère en regroupant les suspects selon leurs habitudes. Dans le monde de la science des données, cela s'appelle le « clustering » (regroupement). Habituellement, un détective dispose d'un alignement parfait où chaque suspect se présente avec un dossier complet d'informations. Mais dans le monde réel, les dossiers ont souvent des pages manquantes, l'encre est estompée ou les témoins oublient des détails. C'est ce qu'on appelle les « données manquantes ». Si vous essayez de résoudre le mystère en ignorant les fichiers manquants, vous risquez de passer à côté des indices les plus importants. Si vous essayez de deviner ce qui manque, vous pourriez accidentellement inventer un suspect qui n'a jamais existé.
Pour donner du sens à des informations désordonnées et incomplètes, les scientifiques utilisent souvent un outil appelé « modèle de mélange ». Pensez à cela comme à un sac de billes de différentes couleurs. Si vous y plongez la main et en retirez une, vous ne savez pas de quelle couleur elle est, mais vous savez que le sac est un mélange de rouge, de bleu et de vert. Le but est de déterminer combien de couleurs se trouvent dans le sac et à quoi ressemble la bille rouge « moyenne ». Pendant longtemps, les scientifiques ont supposé que ces billes étaient parfaitement rondes et symétriques, comme des dés standards. Mais les données du monde réel sont souvent asymétriques — certaines billes sont étirées, ou présentent des queues lourdes où se regroupent les valeurs extrêmes. Pour gérer cela, les scientifiques ont développé des distributions « skew-normal » (asymétriques normales), qui sont comme des billes étirables et asymétriques capables de se déformer pour s'adapter à des formes étranges.
Cependant, il y avait un problème : ces billes sophistiquées et étirables étaient excellentes lorsque les données étaient complètes, mais elles s'effondraient lorsque les fichiers avaient des pages manquantes. On ne pouvait pas simplement ignorer les parties manquantes, et deviner était risqué. Ce document intervient pour combler cette lacune. Il prend ces billes « skew-normal » puissantes et étirables et leur apprend à gérer les informations manquantes sans enfreindre les règles du jeu.
Les auteurs, une équipe de statisticiens venant d'Afrique du Sud, des États-Unis et d'Italie, ont construit un nouveau moteur mathématique appelé la famille « Finite Mixture of Scale Mixtures of Multivariate Skew-Normal » (FMSMSN). Imaginez cette famille comme une boîte à outils contenant quatre types différents de billes étirables et asymétriques : la skew-normal standard, la skew-t (qui gère les valeurs aberrantes extrêmes), la skew-slash (qui gère des valeurs aberrantes encore plus sauvages) et la skew-variance-gamma (la plus flexible de toutes).
La grande percée de cet article est qu'ils ont trouvé comment utiliser toute cette boîte à outils même lorsque les données sont incomplètes. Ils ont fait cela en supposant que les données manquantes sont « Manquantes de façon Aléatoire » (MAR - Missing At Random). En termes de détective, cela signifie que la raison pour laquelle un dossier est manquant n'est pas parce qu'un suspect cache quelque chose de spécifique sur lui-même, mais peut-être parce que le dossier s'est perdu par la poste ou que le témoin était occupé. L'absence ne dépend pas de la valeur secrète elle-même. Sous cette hypothèse, les auteurs ont dérivé un nouvel ensemble de règles (un algorithme modifié) qui permet à l'ordinateur de « remplir les blancs » mathématiquement tout en identant les groupes, plutôt que de simplement deviner ou de jeter les données.
Pour voir si leur nouveau moteur fonctionnait, l'équipe a réalisé une série de simulations informatiques. Ils ont créé des ensembles de données fictifs avec deux groupes de données, dont certains étaient proches et d'autres éloignés. Ils ont ensuite délibérément effacé 0 %, 20 %, 40 %, 60 % et même 80 % des informations de manière aléatoire. Ils ont testé les quatre types de billes de leur boîte à outils pour voir lequel pouvait encore trouver les groupes correctement et deviner les formes exactes des billes.
Les résultats ont montré qu'à mesure que les données devenaient manquantes, il devenait plus difficile pour tous les modèles de trouver les groupes, ce qui est attendu. Cependant, les modèles plus complexes et flexibles (comme la skew-variance-gamma) ont généralement mieux réussi à retrouver les formes réelles des données, même avec jusqu'à 80 % d'informations manquantes. L'équipe a constaté que, bien qu'aucun modèle ne soit parfait lorsque les données sont manquantes, leur nouvelle méthode était bien supérieure au simple fait de supprimer les lignes incomplètes, ce qui ne leur aurait laissé presque aucune donnée sur laquelle travailler.
Enfin, les chercheurs ont sorti leur nouvelle méthode du laboratoire de simulation pour l'appliquer à des données réelles : les émissions mondiales de dioxyde de carbone (CO2). Ils ont examiné les émissions de sept secteurs différents (comme l'électricité, l'industrie manufacturière et le transport) pour différents pays à travers le monde. Le hic ? Plus de 84 % des lignes de cet ensemble de données étaient incomplètes. S'ils avaient utilisé l'ancienne méthode consistant à « supprimer les manquants », ils auraient dû jeter la quasi-totalité de leur ensemble de données. Au lieu de cela, ils ont utilisé leur nouvel algorithme.
L'algorithme a réussi à regrouper les pays en deux clusters distincts. Un groupe comprenait des nations ayant généralement des émissions plus faibles, comme certaines parties de l'Afrique du Nord, le Canada et le Japon. L'autre groupe comprenait des pays ayant des émissions plus élevées, incluant les États-Unis, la Chine, l'Inde et de nombreuses nations du Sud global. L'analyse a suggéré un lien entre l'amélioration de la croissance économique (PIB) et l'augmentation des émissions de carbone, soulignant que les économies en développement font souvent face à un arbitrage entre croissance et impact environnemental. L'étude conclut qu'en utilisant cette approche flexible et adaptée aux données manquantes, les scientifiques peuvent désormais découvrir des modèles dans des données réelles désordonnées qui étaient auparavant impossibles à voir, offrant une image plus claire des tendances mondiales sans avoir à écarter des informations précieuses.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.