Impact of Missing Data Imputation on The Structure of Real-World Clinical Datasets: A Comparison of Median, K-Nearest Neighbours, and MICE Approaches
Cette étude démontre que l'imputation par les k plus proches voisins (k-NN) surpasse à la fois la substitution par la médiane et l'imputation multiple par équations enchaînées (MICE) pour préserver la fidélité de la distribution et l'intégrité structurelle multivariée de jeux de données cliniques réels à travers différents niveaux de données manquantes.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la recherche médicale, les données sont la sève de la découverte. Les médecins et les scientifiques s'appuient sur les dossiers de l'historique des patients, les résultats de laboratoire et les résultats des traitements pour comprendre les maladies et améliorer les soins. Cependant, les dossiers médicaux du monde réel sont rarement parfaits. Les patients manquent des rendez-vous, les machines tombent en panne ou les médecins oublient simplement de noter une mesure spécifique. Ces lacunes, connues sous le nom de données manquantes, créent un problème : si un chercheur tente d'analyser une liste de nombres comportant des trous, les résultats peuvent être trompeurs ou impossibles à calculer. Pour remédier à cela, les chercheurs remplissent souvent les blancs par un processus appelé imputation. La méthode la plus courante, et la plus simple, consiste à regarder tous les nombres qu'ils possèdent pour une mesure spécifique, trouver la valeur centrale, et coller ce même nombre dans chaque emplacement vide. Bien que cela soit facile à faire, cela présente un défaut connu : cela aplatit la variété naturelle des données, faisant en sorte qu'un groupe diversifié de patients paraisse plus identique qu'il ne l'est réellement. Une approche plus sophistiquée consiste à utiliser des modèles informatiques complexes pour deviner quels pourraient être les nombres manquants en fonction de la manière dont ils sont liés aux autres informations concernant le patient. La question qui se pose à la communauté scientifique est de savoir si la méthode simple est suffisante, ou si la méthode complexe est nécessaire pour maintenir l'honnêteté des données.
Une équipe de chercheurs de Valence, en Espagne, s'est donné pour mission de répondre à cette question en testant trois façons différentes de combler les lacunes dans de véritables dossiers médicaux. Ils n'ont pas créé de fausses données pour tester leurs théories ; au lieu de cela, ils ont utilisé deux vastes collections réelles d'informations sur les patients. Le premier groupe comprenait 408 patients ayant subi des transplantations de poumons, une procédure complexe où les médecins suivent des dizaines de mesures avant, pendant et après la chirurgie. Le second groupe comprenait 1 700 patients ayant subi une crise cardiaque, avec des dossiers détaillant leurs signes vitaux et leurs antécédents médicaux. Dans les deux groupes, de nombreux chiffres étaient manquants. Dans le groupe de transplantation pulmonaire, certaines mesures manquaient chez seulement 0,2 % des patients jusqu'à 77,9 % d'entre eux. Dans le groupe de crise cardiaque, les données manquantes variaient de 0,24 % à plus de 63 %. Les chercheurs voulaient voir quelle méthode de remplissage de ces blancs préservait le mieux la forme réelle et les relations des données d'origine.
L'équipe a comparé trois stratégies spécifiques. La première était l'approche standard et simple : remplacer chaque nombre manquant par la médiane, ou la valeur centrale, des nombres qui ont été réellement enregistrés. La seconde était une méthode appelée « k-plus proches voisins » (k-nearest neighbours), qui consiste à trouver les patients de la base de données qui sont les plus similaires à celui dont les données sont manquantes et à utiliser leurs valeurs pour faire une supposition. La troisième était une technique statistique hautement complexe connue sous le nom d'imputation multiple, qui exécute une série de modèles sophistiqués pour générer plusieurs versions différentes des données manquantes, puis en fait la moyenne. Les chercheurs ont ensuite mesuré à quel point les données complétées correspondaient aux données originales et complètes en utilisant une règle statistique qui vérifie si la distribution des nombres semble la même. Ils ont également vérifié si les relations entre différentes variables, comme la façon dont l'âge pourrait être lié à la pression artérielle, restaient intactes.
Les résultats ont surpris beaucoup de ceux qui s'attendent à ce que la méthode la plus complexe soit toujours la meilleure. La méthode simple consistant à utiliser la valeur centrale a effectivement déformé les données, compressant la variété des nombres et faisant en sorte que l'ensemble de données paraisse moins diversifié qu'il ne l'était réellement. Cependant, le modèle statistique complexe, aux étapes multiples, a été encore moins performant dans ce test spécifique. Il a introduit les erreurs les plus importantes et a altéré les relations entre les variables plus que n'importe quelle autre méthode. La méthode qui a le mieux performé est l'approche des k-plus proches voisins. Elle a préservé l'étalement naturel des données et a maintenu les relations entre les différents paramètres médicaux de manière plus précise que la méthode simple de la valeur centrale ou le modèle complexe. Dans le groupe de transplantation pulmonaire, le modèle complexe a déformé les données pour près de 39 % des variables, tandis que la méthode des k-plus proches voisins n'en a déformé qu'environ 11 %. Dans le groupe de crise cardiaque, le modèle complexe a déformé 39 % des variables, tandis que la méthode des k-plus proches voisins n'en a déformé que 11 %.
Les chercheurs ont constaté qu'à mesure que la quantité de données manquantes augmentait, toutes les méthodes commettaient davantage d'erreurs, mais que la méthode des k-plus proches voisins commettait des erreurs beaucoup plus lentement. Lorsqu'une variable présentait un pourcentage élevé de nombres manquants, la méthode simple de la valeur centrale et le modèle complexe avaient tous deux du mal à maintenir l'aspect réel des données, mais la méthode des k-plus proches voisins tenait mieux le coup. C'est probablement parce que le modèle complexe tente de construire une règle mathématique parfaite pour chaque variable individuelle, ce qui devient difficile lorsqu'il y a de nombreuses variables et pas assez de patients pour apprendre. La méthode des k-plus proches voisins, en revanche, se contente de regarder les patients les plus similaires et de copier leur schéma, ce qui fonctionne bien même lorsque les données sont désordonnées ou incomplètes.
Cette étude ne suggère pas que le modèle statistique complexe soit inutile. Ce modèle est conçu pour un objectif différent : fournir une gamme de réponses possibles et rendre compte de l'incertitude liée au fait de ne pas connaître les chiffres réels, ce qui est crucial pour certains types d'analyses statistiques approfondies. Cependant, pour de nombreux chercheurs qui ont simplement besoin d'un ensemble de données propre et complet pour décrire un groupe de patients ou pour explorer des relations entre variables, le modèle complexe peut être excessif et même contre-productif. Les conclusions suggèrent que pour créer une version unique et fiable d'un ensemble de données médicales, la méthode des k-plus proches voisins offre un équilibre puissant. Elle est bien plus précise que la simple méthode de la valeur centrale, qui est encore largement utilisée, et elle est plus facile à utiliser que le modèle complexe, car elle nécessite moins de décisions techniques de la part du chercheur.
L'étude met en lumière une leçon pratique pour la science médicale : parfois, l'outil le plus sophistiqué n'est pas le meilleur pour la tâche à accomplir. Dans la réalité désordonnée des dossiers hospitaliers, où les données sont souvent incomplètes et les profils de patients sont uniques, une méthode qui observe les patients similaires pour combler les lacunes peut préserver la véritable histoire des données mieux qu'une formule mathématique rigide. En choisissant le bon outil, les chercheurs peuvent s'assurer que les modèles qu'ils découvrent dans leurs données reflètent la réalité des patients qu'ils étudient, plutôt que les artefacts de la manière dont ils ont tenté de corriger les chiffres manquants. Ce travail trace une voie claire pour les scientifiques qui souhaitent maintenir l'honnêteté de leurs données sans s'enliser dans une complexité inutile.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.