🤖 machine learning

ImputeViz: A Visual Analytics Dashboard for Diagnosing Missing Data and Comparing Imputation Methods

ImputeViz est un tableau de bord d'analyse visuelle interactive qui permet aux chercheurs de diagnostiquer les modèles de données manquantes, de configurer et de comparer diverses méthodes d'imputation (incluant un nouveau gKNN géographiquement informé), et d'évaluer leur impact grâce à des vues coordonnées et des métriques quantitatives afin de soutenir une analyse de données robuste et responsable.

Auteurs originaux : Aitik Dandapat, Lalith Punepalle Raveendrareddy, Mithilesh Kumar Singh, Klaus Mueller

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aitik Dandapat, Lalith Punepalle Raveendrareddy, Mithilesh Kumar Singh, Klaus Mueller

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais que la moitié des indices de votre carnet de notes ait été arrachée. Dans le monde de la science des données, ces indices arrachés sont appelés données manquantes. Parfois, elles manquent à cause d'un accident aléatoire (comme une tache de café), mais souvent, elles manquent de manière intentionnelle ou à cause d'un modèle — comme une ville trop petite pour rapporter ses chiffres, ou un type de personne spécifique qui refuse de répondre à un sondage. Si vous vous contentez de deviner les chiffres manquants sans réfléchir, vous risquez de vous tromper complètement de portrait du monde.

Entrez dans l'ère d'ImputeViz, un nouveau tableau de bord numérique créé par des chercheurs de l'Université de Stony Brook. Considérez-le comme un « tableau de détective surpuissant » qui ne se contente pas de remplir les blancs ; il vous aide à comprendre pourquoi les blancs sont là, comment les remplir, et qui vous a aidé à les remplir.

Le problème du tâtonnement en « boîte noire »

Habituellement, lorsque les analystes sont confrontés à des données manquantes, ils choisissent un outil standard (comme une baguette magique) pour deviner les valeurs manquantes et espèrent que tout se passera bien. Ils peuvent exécuter un outil, puis un autre, et essayer de se souvenir si les chiffres semblaient différents. C'est comme essayer de comparer deux cartes différentes de la même ville, mais où l'une est zoomée et l'autre est dézoomée, rendant impossible de déterminer quel itinéraire est réellement le meilleur. Les auteurs soutiennent que cette approche de « boîte noire » est risquée car elle cache pourquoi un chiffre a été choisi et rend difficile la vérification de la cohérence de la supposition.

La solution : Un tableau de bord pour des scénarios « Et si ? »

ImputeViz change la donne en vous permettant de tester différents scénarios de supposition côte à côte. Le système comprend plusieurs « moteurs de supposition » célèbres :

MICE : Une méthode qui demande de l'aide aux autres variables des données, comme un groupe de discussion résolvant un puzzle.
Random Forest & XGBoost : De puissantes méthodes basées sur des arbres qui recherchent des modèles complexes.
kNN (k-Nearest Neighbors) : Une méthode qui dit : « Si tu ressembles à tes voisins, tu as probablement les mêmes valeurs. »
gKNN (Geographically Informed kNN) : C'est l'invention spéciale du système. C'est une version surpuissante de kNN qui ne regarde pas seulement si les gens sont similaires ; elle regarde aussi à quelle distance ils se trouvent sur une carte.

L'arme secrète : gKNN

Les chercheurs ont introduit gKNN pour gérer les cas où la localisation importe. Imaginez que vous essayiez de deviner la température moyenne dans une ville que vous n'avez jamais visitée. Un devin classique pourrait regarder une ville ayant la même taille de population, même si elle se trouve à l'autre bout du pays. gKNN est plus intelligent : il mélange la « similitude sociale » (comme le revenu ou l'éducation) avec la « distance géographique ». Il demande : « Qui sont les voisins qui sont à la fois socialement similaires et physiquement proches ? »

Dans leurs tests, lorsqu'ils ont tenté de remplir des données manquantes pour les taux de mortalité liés aux opioïdes prescrits à travers les comtés américains (de 2000 à 2022), gKNN a suggéré qu'il était le moteur de supposition le plus précis. Dans un test spécifique où ils avaient caché des données pour simuler des lacunes de signalement réelles, gKNN présentait une erreur moyenne (MAE) de 2,96, tandis que les autres méthodes se situaient autour de 3,28 à 3,46. Les auteurs notent que cette amélioration était plus évidente lorsque les données manquantes étaient regroupées dans des zones de faible densité de comtés, suggérant que savoir où vous êtes aide à deviner ce qui manque.

Cependant, l'article prend soin de ne pas dire que gKNN gagne partout. Lorsqu'ils l'ont testé sur un jeu de données de désabonnement de télécoms (qui n'a ni carte ni géographie impliquée), une méthode différente appelée Random Forest a pris la tête, battant MICE avec une différence d'erreur massive. Cela prouve le point principal de l'article : il n'existe pas d'outil unique « meilleur » pour chaque tâche. Il faut les tester.

Le travail de détective des « Donateurs »

L'une des fonctionnalités les plus intéressantes d'ImputeViz est la provenance. Lorsque le système devine un chiffre manquant, il ne vous donne pas seulement le chiffre ; il vous montre qui a aidé. Si le système devine le taux de mortalité pour le Comté A, il met en évidence les comtés « donateurs » spécifiques qui ont contribué à cette estimation.

Dans l'étude sur les opioïdes, les chercheurs ont découvert que parfois, une méthode standard (kNN) pouvait deviner un chiffre correctement mais s'appuyer sur un « donateur » situé à des centaines de kilomètres. La vue cartographique d'ImputeViz rendait cela évident, montrant que la supposition reposait sur une connexion longue et fragile. La méthode gKNN, en revanche, restait fidèle aux voisins proches, rendant la supposition plus digne de confiance. Les auteurs suggèrent que voir ces « chemins de donateurs » aide les analystes à décider si une supposition est plausible ou s'il s'agit simplement d'un coup de chance.

À quel point sont-ils sûrs d'eux ?

Les chercheurs n'ont pas seulement supposé que cela fonctionnait ; ils l'ont mesuré. Ils ont testé leur système sur deux jeux de données réels :

Mortalité par opioïdes dans les comtés américains (2000–2022) : Ils ont testé quatre façons différentes de cacher les données (aléatoirement, ou en simulant de réelles lacunes de signalement) et ont constaté que gKNN présentait systématiquement les taux d'erreur les plus bas dans ces simulations.
Désabonnement de télécoms : Un jeu de données non géographique où ils ont trouvé que les modèles basés sur les arbres étaient meilleurs.

Ils ont également interrogé 7 personnes pour tester le tableau de bord. Les utilisateurs lui ont attribué un score « SUS » (System Usability Scale) de 75,4 (sur 100), ce qui est considéré comme un bon score. Les testeurs ont adoré pouvoir passer instantanément d'une méthode à l'autre et voir les résultats se mettre à jour sans que les échelles ne changent, ce qui rendait la comparaison beaucoup plus facile.

L'essentiel

ImputeViz suggère que corriger les données manquantes ne consiste pas seulement à appliquer une formule mathématique ; il s'agit de comprendre l'histoire derrière les chiffres manquants. En permettant aux analystes de comparer différentes méthodes côte à côte, de vérifier les « donateurs » derrière chaque supposition et de voir comment la géographie joue un rôle, le système les aide à faire des choix plus intelligents et plus transparents. Il ne prétend pas avoir résolu le problème des données manquantes pour toujours, mais il offre une façon bien plus claire de naviguer dans ce chaos.

Résumé technique : ImputeViz

Énoncé du problème

Les données manquantes demeurent un obstacle critique dans la recherche scientifique, en sciences sociales et en santé publique, introduisant souvent des biais et forçant les analystes à s'appuyer sur des étapes de prétraitement de type « boîte noire ». Les flux de travail actuels manquent fréquemment de support pour la comparaison visuelle inter-méthodes ou pour l'inspection de la provenance des valeurs imputées. Les analystes sont souvent contraints d'exécuter des modèles de manière séquentielle, réconciliant mentalement les changements d'échelles et de paramètres, ce ce qui entrave la capacité à diagnostiquer les mécanismes de données manquantes (MCAR, MAR, MNAR) et à sélectionner la stratégie d'imputation la plus appropriée sur la base de preuves plutôt que par simple familiarité.

Méthodologie et conception du système

ImputeViz est un tableau de bord d'analyse visuelle intégré conçu pour soutenir l'intégralité du flux de travail d'imputation : le diagnostic des données manquantes, la configuration des modèles, la comparaison des résultats et l'inspection de la provenance. Le système est construit sur un backend Python/FastAPI et un frontend React/TypeScript/D3.js.

Composants de base

Modèles d'imputation : Le système intègre des algorithmes largement utilisés, notamment MICE (IterativeImputer avec chaînes de régression ridge), Random Forest, XGBoost, la régression linéaire et le kNN non spatial.
gKNN (Geographically informed kNN) : Une contribution novatrice du système, le gKNN étend le kNN standard en fusionnant les distances socio-économiques et spatiales. Il calcule une matrice de distance $D_{blend} = \alpha D_{socio} + (1-\alpha) D_{geo}$ , où le poids de mélange $\alpha$ et la taille du voisinage $k$ sont optimisés via l'optimisation bayésienne à partir des données d'entraînement.
Cadre d'évaluation : Pour garantir une comparaison équitable, le système applique un masque de holdout aléatoire constant de 20 % (et un masquage structuré pour les scénarios de type suppression) à tous les algorithmes. Il rapporte l'erreur absolue moyenne (MAE), l'erreur quadratique moyenne (RMSE), le $\Delta$ RMSE et le temps d'exécution.
Interface d'analyse visuelle : Le tableau de bord présente sept panneaux coordonnés (Figure 2) qui facilitent un flux de travail itératif :
- Diagnostic : Les cartes thermiques (heatmaps) et les résumés de co-manquance révèlent les structures de données manquantes et leurs corrélations avec les covariables.
- Comparaison : Un tableau de « Résumé de comparaison des méthodes » classe les algorithmes selon leurs métriques de performance.
- Validation : Des nuages de points et des histogrammes liés avec des échelles d'axes verrouillées permettent aux analystes d'inspecter visuellement les décalages de distribution et la préservation des relations lors du changement de méthode.
- Provenance : Pour les données géospatiales, une vue de carte géométrique expose les comtés donneurs et leurs contributions, permettant aux analystes de vérifier si les valeurs imputées reposent sur des voisins géographiquement et socio-économiquement plausibles.

Objectifs de conception

Le système est guidé par quatre objectifs principaux :

DG1 : Rendre la donnée manquante lisible grâce à des résumés immédiats et des vues de relations pré-imputation.
DG2 : Permettre une comparaison inter-méthodes équitable via un masquage constant, une gestion des caractéristiques et des visualisations à échelles stables.
DG3 : Soutenir les vérifications de plausibilité visuelle pour détecter les artefacts locaux, les distorsions de queue ou les clusters implausibles que les métriques d'erreur agrégées pourraient masquer.
DG4 : Préserver la provenance et l'interprétabilité spatiale, permettant aux utilisateurs d'interroger le « qui » et le « pourquoi » derrière des valeurs imputées spécifiques.

Contributions clés

L'article expose trois contributions principales :

Un flux de travail d'analyse visuelle : Un environnement agnostique de la méthode pour le diagnostic des données manquantes et la comparaison inter-méthodes sous des vues liées à échelles stables, réduisant la charge cognitive lors du changement de modèle.
Un backend de benchmarking : Un système qui met en cache les exécutions par méthode et impose une évaluation basée sur un holdout cohérent, garantissant que les comparaisons sont dictées par les preuves plutôt que par une réconciliation mentale séquentielle.
L'algorithme gKNN : Une variante du kNN géographiquement informée avec provenance des donneurs qui peut être directement interrogée dans l'interface, fusionnant les distances socio-économiques et spatiales pour améliorer la robustesse dans les données présentant une autocorrélation spatiale.

Résultats

Le système a été évalué sur deux ensembles de données :

Mortalité par opioïdes prescrits aux États-Unis (2000–2022) : Un ensemble de données géospatiales avec des données manquantes structurées (suppression dans les comtés à faible effectif).
Jeu de données de désabonnement (Churn) de télécom : Un ensemble de données non géographiques utilisé pour tester l'imputation non spatiale.

Résultats de performance :

Contexte spatial : Dans le jeu de données sur la mortalité par opioïdes, le gKNN a obtenu le MAE moyen le plus bas pour tous les réglages de masquage (Suppression, Intermédiaire et Aléatoire), avec les gains les plus significatifs dans les scénarios de type suppression où le contexte géographique est critique. Des tests de Wilcoxon appariés ont confirmé la supériorité du gKNN par rapport au kNN standard ( $p \approx 0,0396$ ).
Contexte non spatial : Dans le jeu de données de désabonnement de télécom, Random Forest a surpassé MICE et le gKNN, démontrant qu'aucun imputer n'est universellement supérieur et que des modèles non linéaires flexibles peuvent dominer dans des contextes purement tabulaires.
Utilité de la provenance : Des études de cas ont révélé que, bien que le kNN standard puisse obtenir des scores d'erreur compétitifs, il reposait parfois sur des donneurs à longue distance qui étaient socio-économiquement similaires mais géographiquement éloignés. La vue de provenance du gKNN a permis aux analystes d'identifier ces décalages et de préférer les estimations plus localisées et contextuellement appropriées du gKNN.

Utilisabilité :
Lors d'une étude formative avec 7 participants, le système a reçu un score moyen de l'échelle d'utilisabilité du système (SUS) de 75,4. Les participants ont particulièrement apprécié la possibilité de changer de méthode avec des mises à jour visuelles immédiates et les échelles d'axes stables qui facilitaient la comparaison directe.

Signification et affirmations

L'article affirme que ImputeViz déplace le paradigme de la gestion des données manquantes d'une tâche prédictive vers un problème de raisonnement analytique. En intégrant l'exécution, le benchmarking quantitatif et des visuels conscients de la provenance, le système :

Démocratise la sélection de méthode : Il empêche le « verrouillage algorithmique » en permettant aux analystes de choisir des stratégies basées sur des preuves spécifiques à la structure de manque de leurs données (ex: spatial vs tabulaire).
Renforce la confiance : Grâce à la provenance au niveau du donneur et aux échelles visuelles stables, il rend le processus d'imputation auditable, permettant aux analystes de vérifier que les valeurs empruntées sont plausibles dans leur contexte de domaine spécifique.
Soutient la robustesse : Il souligne que l'imputation informée spatialement améliore la précision lorsque les données manquantes sont structurellement liées au lieu, tout en reconnaissant que les modèles non spatiaux restent supérieurs dans les contextes purement tabulaires.

Les auteurs concluent que le système améliore la transparence et soutient un choix de modèle fondé sur des preuves, tout en notant des limites concernant les coûts computationnels pour des analyses d'incertitude plus riches et la scalabilité à des résolutions géographiques plus fines.