📊 statistics

Missing data and cluster graphs: cluster-level missingness vs variable-level missingness

Cet article présente deux classes de graphes de manquants basés sur les clusters pour analyser la récupérabilité à partir d'informations structurelles grossières, en établissant des conditions graphiques pour la récupération des distributions conjointes et des effets causaux afin de clarifier quand les données de manquants au niveau des clusters suffisent pour une inférence valide par rapport aux moments où un modélisation plus fine est requise.

Auteurs originaux : Willow Scott, Eugenio Valdano, Charles Assaad

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Willow Scott, Eugenio Valdano, Charles Assaad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un gigantesque puzzle pour comprendre comment différentes parties d'un système fonctionnent ensemble — par exemple, comment la santé mentale, les habitudes sexuelles et le statut sérologique VIH pourraient être liés. Mais il y a un problème : certaines pièces du puzzle manquent. Dans le monde de la science des données, cela s'appelle « données manquantes ».

Habituellement, les scientifiques tentent de résoudre ce problème en examinant chaque pièce manquante individuellement. Ils se demandent : « Pourquoi cette pièce précise manque-t-elle ? Est-ce à cause de la pièce voisine ? Ou de celle située de l'autre côté de la pièce ? » Cela revient à disposer d'une carte détaillée de chaque rue d'une ville.

Cependant, dans la vie réelle, nous n'avons souvent pas ce niveau de détail. Nous pouvons seulement savoir que des quartiers entiers (des groupes) d'informations sont manquants, sans savoir exactement quelle maison du quartier est vide. Cet article, par Willow Scott et ses collègues, pose la question : Pouvons-nous encore résoudre le puzzle si nous ne disposons que d'une carte des quartiers, plutôt que des rues individuelles ?

Les Deux Types de Cartes

Les auteurs introduisent deux façons de dessiner ces « cartes de quartiers » pour gérer les données manquantes :

La carte du « Quartier Détaillé » (m-C-DMG) :
Imaginez que vous savez que le quartier du « Comportement Sexuel » présente des données manquantes. Sur cette carte, vous continuez de suivre quelle maison précise de ce quartier est vide. Vous savez que la maison « Utilisation du Préservatif » manque, mais que la maison « Nombre de Partenaires » est présente. Vous conservez les indicateurs de manquants individuels séparés, même si vous les regroupez dans un quartier.
- Analogie : Vous savez que le quartier du « Centre-Ville » subit une panne de courant, mais vous avez toujours une liste indiquant exactement quels réverbères sont éteints.
La carte du « Quartier Flou » (cm-C-DMG) :
Il s'agit d'une carte plus grossière. Ici, vous savez simplement que tout le quartier du « Comportement Sexuel » rencontre des problèmes. Vous ne savez pas s'il s'agit de la maison « Utilisation du Préservatif » ou de la maison « Nombre de Partenaires » qui manque ; vous voyez simplement un grand panneau « Manquant » au-dessus de tout le district.
- Analogie : Vous voyez un panneau « Panne dans le District du Centre-Ville », mais vous n'avez aucune idée de quels réverbères spécifiques sont affectés.

La Grande Découverte : Que Peut-On Encore Apprendre ?

L'article explore si nous pouvons encore reconstituer l'image complète (la « distribution conjointe ») ou les relations de cause à effet (comme « Le comportement A cause-t-il le résultat B ? ») en utilisant ces cartes floues.

1. La carte « Floue » est moins puissante
Les auteurs ont découvert que la carte du « Quartier Flou » (cm-C-DMG) représente un certain recul. Parce qu'elle fusionne tous les détails manquants en un seul gros bloc, elle cache parfois des indices nécessaires pour résoudre le puzzle.

La Métaphore : Si vous savez seulement que le district du « Centre-Ville » manque de données, vous pourriez supposer que tout le district est peu fiable. Mais sur la carte « Détaillée », vous pourriez réaliser qu'une seule maison spécifique manque, et que le reste du district est en fait intact. La carte floue pourrait vous amener à jeter de bonnes données en pensant qu'elles sont toutes mauvaises, tandis que la carte détaillée vous permet de les sauver.
La Règle : Si vous pouvez résoudre le puzzle en utilisant la carte « Floue », vous pouvez certainement le résoudre avec la carte « Détaillée ». Mais l'inverse n'est pas vrai. Parfois, la carte « Détaillée » permet de résoudre un puzzle que la carte « Floue » rend impossible.

2. Résoudre le puzzle (Reconstituer la distribution conjointe)
L'article fournit un ensemble spécifique de règles (une liste de contrôle) pour déterminer si vous pouvez reconstituer l'image complète à partir des données manquantes.

La Règle : Vous pouvez reconstituer l'image complète si les panneaux « Manquant » n'ont pas de lien direct et sournois avec les données qu'ils sont censés cacher.
Analogie : Imaginez un détective essayant de retrouver une montre volée. Si le voleur (le mécanisme de données manquantes) se tient juste à côté de la montre et lui chuchote des secrets, le détective ne peut pas comprendre ce qui s'est passé. Mais si le voleur est dans une autre pièce et que le seul chemin entre eux est bloqué par un « collideur » (une troisième personne qui bloque le chemin), le détective peut encore résoudre l'affaire. L'article dit : tant que les panneaux « Manquant » ne chuchotent pas directement aux données ou ne sont pas connectés par un type spécifique de chemin secret, vous pouvez reconstituer l'histoire complète.

3. Déterminer la cause et l'effet (Effets causaux macro)
Les auteurs ont également examiné si nous pouvons déterminer la cause et l'effet (par exemple, « Changer le comportement X provoque-t-il un changement dans le résultat Y ? ») même lorsque les données sont manquantes.

La Surprise : Vous n'avez pas toujours besoin de reconstituer l'intégralité du puzzle pour savoir comment une pièce affecte une autre.
Analogie : Vous ne pourrez peut-être pas reconstruire l'image complète du puzzle de la ville, mais vous pourrez peut-être encore prouver que « Les embouteillages causent des retards » en examinant uniquement les pièces du trafic et de l'horloge.
L'article montre que même si la carte « Floue » rend impossible la connaissance de l'état complet du système, il peut encore être possible de déterminer des relations de cause à effet spécifiques en utilisant un ensemble de règles logiques (appelées « do-calculus »).

Pourquoi Cela Importe-t-il ?

Dans le monde réel, les scientifiques n'ont souvent pas de données parfaites. Ils peuvent savoir que la « Santé Mentale » et le « Comportement Sexuel » sont liés, mais ils ne connaissent pas la relation exacte entre chaque question du sondage.

Cet article nous dit :

Il est acceptable de regrouper les données en clusters si nécessaire, mais nous devons être prudents.
Si nous regroupons trop (en utilisant la carte « Floue »), nous pourrions perdre la capacité de répondre à certaines questions.
Cependant, même avec une carte floue, nous pouvons souvent encore répondre à d'importantes questions « Et si ? » sur la cause et l'effet, à condition de suivre les bonnes étapes logiques.

En bref, l'article fournit une boîte à outils pour que les scientifiques sachent exactement quel niveau de détail ils doivent collecter. S'ils disposent d'une carte « Floue », ils savent maintenant quelles questions ils peuvent encore répondre et lesquelles nécessitent qu'ils retournent obtenir une carte « Détaillée ».

Résumé technique : Données manquantes et graphes de clusters

Énoncé du problème
Les données manquantes constituent un défi omniprésent dans les domaines scientifiques tels que la santé publique, les sciences de l'environnement et les sciences sociales. Bien que la théorie classique des données manquantes (par exemple, Rubin [1976], Mohan et al. [2013]) fournisse des cadres rigoureux pour la récupérabilité en utilisant des modèles de manquants au niveau des variables entièrement spécifiés (spécifiquement les m-ADMG), de nombreuses applications modernes manquent des connaissances granulaires requises pour spécifier ces modèles. En pratique, les variables sont souvent regroupées en clusters en raison d'une connaissance limitée, d'exigences d'interprétabilité ou de la disponibilité uniquement d'informations structurelles agrégées. Par exemple, dans les études sur les risques liés au VIH, le « comportement sexuel » peut être traité comme un cluster de mesures (par exemple, utilisation de préservatifs, nombre de partenaires) où les relations internes ne sont pas spécifiées. Les méthodes existantes peinent à traiter la récupérabilité lorsque seules ces représentations abstraites, au niveau des clusters, des mécanismes de manquants sont disponibles.

Méthodologie
Les auteurs introduisent deux classes de graphes de manquants abstraits conçus pour opérer au niveau des clusters tout en maintenant la compatibilité avec les modèles causaux structurels sous-jacents au niveau des variables :

m-C-DMG (missingness-C-DMG) : Cette abstraction conserve les indicateurs de manquants spécifiques aux variables ( $R_X$ ) pour chaque variable au sein d'un cluster, mais représente les relations causales entre les variables au niveau des clusters. Elle préserve la distinction entre les mécanismes de manquants des variables individuelles au sein d'un même cluster.
cm-C-DMG (clustered-missingness-C-DMG) : Il s'agit d'une abstraction plus grossière où tous les indicateurs de manquants au niveau des variables au sein d'un cluster spécifique sont fusionnés en un seul sommet de manquants au niveau du cluster ( $R_C$ ). Cette représentation agrège les mécanismes de manquants, perdant la distinction entre les causes de manquants de variables spécifiques.

L'article formalise le concept de compatibilité entre ces graphes abstraits et l'ensemble des m-ADMG au niveau des variables sous-jacents. Une requête est définie comme récupérable dans un graphe abstrait si elle peut être estimée de manière cohérente pour chaque m-ADMG au niveau des variables compatible avec ce graphe abstrait. Les auteurs utilisent des outils d'inférence causale, notamment la d-séparation, les graphes mutilés et le calcul do, adaptés à ces graphes basés sur les clusters (qui peuvent contenir des cycles, contrairement aux ADMG standards).

Contributions et résultats clés

Hiérarchie d'abstraction et récupérabilité : Les auteurs établissent une relation d'inclusion stricte entre les classes de compatibilité des deux graphes. La classe de compatibilité d'un m-C-DMG est un sous-ensemble de celle de son cm-C-DMG correspondant. Par conséquent, si une requête est récupérable à partir d'un cm-C-DMG, elle est nécessairement récupérable à partir du m-C-DMG correspondant. Cependant, la réciproque n'est pas vraie ; le cm-C-DMG peut supprimer des distinctions spécifiques aux variables essentielles à la récupération, rendant certaines requêtes non récupérables au niveau du cluster même si elles sont récupérables au niveau de la variable.
Récupérabilité des distributions conjointes : L'article fournit des conditions graphiques nécessaires et suffisantes pour récupérer la distribution conjointe des clusters ($Pr(C)$) à partir de m-C-DMGs et de cm-C-DMGs. La condition exige que pour tout cluster partiellement observé $C_X$ , $C_X$ et son indicateur de manquants associé $R_X$ ne soient pas voisins, et qu'il n'existe aucun chemin entre eux où tous les sommets intermédiaires sont des colliers appartenant à l'ensemble des clusters partiellement ou totalement observés. Ce résultat étend les critères de récupérabilité de Mohan et Pearl [2014] aux graphes de clusters, démontrant que l'acyclicité n'est pas essentielle pour ce type spécifique de récupérabilité.
Récupérabilité des effets causaux macro : Les auteurs dérivent des conditions pour récupérer les effets causaux macro (par exemple, l'effet d'un cluster $C_X$ sur un cluster $C_Y$ ) en utilisant le calcul do adapté aux graphes de clusters. Ils démontrent par des exemples que la récupérabilité d'un effet causal macro ne dépend pas strictement de la récupérabilité de la distribution conjointe complète. Un effet causal peut être identifiable même lorsque la distribution conjointe ne l'est pas, à condition que des conditions spécifiques de d-séparation dans les graphes mutilés permettent la suppression des opérateurs do et des indicateurs de manquants.

Signification et affirmations
L'article prétend contribuer à la compréhension théorique des problèmes de données manquantes dans le cadre d'une abstraction structurelle. Sa signification principale réside dans la clarification du moment où les informations de manquants au niveau des clusters suffisent pour une inférence valide et du moment où un modélisation plus fine est nécessaire. En formalisant le compromis entre la simplicité des représentations abstraites et la perte d'information concernant les mécanismes de manquants spécifiques, ce travail fournit une méthode rationnelle pour analyser des contextes où seule une connaissance structurelle grossière est disponible.

Les auteurs notent que leurs résultats sont conservateurs : une requête jugée non récupérable à partir d'un graphe abstrait pourrait tout de même être récupérable dans des graphes au niveau des variables compatibles spécifiques. De plus, l'utilité du cm-C-DMG dépend de la manière dont le regroupement choisi préserve les informations de manquants pertinentes pour la requête cible. L'article conclut en identifiant des questions ouvertes, notamment la complétude des conditions dérivées pour les effets causaux macro et le développement d'algorithmes directs pour la récupérabilité sur ces graphes abstraits.

Les Deux Types de Cartes

La Grande Découverte : Que Peut-On Encore Apprendre ?

Pourquoi Cela Importe-t-il ?

Résumé technique : Données manquantes et graphes de clusters

Articles similaires