📊 statistics

PAIR-CI: Calibrated Conditional Independence Testing for Causal Discovery with Incomplete Data

Cet article présente PAIR-CI, un test d'indépendance conditionnelle non paramétrique qui intègre directement l'imputation multiple dans la procédure d'inférence par le biais d'un plan de permutation apparié pour éliminer les dépendances fallacieuses causées par l'erreur d'imputation, rétablissant ainsi l'étalonnage statistique et améliorant considérablement la précision de la découverte causale dans les ensembles de données comportant des valeurs manquantes, en particulier dans des conditions non linéaires et de type « manquants non aléatoires ».

Auteurs originaux : Thomas S. Robinson, Ranjit Lall

Publié 2026-05-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thomas S. Robinson, Ranjit Lall

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le « Puzzle Cassé »

Imaginez que vous essayez de comprendre comment fonctionne une machine complexe (comme un moteur de voiture) en examinant ses pièces. Vous voulez savoir : Est-ce que la bougie d'allumage fait tourner le moteur, ou est-ce simplement la batterie ?

En science des données, cela s'appelle la Découverte Causale. Pour résoudre ce problème, les chercheurs utilisent une méthode qui vérifie si deux pièces sont indépendantes l'une de l'autre une fois qu'on a pris en compte une troisième pièce. Cela s'appelle un test d'Indépendance Conditionnelle (IC).

Le Problème : Les données du monde réel sont désordonnées. Souvent, des pièces du puzzle manquent (comme un engrenage manquant dans votre schéma).

L'Ancienne Méthode : L'approche standard consiste à « deviner » (imputer) à quoi ressemblent les pièces manquantes d'abord, et ensuite à effectuer le test.
Le Défaut : L'article soutient que cette méthode « deviner-ensuite-tester » est comme essayer de résoudre un puzzle en portant des lunettes embuées. Si votre hypothèse sur la pièce manquante est légèrement erronée, cela crée une fausse connexion entre des pièces qui ne sont pas réellement liées. Cela conduit les chercheurs à tracer des lignes sur leur carte là où il ne devrait pas y en avoir, créant une fausse carte du fonctionnement de la machine.

La Solution : PAIR-CI (L'Approche « Appariée »)

Les auteurs, Thomas Robinson et Ranjit Lall, introduisent une nouvelle méthode appelée PAIR-CI. Au lieu de deviner les pièces manquantes puis de tester, ils changent complètement la donne.

Pensez-y comme à un test de dégustation lors d'un concours de cuisine :

Le Déroulement : Vous avez une soupe (vos données) avec certains ingrédients manquants. Vous créez plusieurs versions de la soupe où les ingrédients manquants sont remplis par des hypothèses (cela s'appelle l'« Imputation Multiple »).
L'Appariement : Pour chaque version unique de la soupe, vous effectuez deux tests de dégustation côte à côte :
- Test A : Un chef goûte la soupe avec l'ingrédient candidat (par exemple : « Est-ce que l'ajout de sel change la saveur ? »).
- Test B : Un chef goûte la soupe sans l'ingrédient candidat (par exemple : « Est-ce que la soupe a le même goût si nous faisons comme si le sel n'était pas là ? »).
Le Tour de Magie : Crucialement, les deux chefs goûtent la même version exacte de la soupe avec les mêmes ingrédients hypothétiques exacts.
- Si l'« hypothèse » pour l'ingrédient manquant était mauvaise (lunettes embuées), elle affecte les deux chefs de la même manière.
- Lorsque vous comparez les deux résultats, la « mauvaise hypothèse » s'annule. C'est comme si les deux chefs portaient les mêmes lunettes embuées ; ils penseraient tous les deux que la soupe a un goût étrange, mais en comparant leurs notes, ils réaliseraient : « Hé, l'étrangeté est la même pour nous deux, donc cela doit venir des lunettes, pas de la soupe. »

En comparant directement les deux modèles, PAIR-CI élimine l'erreur causée par les hypothèses sur les données manquantes, ne laissant que le vrai signal.

Pourquoi Cela Compte : Le Problème de la « Fausse Alarme »

L'article a réalisé des milliers de simulations pour voir à quel point cela fonctionne bien.

L'Ancienne Méthode : Lorsque les données manquaient de manière piège (pas juste au hasard, mais de façon systématique), les anciennes méthodes faisaient sonner la « fausse alarme » (penser qu'il y a une connexion alors qu'il n'y en a pas) 28 % à 45 % du temps. C'est comme un détecteur de fumée qui se déclenche à chaque fois que vous grillez du pain.
PAIR-CI : Cette nouvelle méthode a maintenu le taux de fausses alarmes en dessous de 5 %, ce qui est l'objectif standard pour les tests scientifiques. Elle est restée calme et précise même lorsque les données étaient désordonnées.

Le « Moteur » Derrière les Scènes

Pour rendre cela possible, les auteurs ont dû résoudre un problème mathématique que personne d'autre n'avait résolu auparavant.

Le Défi : Leur méthode implique deux types de « bruit » : le bruit provenant de la devinette sur les données manquantes, et le bruit provenant de la division des données en morceaux pour les tester (validation croisée).
La Solution : Ils ont construit une nouvelle « règle » mathématique (un estimateur de variance) qui mesure les deux types de bruit en même temps. C'est comme avoir une seule balance capable de peser à la fois le fruit et le panier dans lequel il est posé, vous donnant le vrai poids du seul fruit.

Résultats du Monde Réel

Les auteurs ont testé cela sur des cartes de différentes tailles :

Petites Cartes (10 variables) : Cela a bien fonctionné, légèrement mieux que les anciennes méthodes.
Cartes Moyennes (30 variables) : L'avantage s'est accru. Les anciennes méthodes ont commencé à commettre de nombreuses erreurs, tandis que PAIR-CI est resté précis.
Grandes Cartes (56 variables - Le réseau météorologique « HAILFINDER ») : C'est là que la nouvelle méthode a brillé. Les anciennes méthodes étaient tellement confuses par les données manquantes que leurs cartes étaient presque inutiles. PAIR-CI a réduit les erreurs de 44 %.

La Conclusion

PAIR-CI est un nouvel outil pour les scientifiques qui tentent de comprendre les relations de cause à effet lorsque leurs données comportent des trous.

Ancien Outil : Devinez les trous, puis testez. (Tendance à voir des fantômes/connexions qui n'existent pas).
Nouvel Outil (PAIR-CI) : Testez deux scénarios côte à côte en utilisant les mêmes hypothèses. Les erreurs s'annulent, révélant la vérité réelle.

L'article affirme que cette méthode est plus fiable, en particulier lorsque les données manquent de manière complexe et non aléatoire, et qu'elle fonctionne mieux lorsque les relations entre les variables sont complexes (non linéaires) plutôt que de simples lignes droites. Il ne prétend pas résoudre tous les problèmes de données manquantes, mais il résout le problème spécifique des « fausses connexions » causées par de mauvaises hypothèses dans la découverte causale.

Résumé Technique : PAIR-CI : Tests d'Indépendance Conditionnelle Calibrés pour la Découverte Causale avec Données Incomplètes

1. Énoncé du Problème

La découverte causale via des méthodes basées sur les contraintes (par exemple, l'algorithme PC) repose fondamentalement sur une séquence de tests d'indépendance conditionnelle (IC) pour déterminer le squelette et l'orientation d'un graphe causal. Un goulot d'étranglement critique surgit lorsque les données sont incomplètes. Les approches standards suivent généralement un paradigme « imputer d'abord, tester ensuite » : les valeurs manquantes sont imputées, et des tests d'IC standards sont appliqués aux données complétées.

Les auteurs identifient une faille fondamentale dans ce paradigme : la mauvaise calibration. Lorsque les modèles d'imputation sont mal spécifiés (par exemple, dans des conditions de Manquant Non Au Hasard (MNAR) ou lorsque les formes fonctionnelles sont incorrectes), l'erreur d'imputation induit une dépendance conditionnelle spurieuse entre les variables de test. La Proposition 1 formalise que, dans ces conditions, tout test d'IC cohérent rejettera asymptotiquement l'hypothèse nulle vraie avec une probabilité tendant vers 1. Cela conduit à des graphes causaux peuplés d'arêtes spurieuses, qui propagent les erreurs à travers les règles d'orientation des arêtes (règles de Meek), compromettant ainsi l'inférence en aval. Les remèdes existants, tels que la suppression par test (sacrifiant des données et induisant un biais de sélection) ou l'imputation multiple standard combinée aux règles de Rubin (qui échoue à corriger le biais entrant par l'ensemble de conditionnement), ne résolvent pas ce problème structurel.

2. Méthodologie : PAIR-CI

L'article introduit PAIR-CI, un test d'IC non paramétrique conçu pour restaurer la calibration en intégrant l'imputation multiple directement dans la procédure d'inférence via une conception de permutation appariée.

Mécanisme Central

Le test compare deux modèles validés par croix prédisant une variable cible $Z$ étant donné un ensemble de conditionnement $X$ :

Modèle Complet : Prédit $Z$ en utilisant $(X, Y)$ .
Modèle Partiel : Prédit $Z$ en utilisant $(\hat{X}, U)$ , où $\hat{X}$ est l'ensemble de conditionnement imputé et $U$ est une variable « placebo ».

Caractéristiques Clés de la Conception :

Imputation Appariée : Les deux modèles reçoivent le même ensemble imputé $\hat{X}$ dérivé du même processus d'imputation multiple (MICE). Cela garantit que tout biais ou distorsion introduit par l'erreur d'imputation affecte les deux modèles de manière identique.
Permutation Conditionnelle : Le placebo $U$ est construit en permutant conditionnellement $Y$ parmi ses $k$ plus proches voisins dans l'espace $\hat{X}$ . Cela rompt le lien entre $Y$ et $Z$ étant donné $X$ tout en préservant la dépendance marginale de $Y$ sur $X$ .
Différence de Perte : La statistique de test est la différence de perte hors échantillon (par exemple, entropie croisée binaire ou MSE) entre les modèles complet et partiel. Parce que les deux modèles partagent le même $\hat{X}$ imputé, le biais induit par l'imputation s'annule dans la différence de perte, l'empêchant de contaminer la statistique de test.
Estimation Unifiée de la Variance : La statistique de test agrège les différences de perte à travers $K$ plis de validation croisée et $M$ ensembles de données imputés. Les auteurs proposent un estimateur de variance novateur qui intègre l'estimateur de variance de validation croisée dans l'imputation (provenant de Bayle et al., 2020) dans les règles de Rubin pour la variation entre imputations. Cela prend en compte la dépendance résultant à la fois du chevauchement des plis et de la variation d'imputation simultanément.

Garanties Théoriques

Calibration : Sous quatre hypothèses de régularité légères (cohérence de l'imputation, perte bornée, imputation correcte et stabilité de l'apprenant), PAIR-CI atteint une taille asymptotique exacte pour l'hypothèse nulle interne ( $Z \perp\!\!\perp Y \mid \hat{X}$ ).
Robustesse au MNAR : La conception appariée étend la calibration à l'hypothèse nulle scientifique ( $Z \perp\!\!\perp Y \mid X$ ) même sous MNAR, à condition que l'erreur d'imputation varie de manière aléatoire entre les observations plutôt que d'être systématique.
Cohérence : Le test est cohérent sous l'hypothèse alternative ( $H_1$ ), avec une puissance convergeant vers 1 à mesure que la taille de l'échantillon augmente.
Cohérence PC : Lorsqu'il est utilisé comme oracle au sein de l'algorithme PC, PAIR-CI garantit la récupération du vrai graphe acyclique partiellement orienté complété (CPDAG) sous des hypothèses standard de fidélité.

3. Contributions Clés

L'article expose trois contributions principales :

Un Test d'IC Non Paramétrique Calibré : PAIR-CI est la première méthode à intégrer l'imputation multiple, la validation croisée et la permutation conditionnelle dans un cadre unique maintenant la calibration sous mauvaise spécification. Elle atteint un taux de faux positifs moyen $\le 4\%$ à travers divers processus de génération de données (PGD) et mécanismes de manquants, alors que les méthodes existantes exhibent des taux de 28–45 % sous MNAR.
Estimation Unifiée de la Variance : Les auteurs fournissent la première unification formelle de la validation croisée et de l'estimation de variance par imputation multiple. En intégrant l'estimateur de Bayle et al. (2020) dans les règles de Rubin, ils dérivent un estimateur asymptotiquement exact qui améliore la puissance statistique de 9 à 10 points de pourcentage aux tailles d'effets intermédiaires et permet $K=10$ plis sans sacrifier la calibration.
Découverte Causale Robuste : Les résultats empiriques démontrent que PAIR-CI surpasse significativement les références dans la récupération de graphes, en particulier dans des contextes non linéaires et à mesure que la taille du graphe augmente.

4. Résultats Expérimentaux

Les auteurs valident PAIR-CI à travers trois étapes d'expérimentation :

A. Performance Autonome

Dans des simulations couvrant des PGD gaussiens linéaires, post-non linéaires et à confondants latents avec des tailles d'échantillon $n \in \{500, 5000\}$ :

Taux de Faux Positifs : PAIR-CI maintient un TFP moyen $\le 4\%$ à travers toutes les conditions de manquants (Complet, MAR, MNAR). En revanche, des références comme FZ-Rubin, GCM et KCI exhibent des TFP de 28–45 % sous MNAR.
Puissance : PAIR-CI atteint une puissance $>80\%$ pour des forces de signal $\ge 0.6$ et $n \ge 2000$ . Bien qu'elle soit moins puissante que les tests paramétriques (par exemple, Z de Fisher) lorsque les hypothèses sont parfaitement respectées, elle évite les rejets non informatifs des tests mal calibrés.

B. Récupération de Graphes Synthétiques

En utilisant l'algorithme PC sur des DAG Erdős–Rényi ( $p=10, 20, 30$ ) :

Arêtes Non Linéaires : PAIR-CI réduit significativement la Distance de Hamming Structurelle (SHD) par rapport aux références. L'écart de SHD s'élargit avec la taille du graphe : une réduction de 8 % à $p=10$ , 15 % à $p=30$ , et jusqu'à 44 % sur le réseau HAILFINDER à 56 variables.
Arêtes Linéaires : PAIR-CI égale ou dépasse les références à mesure que les ensembles de conditionnement grandissent, là où les corrélations partielles deviennent moins fiables.
Précision-Rappel : PAIR-CI exhibe une haute précision (souvent 1,0) au prix d'un rappel légèrement inférieur, évitant la propagation d'arêtes spurieuses qui affecte d'autres méthodes.

C. Références du Monde Réel

Réseau ALARM ( $p=37$ ) : PAIR-CI atteint une SHD de 22,5–24 (linéaire) et 31–33,5 (non linéaire), surpassant toutes les références basées sur les contraintes (SHD 30–62).
Réseau HAILFINDER ( $p=56$ ) : PAIR-CI atteint une SHD de 62,5–65,5, comparé à 103,5–128 pour les références. Notamment, l'analyse cas-complets atteint une SHD similaire (66) mais avec un score F1 de 0,0 (squelette vide), illustrant l'artefact de « gagner en renonçant » de la suppression agressive de données.

5. Signification et Revendications

L'article revendique que PAIR-CI comble une lacune critique dans l'inférence scientifique automatisée en fournissant une approche calibrée pour la découverte causale avec des données incomplètes.

Motivation : Les auteurs soutiennent que le paradigme « imputer puis tester » est structurellement défectueux dans des conditions réelles courantes (MNAR, mauvaise spécification fonctionnelle), conduisant à des graphes causaux peu fiables.
Portée : La méthode suppose la suffisance causale (pas de confondants non observés) mais est agnostique à l'algorithme de découverte spécifique, servant d'oracle plug-and-play pour PC ou FCI.
Limites : Les auteurs reconnaissent que PAIR-CI échange une certaine puissance contre la calibration, en particulier dans les petits échantillons avec des signaux faibles ou lorsque les relations sont strictement linéaires et que les manquants sont MCAR/MAR (là où les tests paramétriques excellent). Ils notent également que la méthode repose sur l'hypothèse que l'erreur d'imputation varie de manière aléatoire ; des erreurs systématiques (par exemple, issues de l'imputation par la moyenne) peuvent toujours causer une mauvaise calibration.
Conclusion : PAIR-CI offre une solution non paramétrique et fondée sur des principes qui restaure la fiabilité de la découverte causale basée sur les contraintes en présence de données manquantes, avec des gains de performance qui s'adaptent à la complexité du graphe et à la non-linéarité.