Toward Scalable and Valid Conditional Independence Testing with Spectral Representations

Résumé Technique : Vers un test d'indépendance conditionnelle scalable et valide avec des représentations spectrales

Énoncé du problème
Le test d'indépendance conditionnelle (CI), la tâche consistant à déterminer si des variables aléatoires $X$ et $Y$ sont indépendantes étant donné un ensemble de conditionnement $Z$ ($H_0: X \perp\!\!\perp Y | Z$), est fondamental pour l'inférence causale, la sélection de caractéristiques et la modélisation graphique. Cependant, dans les contextes non paramétriques, le test de CI est connu pour être fondamentalement difficile. Shah & Peters (2020) ont établi qu'aucun test ne peut contrôler uniformément l'erreur de Type I pour toutes les distributions conditionnellement indépendantes tout en maintenant une puissance contre toutes les alternatives. Par conséquent, les méthodes existantes reposent sur des hypothèses structurelles restrictives (par exemple, la lissité, les distributions conditionnelles connues ou des taux de régression spécifiques) pour atteindre la validité.

Bien que les méthodes basées sur les noyaux (kernels) utilisant des opérateurs de covariance partielle (par exemple, KCIT, RCIT) offrent une approche fondée sur des principes en encodant implicitement des hypothèses structurelles, elles souffrent d'une adaptativité limitée et d'une faible scalabilité dans les contextes de haute dimension. À l'inverse, des méthodes comme Model-X ou les tests de permutation locale nécessitent des hypothèses fortes concernant la distribution conditionnelle $P(X|Z)$ ou la lissité des données, qui peuvent ne pas être vérifiées en pratique. Il existe un besoin pour une méthode qui jette un pont entre la rigueur théorique des méthodes à noyaux et la scalabilité et l'adaptativité de l'apprentissage de représentations moderne.

Méthodologie
Les auteurs proposent SpectralCIT, un cadre qui exploite l'apprentissage de représentations spectrales pour répondre aux limites des tests à noyaux classiques. L'idée centrale est d'apprendre les fonctions spectrales principales (fonctions singulières) de l'opérateur de covariance partielle $\Sigma_{X\dot{Y} \cdot Z}$, où $\dot{Y} = (Y, Z)$, et d'utiliser ces représentations apprises pour construire un test simple et scalable.

1. Apprentissage de la représentation spectrale :
   La méthode vise à apprendre la décomposition en valeurs singulières (SVD) tronquée de rang-$d$ de l'opérateur de covariance partielle. Contrairement à l'estimation de la covariance inconditionnelle, l'opérateur partiel implique un terme de résidualisation qui n'est pas directement observable. Les auteurs formulent cela comme un problème d'optimisation bi-niveau :

   • Problème extérieur : Apprend des applications de caractéristiques (feature maps) $u_\theta(X)$ et $v_\theta(Y, Z)$ pour approximer les fonctions singulières principales de l'opérateur partiel.
   • Problème intérieur : Apprend une application de caractéristiques $w_\theta(Z)$ pour gérer implicitement le conditionnement sur $Z$ via un problème auxiliaire de rang faible dérivé de la propriété cyclique de la trace.

   L'objectif d'apprentissage est une perte contrastive dérivée de la norme de Hilbert-Schmidt de l'erreur d'approximation de l'opérateur, régularisée par des contraintes d'orthonormalité pour garantir que les caractéristiques apprises soient bien conditionnées. L'algorithme utilise des réseaux de neurones paramétrés par $\theta$ et optimise via la descente de gradient stochastique sur des mini-lots (mini-batches).

2. Construction de la statistique de test :
   Une fois les représentations $\hat{u}_\theta, \hat{v}_\theta, \hat{w}_\theta$ apprises sur un ensemble d'entraînement, la statistique de test est calculée sur un ensemble de test tenu à l'écart. La statistique est définie par :
   $$\hat{T}_n = n \| \hat{C}_{\hat{U}_\theta \hat{V}_\theta} - \hat{C}_{\hat{U}_\theta \hat{W}_\theta} \hat{C}_{\hat{W}_\theta \hat{V}_\theta} \|_F^2$$
   où $\hat{C}$ désigne les matrices de covariance croisée empiriques des caractéristiques apprises. Cette statistique mesure la dépendance résiduelle entre $X$ et $Y$ après avoir pris en compte $Z$ dans l'espace sous-jacent spectral appris.

3. Garanties théoriques :

   • Validité (Hypothèse nulle) : Sous l'hypothèse nulle et des hypothèses de régularité modérées (sous-gaussianité des caractéristiques), les auteurs prouvent que $\hat{T}_n$ converge en distribution vers une distribution chi-deux avec $d^2$ degrés de liberté, à condition que l'erreur d'apprentissage de la représentation ($E_{val}$) disparaisse. Cela permet l'utilisation de valeurs critiques de chi-deux standards sans recours à la permutation.
   • Puissance (Hypothèse alternative) : La puissance du test est régie par la qualité des représentations apprises ($E_{pow}$). Les auteurs établissent que le test atteint une puissance élevée si la force du signal (norme de Hilbert-Schmidt de l'opérateur partiel) dépasse un seuil déterminé par l'erreur de représentation et l'erreur d'estimation statistique.

Contributions clés

1. Innovation algorithmique : Introduction d'un algorithme d'apprentissage contrastif bi-niveau scalable pour estimer les caractéristiques spectrales principales des opérateurs de covariance partielle, surmontant les goulots d'étranglement d'adaptativité et de scalabilité des méthodes à noyaux classiques.
2. Analyse théorique : Un cadre théorique complet reliant l'erreur d'apprentissage de la représentation à la performance du test. Le papier fournit des garanties pour le contrôle de l'erreur de Type I (validité asymptotique chi-deux) et la puissance, caractérisant l'échange entre la force du signal, la qualité de la représentation et la taille de l'échantillon.
3. Validation empirique : Expérimentations approfondies sur des données synthétiques (incluant des modèles post-non linéaires et des variantes non lisses de haute dimension) et des données réelles (histologie du cancer du sein et expression génique). Les résultats démontrent que SpectralCIT maintient un contrôle robuste de l'erreur de Type I et une puissance élevée dans les régimes où les méthodes basées sur les noyaux échouent ou perdent leur validité.

Résultats

• Benchmarks synthétiques : Dans les modèles post-non linéaires avec des dimensions de conditionnement variables ($d_Z \in [50, 300]$), SpectralCIT a systématiquement contrôlé l'erreur de Type I au niveau nominal ($\alpha=0.05$) tout en atteignant une puissance élevée. En revanche, des méthodes telles que KCIT, RCIT et GCIT ont échoué à contrôler l'erreur de Type I en haute dimension, et DGCIT a totalement perdu le contrôle.
• Données non lisses : Sur un modèle de données de haute dimension et non lisse conçu pour violer les hypothèses de lissité des tests de permutation locale (NNLSCIT), SpectralCIT est resté robuste, tandis que NNLSCIT a subi une rupture complète du contrôle de l'erreur de Type I.
• Scalabilité : SpectralCIT s'est avéré environ $2\times$ plus rapide que KCIT dans les contextes de haute dimension, car sa complexité est dominée par des opérations de rang faible dans la dimension de troncature $d$ plutôt que par des calculs de matrices de noyaux $N \times N$.
• Application réelle : Appliqué aux données de cancer du sein (TCGA-BRCA), la méthode a testé si les profils moléculaires ($X$) fournissent des informations pronostiques au-delà des caractéristiques d'imagerie histologique ($Z$) pour prédire la survie ($Y$). Alors que les modèles linéaires et d'autres tests de CI ont échoué à rejeter l'hypothèse nulle, SpectralCIT l'a fortement rejetée, détectant des dépendances non linéaires complexes confirmées par un modèle XGBoost.

Signification et Revendications
Le papier prétend offrir une « voie fondée sur des principes et statistiquement rigoureuse vers des tests de CI scalables ». En jetant un pont entre la théorie des noyaux et l'apprentissage de représentations moderne, SpectralCIT répond au compromis critique entre validité et scalabilité. Les auteurs soulignent que leur approche ne nécessite pas d'hypothèses structurelles restrictives (comme la continuité de Lipschitz) ni l'accès à la distribution conditionnelle $P(X|Z)$. Au lieu de cela, la validité est subordonnée à la qualité des représentations spectrales apprises, une condition qui peut être contrôlée via le processus d'apprentissage. Ce travail suggère que l'apprentissage de la structure spectrale des opérateurs de dépendance est une stratégie viable pour surmonter la « malédiction de la dimensionnalité » dans les tests d'indépendance conditionnelle non paramétriques.