Toward Scalable and Valid Conditional Independence Testing with Spectral Representations

Technische Samenvatting: Naar Schaalbare en Valide Conditionele Onafhankelijkheidstesten met Spectrale Representaties

Probleemstelling
Conditionele onafhankelijkheidstesten (CI-testen), de taak van het bepalen of willekeurige variabelen $X$ en $Y$ onafhankelijk zijn gegeven een conditionele verzameling $Z$ ($H_0: X \perp\!\!\perp Y | Z$), is fundamenteel voor causale inferentie, feature selectie en grafische modellering. Echter, in niet-parametrische settings staat CI-testen bekend als fundamenteel uitdagend. Shah & Peters (2020) stelden vast dat geen enkele test uniform de Type I-fout kan controleren over alle conditioneel onafhankelijke distributies terwijl de power behouden blijft tegen alle alternatieven. Bijgevolg vertrouwen bestaande methoden op restrictieve structurele aannames (bijv. gladheid, bekende conditionele distributies of specifieke regressiesnelheden) om validiteit te bereiken.

Hoewel kernel-gebaseerde methoden die gebruikmaken van partiële covariantie-operatoren (bijv. KCIT, RCIT) een principieel kader bieden door impliciet structurele aannames te coderen, lijden zij aan beperkte adaptiviteit en slechte schaalbaarheid in hoog-dimensionale settings. Daarentegen vereisen methoden zoals Model-X of lokale permutatietesten sterke aannames over de conditionele distributie $P(X|Z)$ of de gladheid van de data, die in de praktijk mogelijk niet standhouden. Er is behoefte aan een methode die de theoretische strengheid van kernel-methoden verbindt met de schaalbaarheid en adaptiviteit van moderne representatie-lering.

Methodologie
De auteurs stellen SpectralCIT voor, een framework dat gebruikmaakt van spectrale representatie-lering om de beperkingen van klassieke kernel-testen aan te pakken. De kern van het idee is het leren van de leidende spectrale kenmerken (singular functies) van de partiële covariantie-operator $\Sigma_{X\dot{Y} \cdot Z}$, waarbij $\dot{Y} = (Y, Z)$, en het gebruik van deze geleerde representaties om een eenvoudige, schaalbare teststatistiek te construeren.

1. Spectrale Representatie-lering:
   De methode beoogt de rank-$d$ afgekante Singular Value Decomposition (SVD) van de partiële covariantie-operator te leren. In tegenstelling tot onconditionele covariantie-schatting betreft de partiële operator een residu-term die niet direct observeerbaar is. De auteurs formuleren dit als een bi-level optimalisatieprobleem:

   • Outer Problem: Leert feature maps $u_\theta(X)$ en $v_\theta(Y, Z)$ om de leidende singular functies van de partiële operator te benaderen.
   • Inner Problem: Leert een feature map $w_\theta(Z)$ om de conditionering op $Z$ impliciet af te handelen via een low-rank hulp-probleem afgeleid van de cyclische eigenschap van de trace.

   Het leerdoel is een contrastieve loss afgeleid van de Hilbert-Schmidt norm van de operator-benaderingsfout, geregulariseerd met orthonormaliteitsrestricties om te garanderen dat de geleerde features goed geconditioneerd zijn. Het algoritme gebruikt neurale netwerken geparametriseerd door $\theta$ en optimaliseert via stochastic gradient descent op mini-batches.

2. Constructie van de Teststatistiek:
   Zodra de representaties $\hat{u}_\theta, \hat{v}_\theta, \hat{w}_\theta$ zijn geleerd op een trainingsset, wordt de teststatistiek berekend op een gehouden-testset. De statistiek wordt gedefinieerd als:
   $$\hat{T}_n = n \| \hat{C}_{\hat{U}_\theta \hat{V}_\theta} - \hat{C}_{\hat{U}_\theta \hat{W}_\theta} \hat{C}_{\hat{W}_\theta \hat{V}_\theta} \|_F^2$$
   waarbij $\hat{C}$ de empirische cross-covariantie matrices van de geleerde features voorstelt. Deze statistiek meet de residuele afhankelijkheid tussen $X$ en $Y$ nadat rekening is gehouden met $Z$ in de geleerde spectrale subspace.

3. Theoretische Garanties:

   • Validiteit (Nulhypothese): Onder de nulhypothese en milde regulariteitsaannames (sub-Gaussianiteit van de features), bewijzen de auteurs dat $\hat{T}_n$ convergeert in distributie naar een chi-kwadraatverdeling met $d^2$ vrijheidsgraden, mits de representatie-leringsfout ($E_{val}$) verdwijnt. Dit maakt het gebruik van standaard chi-kwadraat kritieke waarden mogelijk zonder permutatie.
   • Power (Alternatieve Hypothese): De power van de test wordt bepaald door de kwaliteit van de geleerde representaties ($E_{pow}$). De auteurs stellen vast dat de test een hoge power bereikt als de signaalsterkte (Hilbert-Schmidt norm van de partiële operator) een drempel overschrijdt die bepaald wordt door de representatie-fout en de statistische schattingsfout.

Belangrijkste Bijdragen

1. Algoritmische Innovatie: Introductie van een schaalbaar, bi-level contrastief leeralgoritme om de leidende spectrale kenmerken van partiële covariantie-operatoren te schatten, waarmee de bottlenecks van adaptiviteit en schaalbaarheid van klassieke kernel-methoden worden overwonnen.
2. Theoretische Analyse: Een uitgebreid theoretisch kader dat de representatie-leringsfout koppelt aan de prestaties van de test. Het artikel biedt garanties voor Type I-fout controle (asymptotische chi-kwadraat validiteit) en power, waarbij de trade-off tussen signaalsterkte, representatiekwaliteit en steekproefomvang wordt gekarakteriseerd.
3. Empirische Validatie: Uitgebreide experimenten op synthetische data (inclusief post-niet-lineaire modellen en hoog-dimensionale niet-gladde varianten) en real-world data (borstkanker histologie en genexpressie). De resultaten tonen aan dat SpectralCIT robuuste Type I-fout controle behoudt en een hoge power heeft in regimes waar kernel-gebaseerde methoden falen of hun validiteit verliezen.

Resultaten

• Synthetische Benchmarks: In post-niet-lineaire modellen met variërende conditionele dimensies ($d_Z \in [50, 300]$), controleerde SpectralCIT consistent de Type I-fout op het nominale niveau ($\alpha=0.05$) terwijl het een hoge power bereikte. In contrast hiermee faalden methoden zoals KCIT, RCIT en GCIT in het controleren van de Type I-fout in hoge dimensies, en verloor DGCIT de controle volledig.
• Niet-gladde Data: Op een hoog-dimensionaal, niet-gladdig datamodel ontworpen om de gladheid-aannames van lokale permutatietesten (NNLSCIT) te schenden, bleef SpectralCIT robuust, terwijl NNLSCIT leed aan een volledige breakdown in Type I-fout controle.
• Schaalbaarheid: SpectralCIT bleek ongeveer $2\times$ sneller dan KCIT in hoog-dimensionale settings, aangezien de complexiteit wordt gedomineerd door low-rank operaties in de truncatie-dimensie $d$ in plaats van $N \times N$ kernel matrix berekeningen.
• Real-World Toepassing: Toegepast op borstkankerdata (TCGA-BRCA), testte de methode of moleculaire profielen ($X$) prognostische informatie bieden bovenop histologische beeldkenmerken ($Z$) voor het voorspellen van overleving ($Y$). Terwijl lineaire modellen en andere CI-testen faalden om de nulhypothese te verwerpen, verwierp SpectralCIT deze sterk, waarbij complexe niet-lineaire afhankelijkheden werden gedetecteerd die bevestigd werden door een XGBoost model.

Betekenis en Claims
Het artikel claimt een "geprincieerd en statistisch onderbouwd pad naar schaalbare CI-testen" te bieden. Door de brug te slaan tussen kernel-gebaseerde theorie en moderne representatie-lering, adresseert SpectralCIT de cruciale trade-off tussen validiteit en schaalbaarheid. De auteurs benadrukken dat hun aanpak geen restrictieve structurele aannames (zoals Lipschitz continuïteit) of toegang tot de conditionele distributie $P(X|Z)$ vereist. In plaats daarvan is de validiteit afhankelijk van de kwaliteit van de geleerde spectrale representaties, een conditie die via het leerproces gecontroleerd kan worden. Het werk suggereert dat het leren van de spectrale structuur van afhankelijkheids-operatoren een levensvatbare strategie is om de "vloek van dimensionaliteit" bij niet-parametrische conditionele onafhankelijkheidstesten te overwinnen.