The Generalised Kernel Covariance Measure

Probleemstelling

Het artikel adresseert het probleem van het testen op conditionele onafhankelijkheid (CI): het vaststellen of twee willekeurige variabelen $X$ en $Y$ onafhankelijk zijn, gegeven een derde variabele $Z$ (genoteerd als $X \perp\perp Y \mid Z$). CI-testen is fundamenteel voor causale inferentie en causale ontdekking.

Bestaande methoden vallen in twee categorieën, die beide beperkingen hebben:

1. Residum-based tests (bijv. GCM, wGCM, PCM): Deze testen of de gemiddelde conditionele covariantie nul is. Ze zijn flexibel wat betreft regressiemodellen, maar missen vaak de gevoeligheid voor complexe conditionele afhankelijkheden omdat ze alleen kijken naar het gemiddelde en niet naar de bijna-zeer-zekere (almost surely) nulliteit van de covariantie.
2. Kernel-based tests (bijv. KCIT, KRESIT, RCIT): Deze embedden variabelen in Reproducing Kernel Hilbert Spaces (RKHS) om een breed scala aan transformaties te testen. Hoewel ze theoretisch krachtiger zijn, zijn ze in de praktijk beperkt door hun afhankelijkheid van Kernel Ridge Regression (KRR). KRR is computationeel duur bij het optimaliseren van hyperparameters (zoals lengteschalen en regularisatieparameters) en levert vaak slecht gekalibreerde testen op als deze niet perfect worden afgesteld. Bovendien is er tot nu toe geen bewezen garantie voor uniforme asymptotische type-I foutcontrole voor deze kernel-methoden.

Methodologie: GKCM

De auteurs introduceren de Generalised Kernel Covariance Measure (GKCM). Dit is een kernel-based CI-test die loskoppelt van het specifieke regressiemodel dat wordt gebruikt.

• Kernidee: GKCM generaliseert het bestaande Generalised Hilbertian Covariance Measure (GHCM) raamwerk. In plaats van alleen KRR te gebruiken, staat GKCM willekeurige regressiemethoden toe die waarden in een Hilbert-ruimte voorspellen (RKHS-gebaseerde regressie).
• Procedure:
  1. Variabelen $X$ en $Y$ worden ingebed in RKHS's ($\mathcal{F}$ en $\mathcal{G}$) via kanonieke feature maps $\phi$ en $\psi$.
  2. Men schat de conditionele verwachtingen $E[\phi(X)|Z]$ en $E[\psi(Y)|Z]$ met een regressiemodel (bijv. Random Forests of KRR).
  3. Men berekent de gecentreerde residuen in de feature spaces.
  4. De teststatistiek is gebaseerd op de norm van de empirische gemiddelde conditionele covariantie-operator van deze residuen: $T_n = n \|\hat{C}^{(n)}_{XY \cdot Z}\|_{HS}^2$.
• Theoretische Basis: De auteurs bewijzen dat onder milde aannames (zoals dat de kernels injectief en begrensd zijn) conditionele onafhankelijkheid van $X$ en $Y$ gegeven $Z$ equivalent is aan conditionele onafhankelijkheid van hun embeddings. Ze leiden voorwaarden af waaronder de test uniforme asymptotische type-I foutgaranties biedt, mits de voorspellingsfouten van het gekozen regressiemodel snel genoeg naar nul convergeren.

Belangrijkste Bijdragen

1. Model-onafhankelijkheid: GKCM is het eerste kernel-based CI-testraamwerk dat niet beperkt is tot KRR. Dit maakt het mogelijk om krachtige, niet-parametrische methoden zoals Random Forests (specifiek Distributional Random Forests) te gebruiken voor de regressiestap.
2. Theoretische garanties: De auteurs stellen voldoende voorwaarden op voor uniforme asymptotische type-I foutcontrole voor kernel-based tests, een lacune die eerder bestond in de literatuur.
3. Computationele efficiëntie en stabiliteit: Door het gebruik van Random Forests (die minder gevoelig zijn voor hyperparameter-tuning dan KRR) worden de testen robuuster en sneller in de praktijk, zonder de theoretische voordelen van kernel-methoden te verliezen.

Resultaten (Simulatiestudie)

De auteurs voeren een uitgebreide simulatiestudie uit met sample sizes van 500 tot 2000, vergeleken met bestaande methoden (GCM, wGCM, PCM, KCIT, RCIT, RCoT).

• Type-I Foutcontrole (Null Hypothesen):
  • GKCM met Random Forests (GKCM RF) behoudt consistent de nominale type-I foutniveaus (bijv. 5%) over diverse scenario's, inclusief complexe niet-lineaire afhankelijkheden.
  • Andere methoden, vooral die gebaseerd op KRR zonder perfecte tuning (zoals KCIT en RCoT), vertonen vaak opgeblazen type-I fouten (te veel vals-positieven), zelfs bij grote steekproefomvang.
• Power (Alternatieve Hypothesen):
  • GKCM RF presteert uitstekend in het detecteren van niet-lineaire afhankelijkheden en vertoont vaak een hogere power dan de state-of-the-art methoden.
  • In scenario's waar traditionele residum-methoden (GCM, wGCM) falen omdat de gemiddelde conditionele covariantie nul is ondanks aanwezigheid van afhankelijkheid, slaagt GKCM RF wel.
• Vergelijking KRR vs. Random Forests: Zelfs wanneer KRR wordt geoptimaliseerd met kruisvalidatie, presteert GKCM RF vaak beter wat betreft type-I foutcontrole en is vergelijkbaar of superieur wat betreft power. Dit bevestigt dat Random Forests een superieur alternatief zijn voor KRR binnen dit raamwerk, vooral wanneer tuning onhaalbaar is.

Betekenis en Conclusie

Het artikel biedt een significante doorbraak in het veld van conditionele onafhankelijkheidstesten. De belangrijkste implicaties zijn:

• Praktische toepasbaarheid: Door de afhankelijkheid van kostbare en onstabiele hyperparameter-tuning van KRR te doorbreken, wordt kernel-based CI-testen veel praktischer en betrouwbaarder.
• Robuustheid: De combinatie van kernel-methoden met boom-gebaseerde modellen (Random Forests) biedt de beste van beide werelden: de gevoeligheid voor complexe patronen van kernels en de stabiliteit/snelheid van bomen.
• Causale Inferentie: GKCM is een krachtig nieuw instrument voor causale ontdekking, waarbij het betrouwbaar kan worden ingezet in constraint-based algoritmen zonder dat men bang hoeft te zijn voor valse positieven door slecht gekalibreerde testen.

Samenvattend introduceert GKCM een flexibel, theoretisch onderbouwd en praktisch superieur raamwerk voor het testen van conditionele onafhankelijkheid, dat de huidige beperkingen van bestaande kernel-methoden effectief oplost.