A Kernel-Based Nonparametric Test for Conditional Independence of Functional Data

Titel: Een Kernel-gebaseerde Niet-parametrische Test voor Conditionele Onafhankelijkheid van Functionele Data

1. Probleemstelling

Conditionele onafhankelijkheid is een fundamenteel concept in statistiek, essentieel voor toepassingen zoals voldoende dimensiereductie, causale inferentie en statistische grafische modellen. In veel moderne toepassingen, zoals die met draagbare sensoren, treden data op als stochastische functies (functionele data) in plaats van als multivariate vectoren.

Het bestaande literatuurgap is dat alle huidige tests voor conditionele onafhankelijkheid zijn ontworpen voor multivariate data. Er was tot nu toe geen geldige methode om te testen of twee stochastische functies $X$ en $Y$ conditioneel onafhankelijk zijn gegeven een derde stochastische functie $Z$ ($X \perp\!\!\perp Y | Z$).

Daarnaast bestond er een theoretisch probleem met eerdere kernel-gebaseerde tests (zoals die van Zhang et al., 2011) voor multivariate data: de asymptotische verdeling onder de nulhypothese was slechts een schets zonder strikte bewijzen of voldoende voorwaarden. De convergentiesnelheid van de benodigde regressie-operatoren bleek te traag om de bestaande theorie te rechtvaardigen.

2. Methodologie

De auteurs ontwikkelen een nieuwe test die gebaseerd is op de Conjoined Conditional Covariance Operator (CCCO) binnen het kader van Reproducing Kernel Hilbert Spaces (RKHS).

A. Theoretische Basis (Population Level):

• RKHS Kader: De auteurs definiëren RKHS's ($G_X, G_Y, G_Z$) gegenereerd door positief-definiete kernels. Ze introduceren de "nested Hilbert spaces" structuur, waarbij de inproductruimte van de functies de kernel bepaalt.
• CCCO Definitie: Ze definiëren de Conjoined Conditional Covariance Operator $\Sigma_{\ddot{X}\ddot{Y}|Z}$, waarbij $\ddot{X} = (X, Z)$ en $\ddot{Y} = (Y, Z)$. Deze operator wordt gedefinieerd als:
  $$\Sigma_{\ddot{X}\ddot{Y}|Z} = \Sigma_{\ddot{X}\ddot{Y}} - \Sigma_{\ddot{X}Z}\Sigma_{ZZ}^{\dagger}\Sigma_{Z\ddot{Y}}$$
  Hierbij is $\Sigma^{\dagger}$ de Moore-Penrose inverse.
• Equivalentie: Het cruciale resultaat (Stelling 1) is dat $\Sigma_{\ddot{X}\ddot{Y}|Z} = 0$ dan en slechts dan als $X \perp\!\!\perp Y | Z$, mits de gebruikte kernels "characteristic" zijn (bijv. Gaussische of Laplace kernels).

B. Schatting en Teststatistiek:

• Empirische Schatting: De operator wordt geschat door populatieverwachtingen te vervangen door steekproefgemiddelden. Omdat de covariantieoperator $\Sigma_{ZZ}$ niet-inverteerbaar is, wordt Tikhonov regularisatie toegepast met een parameter $\epsilon_n$.
• Teststatistiek: De teststatistiek $T_n$ is de genormaliseerde Hilbert-Schmidt norm van de geschatte operator:
  $$T_n = n \| \hat{\Sigma}_{\ddot{X}\ddot{Y}|Z} \|_{HS}^2$$
• Numerieke Implementatie: De operatoren worden omgezet naar matrices via coördinatie mapping. De Gram-matrices worden berekend, en de teststatistiek wordt uitgedrukt als een spoor (trace) van matrixproducten, wat computatie-efficiëntie biedt.

C. Asymptotische Distributie en Convergentie:

• Een belangrijk theoretisch doorbraak is het gebruik van een recent bewezen verscherpte convergentiesnelheid voor regressie-operatoren (Choi et al., 2026).
• De auteurs tonen aan dat onder specifieke voorwaarden voor de gladheid ($\beta$) en het verval van eigenwaarden ($\alpha$), de convergentiesnelheid sneller is dan $n^{-1/4}$. Dit is noodzakelijk om de asymptotische normaliteit van de schatter te garanderen.
• Resultaat: Onder de nulhypothese convergeert $T_n$ naar een verdeling die een som is van gewogen chi-kwadraat variabelen:
  $$T_n \xrightarrow{d} \sum_{k=1}^{\infty} \lambda_k Z_k^2$$
  waarbij $\lambda_k$ de eigenwaarden zijn van de limietoperator en $Z_k$ onafhankelijke standaardnormale variabelen.

D. Praktische Implementatie:

• Schatting van Functies: Omdat data vaak discreet wordt waargenomen, worden de onderliggende functies gereconstrueerd met een kernel-smoother (gebaseerd op RKHS).
• Tuning Parameters: De auteurs stellen een procedure voor om bandwidths en regularisatieparameters ($\delta_n, \epsilon_n$) te selecteren via Generalized Cross-Validation (GCV).
• Versnelling: Om de berekening van eigenwaarden van grote $n^2 \times n^2$ matrices haalbaar te maken, gebruiken ze een rang-reductietechniek die de complexiteit verlaagt naar het vinden van eigenwaarden van een $n \times n$ matrix.

3. Belangrijkste Bijdragen

1. Uitbreiding naar Functionele Data: De eerste niet-parametrische test voor conditionele onafhankelijkheid die specifiek is ontworpen voor stochastische functies.
2. Rigoureus Asymptotisch Bewijs: Het eerste strikte bewijs van de asymptotische nulverdeling voor kernel-gebaseerde CI-tests. De auteurs lossen het probleem op dat eerdere werken een te trage convergentiesnelheid hadden door gebruik te maken van de nieuwste resultaten van Choi et al. (2026).
3. Efficiënt Algoritme: Een volledig uitgewerkt algoritme voor de schatting van functies, selectie van hyperparameters en versnelde berekening van de teststatistiek en p-waarden.

4. Resultaten

• Simulatiestudies:
  • De test werd getest op diverse modellen (additief, multiplicatief, logaritmisch transformaties) met zowel gebalanceerde als onbalans waarnemingschema's.
  • De test behoudt het juiste significantieniveau (Type I-fout) onder de nulhypothese.
  • De test toont hoge power (vermogen) om afhankelijkheid te detecteren, zelfs bij kleine steekproefgroottes, hoewel de power afneemt bij zeer complexe transformaties met kleine $n$.
• Toepassingen op Real Data:
  • WISDM Dataset (Accelerometer data): Getest of versnelling in de x- en y-richting conditioneel onafhankelijk is van de z-richting bij verschillende activiteiten. Resultaat: Voor "zitten" werd afhankelijkheid gevonden (wat fysiek logisch is gezien de synchronisatie), terwijl voor andere activiteiten (lopen, joggen) onafhankelijkheid werd geconcludeerd.
  • WDI Dataset (Wereldbank data): Getest op economische indicatoren (bijv. levensverwachting, inflatie) gegeven het BBP. Resultaat: Levensverwachting bleek conditioneel afhankelijk van de meeste andere factoren, terwijl de reële rente onafhankelijk bleek, wat suggereert dat de relatie van rente met andere variabelen voornamelijk via het BBP verloopt.

5. Significantie

Dit artikel vult een cruciale lacune in de statistische methodologie voor functionele data. Het biedt onderzoekers een robuust, niet-parametrisch instrument om complexe afhankelijkheidsstructuren in tijdreeksen en functiedata te analyseren zonder zware modelaannames (zoals lineariteit of normaliteit).

Bovendien heeft de paper een aanzienlijke theoretische impact door de asymptotische geldigheid van een breed gebruikt statistisch instrument (de kernel-gebaseerde CI-test) eindelijk wiskundig te onderbouwen, wat de basis legt voor toekomstige ontwikkelingen in causale inferentie en grafische modellen voor functionele data.