The Generalised Kernel Covariance Measure

1. Il Problema: Test di Indipendenza Condizionata (CI)

Il paper affronta il problema fondamentale del test di indipendenza condizionata (CI), ovvero verificare se due variabili casuali $X$ e $Y$ sono indipendenti dato un insieme di variabili di condizionamento $Z$ (denotato come $X \perp\!\!\!\perp Y | Z$). Questo è un pilastro dell'inferenza causale, utilizzato ad esempio nella scoperta causale basata su vincoli e nella predizione causale invariante.

Esistono due principali approcci esistenti:

• Test basati sui residui (es. GCM, wGCM, PCM): Si basano sulla stima della covarianza condizionata media. Sebbene offrano garanzie di livello asintotico uniforme, sono limitati perché rilevano solo dipendenze lineari o medie condizionate nulle, fallendo in presenza di dipendenze condizionate complesse dove la covarianza media è zero ma la dipendenza esiste.
• Test basati sui kernel (es. KCIT, KRESIT, RCIT): Mappano le variabili in spazi di Hilbert a kernel riproducente (RKHS) per catturare dipendenze non lineari. Tuttavia, questi metodi soffrono di due gravi limitazioni pratiche:
  1. Dipendono esclusivamente dalla Regressione a Ridge Kernel (KRR), che è computazionalmente costosa da ottimizzare (richiede tuning iperparametrico complesso) e instabile se non tarata correttamente.
  2. Mancano di garanzie teoriche di controllo uniforme del tasso di errore di Tipo I (spesso forniscono solo garanzie punto-per-punto), rendendoli inaffidabili in scenari pratici con campioni finiti.

2. Metodologia: GKCM (Generalised Kernel Covariance Measure)

Gli autori propongono il GKCM, un nuovo test di CI basato sui kernel che risolve le limitazioni sopra citate.

• Framing Teorico: GKCM si basa sul framework della Generalised Hilbertian Covariance Measure (GHCM) di Lundborg et al. (2022). Invece di testare direttamente la CI tra $X$ e $Y$, il metodo testa la CI tra le loro embedding in spazi RKHS ($\phi(X)$ e $\psi(Y)$) date $Z$.
• Agnosticismo del Modello di Regressione: A differenza dei metodi precedenti che usano solo KRR, GKCM è agnostico rispetto al modello di regressione. Permette l'uso di qualsiasi stimatore di regressione a valori in uno spazio di Hilbert per stimare le medie condizionate $\mathbb{E}[\phi(X)|Z]$ e $\mathbb{E}[\psi(Y)|Z]$.
• Statistica del Test:
  1. Si calcolano i residui centrati nello spazio RKHS: $\hat{\epsilon}_i = \phi(X_i) - \hat{F}_n(Z_i)$ e $\hat{\xi}_i = \psi(Y_i) - \hat{G}_n(Z_i)$.
  2. Si stima l'operatore di covarianza condizionata media empirico: $\hat{C}_{XY\cdot Z} = \frac{1}{n} \sum \hat{\epsilon}_i \otimes \hat{\xi}_i$.
  3. La statistica del test è la norma di Hilbert-Schmidt scalata: $T_n = n \|\hat{C}_{XY\cdot Z}\|_{HS}^2$.
• Distribuzione Asintotica: Sotto ipotesi di regolarità (spazi Polish, kernel continui e limitati), la distribuzione nulla della statistica è approssimata da una distribuzione chi-quadro generalizzata, i cui parametri sono stimati dai valori propri della matrice dei prodotti interni dei residui.

3. Contributi Chiave

1. Generalizzazione del Framework: Estensione del framework GHCM (originariamente per dati funzionali) agli embedding RKHS per il test di CI tra variabili generiche.
2. Garanzie Teoriche Uniformi: Gli autori dimostrano condizioni sufficienti (Teorema 2) affinché il test GKCM garantisca un controllo uniforme del livello asintotico (uniform asymptotic level guarantees). Questo richiede che gli errori di previsione in-sample dei modelli di regressione tendano a zero sufficientemente velocemente.
3. Flessibilità Computazionale: Sostituendo la KRR con metodi di regressione più robusti ed efficienti (in particolare Random Forests a valori RKHS), il metodo supera il collo di bottiglia computazionale del tuning degli iperparametri.
4. Analisi delle Embedding Congiunte: Il paper discute criticamente l'uso di embedding congiunti $(X, Z)$ (usato in KCIT), dimostrando che possono introdurre bias e inflazione del tasso di errore di Tipo I in campioni finiti, e preferisce un approccio che separa l'embedding di $X$ e $Y$.

4. Risultati Sperimentali

Gli autori hanno condotto uno studio di simulazione estensivo confrontando GKCM (con Random Forests e KRR) contro GCM, wGCM, PCM, KCIT, RCIT e RCoT.

• Controllo dell'Errore di Tipo I (Nulla):
  • GKCM con Random Forests (GKCM RF) mantiene tassi di errore di Tipo I vicini al livello nominale (es. 0.05) in quasi tutti gli scenari, inclusi quelli difficili dove altri metodi falliscono.
  • I test basati su KRR (KCIT, GKCM KRR) e i test basati su residui mostrano spesso tassi di errore di Tipo I inflati (fino a 0.75-1.00 in alcuni scenari), specialmente quando il tuning degli iperparametri non è ottimale o quando le assunzioni di normalità non sono soddisfatte.
• Potenza (Alternativa):
  • GKCM RF mostra una potenza superiore o competitiva rispetto agli stati dell'arte in una vasta gamma di processi generativi di dati, inclusi scenari con dipendenze non lineari complesse e interazioni.
  • In scenari dove la covarianza condizionata media è zero ma esiste dipendenza (es. Alt. 2 e 3), i test basati su residui (GCM, wGCM) falliscono completamente, mentre GKCM rileva la dipendenza grazie alla ricchezza degli spazi RKHS.
• Impatto del Tuning: Anche quando si applica un tuning rigoroso degli iperparametri alla KRR, GKCM RF mantiene prestazioni di livello superiori e potenza comparabile o migliore, suggerendo che i Random Forests sono un'alternativa più robusta e pratica per questo compito.

5. Significato e Implicazioni

Il lavoro di Bergen, Sejdinovic e Didelez è significativo per diversi motivi:

• Praticità: Risolve il problema della "scelta degli iperparametri" che ha limitato l'adozione pratica dei test di CI basati sui kernel. L'uso di Random Forests rende il metodo "plug-and-play" senza bisogno di costose ottimizzazioni.
• Affidabilità Statistica: Fornisce le prime garanzie teoriche di controllo uniforme del livello per i test di CI basati sui kernel, colmando il divario tra teoria e pratica osservato nei metodi precedenti.
• Versatilità: Essendo agnostico rispetto al modello di regressione, GKCM può beneficiare dei progressi futuri in qualsiasi algoritmo di regressione a valori vettoriali o funzionali, rendendolo una piattaforma flessibile per l'inferenza causale.

In sintesi, GKCM rappresenta un avanzamento sostanziale nello stato dell'arte, offrendo un test di indipendenza condizionata che è sia teoricamente solido (garanzie uniformi) sia computazionalmente efficiente e robusto (uso di Random Forests), superando le limitazioni dei metodi basati su kernel ridge regression e residui.