Toward Scalable and Valid Conditional Independence Testing with Spectral Representations

Sintesi Tecnica: Verso un Test di Indipendenza Condizionale Scalabile e Valido con Rappresentazioni Spettrali

Enunciato del Problema
Il test di indipendenza condizionale (CI), ovvero la determinazione se variabili casuali $X$ e $Y$ siano indipendenti dato un insieme di condizionamento $Z$ ($H_0: X \perp\!\!\perp Y | Z$), è fondamentale per l'inferenza causale, la selezione delle caratteristiche e la modellazione grafica. Tuttavia, in contesti non parametrici, il testing di CI è noto per essere fondamentalmente complesso. Shah & Peters (2020) hanno stabilito che nessun test può controllare uniformemente l'errore di Tipo I attraverso tutte le distribuzioni condizionalmente indipendenti mantenendo al contempo potenza contro tutte le alternative. Di conseguenza, i metodi esistenti si affidano ad assunzioni strutturali restrittive (ad esempio, regolarità o distribuzioni condizionali note, o specifici tassi di regressione) per garantire la validità.

Sebbene i metodi basati su kernel che utilizzano operatori di covarianza parziale (ad esempio, KCIT, RCIT) offrano un approccio fondato implicitamente codificando assunzioni strutturali, essi soffrono di una limitata adattabilità e di una scarsa scalabilità in contesti ad alta dimensionalità. Al contrario, metodi come Model-X o i test di permutazione locale richiedono forti assunzioni sulla distribuzione condizionale $P(X|Z)$ o sulla regolarità dei dati, che potrebbero non sussistere nella pratica. Esiste la necessità di un metodo che unisca il rigore teorico dei metodi kernel con la scalabilità e l'adattabilità dell'apprendimento di rappresentazioni moderno.

Metodologia
Gli autori propongono SpectralCIT, un framework che sfrutta l'apprendimento di rappresentazioni spettrali per affrontare i limiti dei classici test kernel. L'idea centrale è apprendere le principali caratteristiche spettrali (funzioni singolari) dell'operatore di covarianza parziale $\Sigma_{X\dot{Y} \cdot Z}$, dove $\dot{Y} = (Y, Z)$, e utilizzare queste rappresentazioni apprese per costruire un test semplice e scalabile.

1. Apprendimento della Rappresentazione Spettrale:
   Il metodo mira ad apprendere la decomposizione in valori singolari (SVD) troncata di rango-$d$ dell'operatore di covarianza parziale. A differenza della stima della covarianza incondizionata, l'operatore parziale coinvolge un termine di residualizzazione che non è direttamente osservabile. Gli autori formulano questo come un problema di ottimizzazione bi-livello:

   • Problema Esterno: Apprende mappe di caratteristiche $u_\theta(X)$ e $v_\theta(Y, Z)$ per approssimare le principali funzioni singolari dell'operatore parziale.
   • Problema Interno: Aprende una mappa di caratteristiche $w_\theta(Z)$ per gestire implicitamente il condizionamento su $Z$ tramite un problema ausiliario a basso rango derivato dalla proprietà ciclica della traccia.

   L'obiettivo di apprendimento è una perdita contrastiva derivata dalla norma di Hilbert-Schmidt dell'errore di approssimazione dell'operatore, regolarizzata con vincoli di ortonormalità per garantire che le caratteristiche apprese siano ben condizionate. L'algoritmo utilizza reti neurali parametrizzate da $\theta$ e ottimizza tramite discesa del gradiente stocastico su mini-batch.

2. Costruzione della Statistica del Test:
   Una volta apprese le rappresentazioni $\hat{u}_\theta, \hat{v}_\theta, \hat{w}_\theta$ su un set di addestramento, la statistica del test viene calcolata su un set di test tenuto separato. La statistica è definita come:
   $$\hat{T}_n = n \| \hat{C}_{\hat{U}_\theta \hat{V}_\theta} - \hat{C}_{\hat{U}_\theta \hat{W}_\theta} \hat{C}_{\hat{W}_\theta \hat{V}_\theta} \|_F^2$$
   dove $\hat{C}$ denota le matrici di cross-covarianza empirica delle caratteristiche apprese. Questa statistica misura la dipendenza residua tra $X$ e $Y dopo aver tenuto conto di $Z nello spazio sottospazio spettrale appreso.

3. Garanzie Teoriche:

   • Validità (Ipotesi Nulla): Sotto l'ipotesi nulla e assunzioni di regolarità deboli (sub-gaussianità delle caratteristiche), gli autori dimostrano che $\hat{T}_n$ converge in distribuzione a una distribuzione chi-quadrato con $d^2$ gradi di libertà, a condizione che l'errore di apprendimento della rappresentazione ($E_{val}$) svanisca. Ciò consente l'uso di valori critici chi-quadrato standard senza ricorrere a permutazioni.
   • Potenza (Ipotesi Alternativa): La potenza del test è governata dalla qualità delle rappresentazioni apprese ($E_{pow}$). Gli autori stabiliscono che il test raggiunge un'elevata potenza se la forza del segnale (norma di Hilbert-Schmidt dell'operatore parziale) supera una soglia determinata dall'errore di rappresentazione e dall'errore di stima statistica.

Contributi Chiave

1. Innovazione Algoritmica: Introduzione di un algoritmo di apprendimento contrastivo bi-livello scalabile per stimare le principali caratteristiche spettrali degli operatori di covarianza parziale, superando i colli di bottiglia di adattabilità e scalabilità dei classici metodi kernel.
2. Analisi Teorica: Un quadro teorico completo che collega l'errore di apprendimento della rappresentazione alle prestazioni del test. Il documento fornisce garanzie per il controllo dell'errore di Tipo I (validità asintotica chi-quadrato) e la potenza, caratterizzando il compromesso tra forza del segnale, qualità della rappresentazione e dimensione del campione.
3. Validazione Empirica: Esperimenti estesi su dati sintetici (inclusi modelli post-non lineari e varianti non smooth ad alta dimensionalità) e dati reali (istologia del tumore al seno e espressione genica). I risultati dimostrano che SpectralCIT mantiene un robusto controllo dell'errore di Tipo I e un'elevata potenza nei regimi in cui i metodi basati su kernel falliscono o perdono validità.

Risultati

• Benchmark Sintetici: Nei modelli post-non lineari con dimensioni di condizionamento variabili ($d_Z \in [50, 300]$), SpectralCIT ha costantemente controllato l'errore di Tipo I al livello nominale ($\alpha=0.05$) ottenendo al contempo un'elevata potenza. Al contrario, metodi come KCIT, RCIT e GCIT non sono riusciti a controllare l'errore di Tipo I in alta dimensionalità, mentre DGCIT ha perso completamente il controllo.
• Dati Non Smooth: Su un modello di dati ad alta dimensionalità e non smooth progettato per violare le assunzioni di regolarità dei test di permutazione locale (NNLSCIT), SpectralCIT è rimasto robusto, mentre NNLSCIT ha subito un collasso totale nel controllo dell'errore di Tipo I.
• Scalabilità: SpectralCIT è risultato circa $2\times$ più veloce di KCIT in contesti ad alta dimensionalità, poiché la sua complessità è dominata da operazioni a basso rango nella dimensione di troncamento $d$, piuttosto che da computazioni di matrici kernel $N \times N$.
• Applicazione nel Mondo Reale: Applicato ai dati del cancro al seno (TCGA-BRCA), il metodo ha testato se i profili molecolari ($X$) forniscano informazioni prognostiche oltre alle caratteristiche dell'immagine istologica ($Z$) per la previsione della sopravvivenza ($Y$). Mentre i modelli lineari e altri test di CI non sono riusciti a rifiutare l'ipotesi nulla, SpectralCIT l'ha rifiutata fortemente, rilevando dipendenze non lineari complesse confermate da un modello XGBoost.

Significato e Rivendicazioni
Il documento sostiene di offrire una "via principiata e statisticamente fondata verso il testing di CI scalabile". Unendo la teoria dei kernel con l'apprendimento di rappresentazioni moderno, SpectralCIT affronta il critico compromesso tra validità e scalabilità. Gli autori sottolineano che il loro approccio non richiede assunzioni strutturali restrittive (come la continuità Lipschitz) o l'accesso alla distribuzione condizionale $P(X|Z)$. Invece, la validità è subordinata alla qualità delle rappresentazioni spettrali apprese, una condizione che può essere controllata tramite il processo di apprendimento. Il lavoro suggerisce che l'apprendimento della struttura spettrale degli operatori di dipendenza sia una strategia valida per superare la "maledizione della dimensionalità" nel testing di indipendenza condizionale non parametrico.