Toward Scalable and Valid Conditional Independence Testing with Spectral Representations

Resumo Técnico: Rumo ao Teste de Independência Condicional Escalável e Válido com Representações Espectrais

Declaração do Problema
O teste de independência condicional (CI), a tarefa de determinar se variáveis aleatórias $X$ e $Y$ são independentes dado um conjunto de condicionamento $Z$ ($H_0: X \perp\!\!\perp Y | Z$), é fundamental para a inferência causal, seleção de características e modelagem gráfica. No entanto, em configurações não paramétricas, sabe-se que o teste de CI é fundamentalmente desafiador. Shah & Peters (2020) estabeleceram que nenhum teste pode controlar uniformemente o erro do Tipo I em todas as distribuições condicionalmente independentes mantendo o poder contra todas as alternativas. Consequentemente, os métodos existentes dependem de suposições estruturais restritivas (ex.: suavidade, distribuições condicionais conhecidas ou taxas de regressão específicas) para alcançar validade.

Embora métodos baseados em kernels usando operadores de covariância parcial (ex.: KCIT, RCIT) ofereçam uma abordagem fundamentada ao codificar implicitamente suposições estruturais, eles sofrem de adaptabilidade limitada e baixa escalabilidade em cenários de alta dimensão. Por outro lado, métodos como Model-X ou testes de permutação local exigem suposições fortes sobre a distribuição condicional $P(X|Z)$ ou suavidade dos dados, que podem não se sustentar na prática. Há uma necessidade de um método que una o rigor teórico dos métodos de kernel com a escalabilidade e adaptabilidade do aprendizado de representação moderno.

Metodologia
Os autores propõem o SpectralCIT, um framework que aproveita o aprendizado de representação espectral para abordar as limitações dos testes de kernel clássicos. A ideia central é aprender as características espectrais principais (funções singulares) do operador de covariância parcial $\Sigma_{X\dot{Y} \cdot Z}$, onde $\dot{Y} = (Y, Z)$, e usar essas representações aprendidas para construir um teste simples e escalável.

1. Aprendizado de Representação Espectral:
   O método visa aprender a Decomposição de Valor Singular (SVD) truncada de rank-$d$ do operador de covariância parcial. Diferente da estimativa de covariância incondicional, o operador parcial envolve um termo de residualização que não é diretamente observável. Os autores formulam isso como um problema de otimização bi-nível:

   • Problema Externo: Aprende mapas de características $u_\theta(X)$ e $v_\theta(Y, Z)$ para aproximar as principais funções singulares do operador parcial.
   • Problema Interno: Aprende um mapa de características $w_\theta(Z)$ para lidar implicitamente com o condicionamento em $Z$ via um problema auxiliar de baixo rank derivado da propriedade cíclica do traço.

   O objetivo de aprendizado é uma perda contrastiva derivada da norma de Hilbert-Schmidt do erro de aproximação do operador, regularizada com restrições de ortonormalidade para garantir que as características aprendidas sejam bem condicionadas. O algoritmo utiliza redes neurais parametrizadas por $\theta$ e otimiza via gradiente descendente estocástico em mini-lotes (mini-batches).

2. Construção do Estatístico de Teste:
   Uma vez que as representações $\hat{u}_\theta, \hat{v}_\theta, \hat{w}_\theta$ são aprendidas em um conjunto de treinamento, o estatístico de teste é computado em um conjunto de teste mantido à parte. O estatístico é definido como:
   $$\hat{T}_n = n \| \hat{C}_{\hat{U}_\theta \hat{V}_\theta} - \hat{C}_{\hat{U}_\theta \hat{W}_\theta} \hat{C}_{\hat{W}_\theta \hat{V}_\theta} \|_F^2$$
   onde $\hat{C}$ denota matrizes de covariância cruzada empíricas das características aprendidas. Este estatístico mede a dependência residual entre $X$ e $Y$ após considerar $Z$ no subespaço espectral aprendido.

3. Garantias Teóricas:

   • Validade (Hipótese Nula): Sob a hipótese nula e suposições de regularidade leves (sub-gaussianidade das características), os autores provam que $\hat{T}_n$ converge em distribuição para uma distribuição qui-quadrado com $d^2$ graus de liberdade, desde que o erro de aprendizado de representação ($E_{val}$) desapareça. Isso permite o uso de valores críticos qui-quadrado padrão sem necessidade de permutação.
   • Poder (Hipótese Alternativa): O poder do teste é governado pela qualidade das representações aprendidas ($E_{pow}$). Os autores estabelecem que o teste alcança alto poder se a força do sinal (norma de Hilbert-Schmidt do operador parcial) exceder um limiar determinado pelo erro de representação e pelo erro de estimativa estatística.

Principais Contribuições

1. Inovação Algorítmica: Introdução de um algoritmo de aprendizado contrastivo bi-nível escalável para estimar as principais características espectrais de operadores de covariância parcial, superando os gargalos de adaptabilidade e escalabilidade dos métodos de kernel clássicos.
2. Análise Teórica: Um framework teórico abrangente que vincula o erro de aprendizado de representação ao desempenho do teste. O artigo fornece garantias para o controle do erro do Tipo I (validade assintótica qui-quadrado) e poder, caracterizando o trade-off entre força do sinal, qualidade da representação e tamanho da amostra.
3. Validação Empírica: Experimentos extensos em dados sintéticos (incluindo modelos pós-não lineares e variantes não suaves de alta dimensão) e dados do mundo real (histologia de câncer de mama e expressão gênica). Os resultados demonstram que o SpectralCIT mantém um controle robusto do erro do Tipo I e alto poder em regimes onde os métodos baseados em kernel falham ou perdem validade.

Resultos

• Benchmarks Sintéticos: Em modelos pós-não lineares com dimensões de condicionamento variadas ($d_Z \in [50, 300]$), o SpectralCIT controlou consistentemente o erro do Tipo I no nível nominal ($\alpha=0.05$) enquanto alcançava alto poder. Em contraste, métodos como KCIT, RCIT e GCIT falharam em controlar o erro do Tipo I em altas dimensões, e o DGCIT perdeu o controle completamente.
• Dados Não Suaves: Em um modelo de dados de alta dimensão e não suave projetado para violar as suposições de suavidade dos testes de permutação local (NNLSCIT), o SpectralCIT permaneceu robusto, enquanto o NNLSCIT sofreu um colapso total no controle do erro do Tipo I.
• Escalabilidade: O SpectralCIT foi encontrado para ser aproximadamente $2\times$ mais rápido que o KCIT em cenários de alta dimensão, pois sua complexidade é dominada por operações de baixo rank na dimensão de truncamento $d$, em vez de computações de matriz de kernel $N \times N$.
• Aplicação no Mundo Real: Aplicado a dados de câncer de mama (TCGA-BRCA), o método testou se perfis moleculares ($X$) fornecem informações prognósticas além das características de imagem histológica ($Z$) para prever a sobrevivência ($Y$). Enquanto modelos lineares e outros testes de CI falharam em rejeitar a hipótese nula, o SpectralCIT a rejeitou fortemente, detectando dependências não lineares complexas confirmadas por um modelo XGBoost.

Significância e Alegações
O artigo afirma oferecer um "caminho principado e estatisticamente fundamentado para o teste de CI escalável". Ao unir a teoria de kernel com o aprendizado de representação moderno, o SpectralCIT aborda o trade-off crítico entre validade e escalabilidade. Os autores enfatizam que sua abordagem não requer suposições estruturais restritivas (como continuidade Lipschitz) ou acesso à distribuição condicional $P(X|Z)$. Em vez disso, a validade é contingente na qualidade das representações espectrais aprendidas, uma condição que pode ser controlada via processo de aprendizado. O trabalho sugere que aprender a estrutura espectral de operadores de dependência é uma estratégia viável para superar a "maldição da dimensionalidade" no teste de independência condicional não paramétrico.