Toward Scalable and Valid Conditional Independence Testing with Spectral Representations

Resumen Técnico: Hacia Pruebas de Independencia Condicional Escalables y Válidas con Representaciones Espectrales

Planteamiento del Problema
Las pruebas de independencia condicional (CI), la tarea de determinar si las variables aleatorias $X$ e $Y$ son independientes dado un conjunto de condicionamiento $Z$ ($H_0: X \perp\!\!\perp Y | Z$), es fundamental para la inferencia causal, la selección de características y el modelado gráfico. Sin embargo, en entornos no paramétricos, se sabe que las pruebas de CI son fundamentalmente desafiantes. Shah & Peters (2020) establecieron que ningún test puede controlar uniformemente el error de Tipo I a través de todas las distribuciones condicionalmente independientes manteniendo potencia contra todas las alternativas. En consecuencia, los métodos existentes dependen de supuestos estructurales restrictivos (por ejemplo, suavidad, distribuciones condicionales conocidas o tasas de regresión específicas) para lograr validez.

Si bien los métodos basados en kernels utilizando operadores de covarianza parcial (por ejemplo, KCIT, RCIT) ofrecen un enfoque principista al codificar implícitamente supuestos estructurales, sufren de una adaptabilidad limitada y una baja escalabilidad en entornos de alta dimensión. Por el contrario, métodos como Model-X o las pruebas de permutación local requieren supuestos fuertes sobre la distribución condicional $P(X|Z)$ o la suavidad de los datos, los cuales pueden no cumplirse en la práctica. Existe la necesidad de un método que vincule el rigor teórico de los métodos de kernel con la escalabilidad y adaptabilidad del aprendizaje de representaciones moderno.

Metodología
Los autores proponen SpectralCIT, un marco que aprovecha el aprendizaje de representaciones espectrales para abordar las limitaciones de las pruebas de kernel clásicas. La idea central es aprender las características espectrales principales (funciones singulares) del operador de covarianza parcial $\Sigma_{X\dot{Y} \cdot Z}$, donde $\dot{Y} = (Y, Z)$, y utilizar estas representaciones aprendidas para construir un test simple y escalable.

1. Aprendizaje de Representación Espectral:
   El método busca aprender la Descomposición de Valores Singulares (SVD) truncada de rango-$d$ del operador de covarianza parcial. A diferencia de la estimación de la covarianza incondicional, el operador parcial involucra un término de residualización que no es directamente observable. Los autores formulan esto como un problema de optimización bi-nivel:

   • Problema Exterior: Aprende mapas de características $u_\theta(X)$ y $v_\theta(Y, Z)$ para aproximar las funciones singulares principales del operador parcial.
   • Problema Interior: Aprende un mapa de características $w_\theta(Z)$ para manejar implícitamente el condicionamiento en $Z$ a través de un problema auxiliar de bajo rango derivado de la propiedad cíclica de la traza.

   El objetivo de aprendizaje es una pérdida contrastiva derivada de la norma de Hilbert-Schmidt del error de aproximación del operador, regularizada con restricciones de ortonormalidad para asegurar que las características aprendidas estén bien condicionadas. El algoritmo utiliza redes neuronales parametrizadas por $\theta$ y optimiza mediante descenso de gradiente estocástico sobre mini-batches.

2. Construcción del Estadístico de la Prueba:
   Una vez que las representaciones $\hat{u}_\theta, \hat{v}_\theta, \hat{w}_\theta$ se han aprendido en un conjunto de entrenamiento, el estadístico de la prueba se calcula en un conjunto de prueba mantenido aparte. El estadístico se define como:
   $$\hat{T}_n = n \| \hat{C}_{\hat{U}_\theta \hat{V}_\theta} - \hat{C}_{\hat{U}_\theta \hat{W}_\theta} \hat{C}_{\hat{W}_\theta \hat{V}_\theta} \|_F^2$$
   donde $\hat{C}$ denota matrices de co-covarianza empíricas de las características aprendidas. Este estadístico mide la dependencia residual entre $X$ e $Y$ tras dar cuenta de $Z$ en el subespacio espectral aprendido.

3. Garantías Teóricas:

   • Validez (Hipótesis Nula): Bajo la hipótesis nula y supuestos de regularidad leves (sub-gaussianidad de las características), los autores demuestran que $\hat{T}_n$ converge en distribución a una distribución chi-cuadrado con $d^2$ grados de libertad, siempre que el error de aprendizaje de la representación ($E_{val}$) desaparezca. Esto permite el uso de valores críticos chi-cuadrado estándar sin necesidad de permutaciones.
   • Potencia (Hipótesis Alternativa): La potencia de la prueba está gobernada por la calidad de las representaciones aprendidas ($E_{pow}$). Los autores establecen que la prueba alcanza una alta potencia si la fuerza de la señal (norma de Hilbert-Schmidt del operador parcial) supera un umbral determinado por el error de representación y el error de estimación estadística.

Contribuciones Clave

1. Innovación Algorítmica: Introducción de un algoritmo de aprendizaje contrastivo bi-nivel escalable para estimar las características espectrales principales de los operadores de covarianza parcial, superando los cuellos de botella de adaptabilidad y escalabilidad de los métodos de kernel clásicos.
2. Análisis Teórico: Un marco teórico integral que vincula el error de aprendizaje de la representación con el rendimiento de la prueba. El artículo proporciona garantías para el control del error de Tipo I (validez asintótica chi-cuadrado) y la potencia, caracterizando el compromiso entre la fuerza de la señal, la calidad de la representación y el tamaño de la muestra.
3. Validación Empírica: Experimentos extensos en datos sintéticos (incluyendo modelos post-no lineales y variantes no suaves de alta dimensión) y datos del mundo real (histología de cáncer de mama y expresión génica). Los resultados demuestran que SpectralCIT mantiene un control robusto del error de Tipo I y una alta potencia en regímenes donde los métodos basados en kernel fallan o pierden validez.

Resultados

• Benchmarks Sintéticos: En modelos post-no lineales con dimensiones de condicionamiento variables ($d_Z \in [50, 300]$), SpectralCIT controló consistentemente el error de Tipo I al nivel nominal ($\alpha=0.05$) mientras alcanzaba una alta potencia. En contraste, métodos como KCIT, RCIT y GCIT fallaron en controlar el error de Tipo I en altas dimensiones, y DGCIT perdió el control por completo.
• Datos No Suaves: En un modelo de datos de alta dimensión y no suave diseñado para violar los supuestos de suavidad de las pruebas de permutación local (NNLSCIT), SpectralCIT se mantuvo robusto, mientras que NNLSCIT sufrió una ruptura total en el control del error de Tipo I.
• Escalabilidad: Se encontró que SpectralCIT es aproximadamente $2\times$ más rápido que KCIT en entornos de alta dimensión, ya que su complejidad está dominada por operaciones de bajo rango en la dimensión de truncamiento $d$, en lugar de computaciones de matrices de kernel de $N \times N$.
• Aplicación en el Mundo Real: Aplicado a datos de cáncer de mama (TCGA-BRCA), el método probó si los perfiles moleculares ($X$) proporcionan información pronóstica más allá de las características de la imagen histológica ($Z$) para predecir la supervivencia ($Y$). Mientras que los modelos lineales y otras pruebas de CI fallaron en rechazar la hipótesis nula, SpectralCIT la rechazó fuertemente, detectando dependencias no lineales complejas confirmadas por un modelo XGBoost.

Significancia y Reivindicaciones
El artículo afirma ofrecer un "camino principista y estadísticamente fundamentado hacia las pruebas de CI escalables". Al vincular la teoría de los kernels con el aprendizaje de representaciones moderno, SpectralCIT aborda el compromiso crítico entre validez y escalabilidad. Los autores enfatizan que su enfoque no requiere supuestos estructurales restrictivos (como la continuidad de Lipschitz) ni acceso a la distribución condicional $P(X|Z)$. En su lugar, la validez depende de la calidad de las representaciones espectrales aprendidas, una condición que puede controlarse mediante el proceso de aprendizaje. El trabajo sugiere que aprender la estructura espectral de los operadores de dependencia es una estrategia viable para superar la "maldición de la dimensionalidad" en las pruebas de independencia condicional no paramétricas.