The Generalised Kernel Covariance Measure

Resumen Técnico: La Medida de Covarianza de Kernel Generalizada (GKCM)

1. Planteamiento del Problema

El artículo aborda el problema de la prueba de independencia condicional (CI), una tarea fundamental en la inferencia causal y la teoría de la probabilidad. Dado un conjunto de variables aleatorias $X$, $Y$ y $Z$, el objetivo es determinar si $X$ es independiente de $Y$ dado $Z$ ($X \perp\!\!\!\perp Y \mid Z$).

El documento identifica limitaciones críticas en los métodos existentes:

• Pruebas basadas en residuos (Residual-based): Métodos como el Generalised Covariance Measure (GCM) son computacionalmente eficientes pero a menudo fallan en detectar dependencias no lineales complejas porque se basan en la covarianza condicional media (son pruebas de "media cero"). Pueden no detectar dependencias donde la covarianza media es cero pero la dependencia condicional existe casi seguramente.
• Pruebas basadas en kernels (Kernel-based): Métodos como KCIT y KRESIT utilizan espacios de Hilbert de kernel reproductor (RKHS) para capturar una gama más amplia de dependencias. Sin embargo, dependen exclusivamente de la regresión de ridge de kernel (KRR). La KRR es computacionalmente costosa cuando se ajusta correctamente (tuning de hiperparámetros) y produce pruebas mal calibradas si se deja sin ajustar. Además, no se ha demostrado teóricamente que estas pruebas garanticen un nivel asintótico uniforme de error tipo I.

2. Metodología Propuesta: GKCM

Los autores proponen la Medida de Covarianza de Kernel Generalizada (GKCM), un marco de prueba de independencia condicional basado en kernels que es agnóstico al modelo de regresión.

Conceptos Clave:

• Enfoque de RKHS: Las variables $X$ e $Y$ se mapean a espacios de Hilbert de kernel reproductor (RKHS) $\mathcal{F}$ y $\mathcal{G}$ mediante mapas de características canónicos $\phi(x)$ y $\varphi(y)$.
• Covarianza Condicional Media: GKCM prueba si la covarianza condicional media de los embeddings es cero:
  $$C_{XY \cdot Z} = \mathbb{E}\left[ (\phi(X) - \mathbb{E}[\phi(X)|Z]) \otimes (\varphi(Y) - \mathbb{E}[\varphi(Y)|Z]) \right] = 0$$
  Donde $\otimes$ denota el producto tensorial de operadores.
• Agnosticismo del Modelo de Regresión: A diferencia de los métodos anteriores que usan KRR, GKCM permite utilizar cualquier estimador de regresión que tome valores en un espacio de Hilbert (por ejemplo, Bosques Aleatorios con valores en RKHS, redes neuronales, etc.).
• Estadístico de Prueba: Se calcula la norma de Hilbert-Schmidt de la estimación empírica del operador de covarianza condicional, escalada por el tamaño de la muestra $n$. La distribución nula se aproxima mediante una distribución chi-cuadrado generalizada basada en los autovalores de una matriz de residuos.

Fundamento Teórico:
El método se basa en el marco de la Medida de Covarianza de Hilbert Generalizada (GHCM) de Lundborg et al. (2022). Los autores demuestran que, bajo supuestos moderados (espacios polacos, kernels continuos y acotados, inyectividad de los mapas), la independencia condicional de $X$ e $Y$ es equivalente a la independencia condicional de sus embeddings en el RKHS.

3. Contribuciones Clave

1. Marco Agnóstico a la Regresión: GKCM rompe la dependencia exclusiva de la regresión de ridge de kernel, permitiendo el uso de modelos de aprendizaje automático más flexibles y robustos (como Bosques Aleatorios) que no requieren un ajuste exhaustivo de hiperparámetros.
2. Garantías Teóricas de Nivel Uniforme: El artículo establece condiciones suficientes bajo las cuales GKCM garantiza un control uniforme del error tipo I asintótico. Esto es una mejora significativa sobre las pruebas basadas en kernels existentes, que a menudo solo ofrecen garantías puntuales o carecen de ellas.
3. Análisis de la Regresión en RKHS: Se revisan y comparan métodos de regresión con valores en RKHS, destacando que los Bosques Aleatorios (específicamente Distributional Random Forests) ofrecen un equilibrio superior entre flexibilidad, transparencia y costo computacional en comparación con la KRR.
4. Validación Empírica: Demostración de que GKCM, cuando se combina con Bosques Aleatorios (GKCM-RF), supera a los métodos del estado del arte en un amplio rango de procesos generadores de datos.

4. Resultados de los Experimentos

Los autores realizaron un estudio de simulación comparando GKCM (con KRR y con Bosques Aleatorios) contra GCM, wGCM, PCM, KCIT, RCIT y RCoT.

• Control del Error Tipo I (Nivel):
  • En escenarios nulos desafiantes (donde las dependencias son complejas o la covarianza media es cero), GKCM-RF (con Bosques Aleatorios) mantiene tasas de error tipo I cercanas al nivel nominal (0.05).
  • Otros métodos, especialmente KCIT y aquellos basados en KRR sin un ajuste fino de hiperparámetros, mostraron tasas de error tipo I significativamente infladas (rechazo falso de la hipótesis nula).
• Potencia (Detección de Dependencia):
  • En escenarios alternativos con dependencias no lineales, GKCM-RF mostró una potencia superior o competitiva en comparación con todos los demás métodos.
  • Los métodos basados en residuos (GCM, wGCM) fallaron en detectar dependencias en escenarios donde la covarianza condicional media era cero pero existía dependencia casi segura.
• Robustez: GKCM-RF demostró ser robusto incluso sin un ajuste exhaustivo de hiperparámetros, mientras que los métodos basados en KRR eran muy sensibles a la elección de los parámetros de regularización y longitud de escala.

5. Significado e Impacto

El trabajo de GKCM es significativo por varias razones:

• Viabilidad Práctica: Resuelve el cuello de botella computacional y de calibración de las pruebas de CI basadas en kernels al permitir el uso de algoritmos de aprendizaje automático estándar (como Bosques Aleatorios) en lugar de depender de la regresión de ridge de kernel.
• Rigor Estadístico: Proporciona las primeras garantías teóricas sólidas de control uniforme del error tipo I para pruebas de CI basadas en kernels que no están restringidas a un modelo de regresión específico.
• Aplicabilidad en Descubrimiento Causal: Al ofrecer una herramienta más fiable y potente para probar la independencia condicional, GKCM mejora la base sobre la cual se construyen algoritmos de descubrimiento causal (como PC o FCI) y predicción causal invariante, reduciendo la probabilidad de inferencias causales erróneas debido a pruebas de independencia mal calibradas.

En conclusión, GKCM representa un avance hacia la estandarización de pruebas de independencia condicional robustas, combinando la flexibilidad de los kernels con la eficiencia y robustez de los métodos de aprendizaje automático modernos.