Testing conditional independence under isotonicity

1. El Problema: La Dureza de la Prueba de Independencia Condicional

El objetivo central del trabajo es abordar la prueba de independencia condicional (CI) entre dos variables aleatorias $X$ e $Y$ dada una tercera variable $Z$ (un confusor). Formalmente, se busca probar la hipótesis nula:
$$H_0: X \perp \!\!\! \perp Y \mid Z$$

El artículo comienza destacando un resultado fundamental de Shah y Peters (2020): probar la independencia condicional sin restricciones adicionales es fundamentalmente imposible en un sentido no paramétrico. Cualquier prueba válida que controle el error Tipo I a un nivel $\alpha$ tendrá un poder nulo (no podrá detectar desviaciones) en cualquier distribución alternativa dentro del espacio de distribuciones absolutamente continuas.

Para superar esta imposibilidad, los autores argumentan que es necesario imponer restricciones adicionales sobre el espacio de parámetros de la hipótesis nula. Mientras que los enfoques existentes se basan en:

1. Modelos paramétricos (ej. Gaussianidad conjunta).
2. Distribuciones condicionales conocidas o bien estimadas ($P_{X|Z}$).
3. Supuestos de suavidad (ej. clases de Hölder) para $P_{X|Z}$.

Este artículo propone una restricción diferente basada en una suposición de forma (shape constraint): la monotonía estocástica.

2. Metodología: El Procedimiento PairSwap-ICI

Los autores proponen un nuevo marco de trabajo llamado PairSwap-ICI (PairSwap for Isotonic Conditional Independence).

A. Suposición de Monotonía Estocástica

La hipótesis nula restringida ($H_{ICI}^0$) asume que $X$ es estocásticamente no decreciente en $Z$. Formalmente, si $z \preceq z'$, entonces:
$$P(X \ge x \mid Z = z) \le P(X \ge x \mid Z = z') \quad \forall x$$
Esta suposición es natural en muchas aplicaciones (biomedicina, economía, riesgo crediticio) donde un aumento en un factor de riesgo ($Z$) se asocia con un aumento en la probabilidad de un resultado adverso ($X$).

B. El Algoritmo de Prueba

El procedimiento se basa en la idea de emparejar observaciones y realizar permutaciones restringidas:

1. Emparejamiento (Matching): Dado un conjunto de datos $(X_i, Y_i, Z_i)$, el analista selecciona pares ordenados de índices $(i_\ell, j_\ell)$ tales que $Z_{i_\ell} \preceq Z_{j_\ell}$. Estos pares pueden seleccionarse basándose en $Y$ para maximizar el poder de la prueba.
2. Estadístico de Prueba: Se define un estadístico $T(X)$ que es una suma de funciones anti-monótonas $\psi_\ell$ aplicadas a los pares:
   $$T(X) = \sum_{\ell=1}^L \psi_\ell(X_{i_\ell}, X_{j_\ell})$$
   Una función $\psi$ es anti-monótona si $\psi(x+\Delta, x'-\Delta') - \psi(x'-\Delta', x+\Delta) \ge \psi(x, x') - \psi(x', x)$. Un ejemplo simple es $\psi(x, x') = x - x'$.
3. Permutación Restringida (PairSwap): Bajo la hipótesis nula, dado que $Z_{i_\ell} \preceq Z_{j_\ell}$, se espera que $X_{i_\ell} \le X_{j_\ell}$ estocásticamente. Para calibrar la prueba, se generan versiones permutadas de los datos intercambiando los valores de $X$ dentro de cada par $(i_\ell, j_\ell)$ con probabilidad 0.5.
4. Valor P: El valor p se calcula comparando el estadístico observado con la distribución de los estadísticos obtenidos tras $2^L$ (o una aproximación Monte Carlo) de estos intercambios aleatorios.

C. Estrategias de Diseño para Maximizar el Poder

El artículo propone estrategias específicas para elegir los pares y los pesos:

• Emparejamiento de Vecinos (Neighbor Matching): Emparejar observaciones con valores de $Z$ consecutivos en la lista ordenada.
• Emparejamiento Cruzado por Bins (Cross-bin Matching): Dividir $Z$ en $K$ bins y emparejar los valores más altos de $Y$ en un bin con los más bajos en el bin adyacente. Esto permite utilizar casi todos los datos y es teóricamente óptimo bajo ciertas condiciones.
• Pesos Óptimos (Oracle/Plug-in): Se derivan pesos óptimos que maximizan la relación señal-ruido, basados en estimaciones de los momentos condicionales de $X$ dados $Y$ y $Z$.

3. Contribuciones Clave

1. Control de Error Tipo I en Muestras Finitas: A diferencia de muchos métodos basados en suavidad o modelos paramétricos que solo garantizan validez asintótica, PairSwap-ICI garantiza el control del error Tipo I en muestras finitas bajo la hipótesis nula restringida, independientemente de la dimensión de $Y$ y $Z$.
2. Nuevos Límites de Poder: Los autores introducen una nueva métrica llamada Relación Señal-Ruido Isotónica (ISNR). Demuestran que el poder de cualquier prueba válida de $H_{ICI}^0$ está acotado superiormente por esta métrica.
3. Optimalidad Asintótica: Se demuestra que, bajo modelos de regresión parcialmente lineales, el procedimiento PairSwap-ICI (especialmente con emparejamiento cruzado por bins) alcanza el límite superior de poder permitido por la ISNR, logrando una potencia que converge a 1 cuando la señal es detectable.
4. Extensión Multivariada: El marco se extiende a respuestas multivariadas ($X \in \mathbb{R}^{d_X}$), manteniendo las garantías de validez.

4. Resultados Principales

• Teoremas de Validez: Se prueba que el valor p generado es válido condicionalmente a $Y$ y $Z$, asegurando que $P(p \le \alpha \mid Y, Z) \le \alpha$.
• Análisis de Poder: Bajo el modelo $X = \mu(Y, Z) + \sigma \zeta$, el poder asintótico de la prueba está determinado por la ISNR.
  • Para el emparejamiento de vecinos, el poder converge a 1 pero con un factor de pérdida de eficiencia de $1/\sqrt{2}$ debido al descarte de aproximadamente la mitad de los datos.
  • Para el emparejamiento cruzado por bins, se logra el límite inferior de poder óptimo (sin el factor $1/\sqrt{2}$), y bajo simetría adicional, se alcanza el límite superior exacto.
• Simulaciones: Los experimentos confirman que el método no es excesivamente conservador y tiene un poder competitivo frente a alternativas como GCM (Medida de Covarianza Generalizada), PCM (Medida de Covarianza Proyectada) y CRT (Prueba de Randomización Condicional), especialmente en escenarios donde los supuestos de suavidad de otros métodos fallan.
• Datos Reales (Diabetes): En un conjunto de datos de la comunidad Pima, la prueba identificó correctamente que la glucosa y el IMC son factores de riesgo independientes de la diabetes incluso después de controlar por la edad, mientras que otros factores (como el número de embarazos) perdieron significancia al controlar por edad, demostrando la utilidad práctica del método.

5. Significado e Impacto

El trabajo es significativo porque:

1. Resuelve un problema abierto: Proporciona una solución no paramétrica y rigurosa para la prueba de independencia condicional en un escenario donde la prueba general es imposible, utilizando una restricción de forma natural y motivada por aplicaciones.
2. Validez en Muestras Finitas: Ofrece garantías de error controlado en muestras finitas, una característica rara en pruebas de CI no paramétricas que a menudo dependen de asintótica.
3. Flexibilidad: Permite a los analistas incorporar conocimiento experto sobre la estructura de los datos (a través de la elección de pares y funciones de kernel) para aumentar el poder sin sacrificar la validez.
4. Robustez: Funciona bien incluso cuando la monotonía estocástica no se cumple perfectamente, mostrando robustez en simulaciones.

En resumen, PairSwap-ICI establece un nuevo estándar para la prueba de independencia condicional en contextos donde se espera una relación monótona entre una variable y un confusor, combinando garantías teóricas sólidas con una implementación práctica y potente.