📊 statistics

Multiscale Cochran-Mantel-Haenszel Scanning for Conditional Dependency

Este artículo propone un enfoque no paramétrico basado en un escaneo multiescala de la prueba de Cochran-Mantel-Haenszel para evaluar la independencia condicional y estimar la asociación en espacios de muestra continuos, logrando consistencia sin requerir tamaños de estrato infinitos y ofreciendo una herramienta computacionalmente eficiente para identificar la naturaleza de las dependencias condicionales.

Autores originales: Gyeonghun Kang, Jialiang Mao, Li Ma

Publicado 2026-04-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gyeonghun Kang, Jialiang Mao, Li Ma

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio: ¿La variable X causa realmente la variable Y, o es solo una coincidencia porque ambas están influenciadas por una tercera variable Z?

En el mundo de los datos, esto se llama "independencia condicional". Por ejemplo: ¿El tiempo de espera (X) hace que la gente no pida un Uber (Y), o es solo que cuando hay mucho tráfico (Z), tanto el tiempo de espera como la falta de pedidos suben juntos?

Los métodos tradicionales para resolver esto son como intentar buscar una aguja en un pajar usando un imán gigante: a veces funcionan, pero si el pajar es muy grande (muchos datos) o muy complejo (muchas variables), el imán se vuelve lento, consume mucha energía y a veces pierde la aguja.

Aquí es donde entran los autores de este paper (Kang, Mao y Ma) con su nueva herramienta llamada multiCMH. Vamos a explicarla con una analogía sencilla.

1. El Problema: El "Pajar" es demasiado grande

Antes, para saber si X e Y están conectadas, los estadísticos intentaban dividir el mundo en pequeños grupos (llamados "estratos") basándose en Z.

El problema: Si divides el mundo en grupos muy pequeños para ser preciso, te quedas con muy pocos datos en cada grupo (como tener solo 2 personas en una habitación). Las estadísticas fallan.
El otro problema: Si haces los grupos grandes para tener más datos, mezclas cosas muy diferentes y pierdes los detalles finos. Es como intentar ver un detalle en una foto borrosa porque la hiciste muy grande.

2. La Solución: El Escáner Multiescala (La lupa mágica)

Los autores proponen una idea brillante: No intentes ver todo el cuadro de una vez. Escanea el problema a diferentes tamaños.

Imagina que tienes un mapa gigante de un bosque (tus datos) y quieres encontrar dónde hay incendios (dependencias).

Método antiguo: Miras todo el bosque de una vez con binoculares (lento y borroso) o te acercas a cada árbol individualmente (lento y agotador).
Método multiCMH: Tienes una lupa mágica que cambia de tamaño automáticamente.
1. Primero miras el bosque entero. ¿Hay algo raro?
2. Si ves algo, divides esa zona en dos mitades.
3. Miras cada mitad. ¿Hay algo raro?
4. Sigues dividiendo y mirando, como si estuvieras haciendo un "zoom in" digital, hasta encontrar exactamente dónde está el fuego.

Esta técnica se llama escaneo multiescala. Divide el espacio en una cascada de tablas pequeñas (como tablas de 2x2) que se superponen.

3. El Truco de Magia: La "Condición de los Márgenes"

Aquí viene la parte más genial de su método, basada en una prueba estadística clásica llamada Cochran-Mantel-Haenszel (CMH).

Imagina que tienes varias cajas de fichas de dominó. Quieres saber si las fichas rojas y azules están mezcladas al azar o si hay un patrón.

El truco de los autores es: No les importa cuántas fichas rojas o azules hay en total en cada caja. Solo les importa cómo se distribuyen dentro de la caja, una vez que ya sabes el total de rojas y azules.
Al hacer esto, eliminan el "ruido" (variables molestas) y se centran puramente en la relación entre X e Y.
La ventaja: Esto les permite funcionar incluso cuando hay muy pocos datos en cada grupo pequeño. ¡No necesitan miles de datos en cada rincón del bosque para encontrar el fuego! Solo necesitan muchos "rincones" (grupos) pequeños.

4. ¿Por qué es tan rápido? (El algoritmo del árbol)

Para dividir los datos en estos grupos, no usan cálculos complejos de distancias (que son lentos y confusos en espacios grandes). En su lugar, usan un árbol de decisiones basado en medianas.

Imagina que tienes una pila de libros ordenados por altura.
Cortas la pila justo en la mitad (la mediana).
Luego cortas cada mitad otra vez en su mediana.
Repites esto. Es como cortar un pastel en mitades, luego cuartos, luego octavos...
Esto es extremadamente rápido y funciona incluso si tienes millones de libros o si los libros tienen 100 características diferentes (dimensiones).

5. El Resultado: No solo "Sí/No", sino "Dónde y Cómo"

La mayoría de las pruebas estadísticas te dicen solo: "Sí, hay una relación" o "No hay relación".
El método de los autores es como un mapa de calor interactivo.

Si detectan una relación, te dicen exactamente en qué parte del mapa ocurre.
Te dicen si la relación es fuerte o débil.
Te dicen si es positiva (A sube, B sube) o negativa (A sube, B baja).

Caso de Estudio Real: Los viajes de Uber

Los autores probaron esto con datos reales de Uber.

La pregunta: ¿El tiempo de espera (ETA) hace que la gente cancele el viaje, o es solo que cuando hay mucho tráfico (Z), ambos suben?
El hallazgo: ¡Sí! El tiempo de espera afecta la decisión. Pero descubrieron algo más interesante: La gente es mucho más sensible a los retrasos cuando el tiempo de espera ya es muy largo.
Si esperas 2 minutos, no te importa mucho. Pero si esperas 10 minutos, la probabilidad de cancelar se dispara. El método tradicional podría haber perdido este detalle, pero el "escáner multiescala" lo encontró perfectamente.

En resumen

Este paper presenta una herramienta estadística que es:

Rápida: Funciona con millones de datos en segundos.
Precisa: Encuentra patrones ocultos que otros métodos pierden.
Inteligente: No solo te dice que hay una relación, sino que te dibuja un mapa de dónde está y qué tan fuerte es.

Es como pasar de usar un mapa de papel arrugado para navegar una ciudad, a usar un GPS en tiempo real que te dice exactamente por qué calle debes girar y dónde está el tráfico.

Resumen Técnico: Escaneo Multiescala Cochran-Mantel-Haenszel para Dependencia Condicional

1. Planteamiento del Problema

El artículo aborda el desafío fundamental de probar la independencia condicional (IC) entre dos variables aleatorias $X$ e $Y$ , dado un conjunto de variables de condicionamiento $Z$ ( $X \perp Y | Z$ ). Este es un componente crítico en la selección de predictores, la estimación de densidades y el aprendizaje de estructuras causales.

Los métodos existentes enfrentan limitaciones significativas:

Métodos basados en kernels (RKHS): Sufren de alta complejidad computacional ( $O(n^2)$ ) y su potencia decae polinomialmente en dimensiones altas.
Métodos basados en regresión/predicción: Requieren estimar distribuciones completas o funciones medias, lo cual es difícil en altas dimensiones y propenso a errores de estimación.
Métodos de discretización: Estratifican $Z$ en subgrupos (estratos) y prueban la independencia local. Sin embargo, enfrentan una paradoja: los estratos deben ser lo suficientemente pequeños para controlar el error de discretización (y así mantener el control del Error Tipo I), pero lo suficientemente grandes para tener potencia estadística. La mayoría de estos métodos requieren que el tamaño de muestra por estrato tienda a infinito, lo cual es imposible en escenarios de alta dimensión o con muestras finitas.

2. Metodología Propuesta: MultiCMH

Los autores proponen MultiCMH, un enfoque no paramétrico que generaliza la prueba Cochran-Mantel-Haenszel (CMH) y el estimador de razón de oportunidades (odds ratio) a espacios de muestra continuos y de alta dimensión.

Componentes Clave del Algoritmo:

Principio de Condicionalidad y Estratificación:
- Se utiliza un algoritmo de partición recursiva basado en medias muestrales (medtree) para dividir el espacio de $Z$ en estratos hiperrectangulares de tamaños casi iguales.
- A diferencia de métodos basados en distancias (como k-means), este enfoque es invariante a transformaciones monótonas y robusto en altas dimensiones, evitando la "maldición de la dimensionalidad" en el cálculo de distancias.
- La estratificación se realiza de modo que el tamaño de cada estrato sea fijo (aproximadamente $\eta$ observaciones), permitiendo un régimen de asintótica de datos dispersos (donde el número de estratos crece, pero el tamaño por estrato se mantiene pequeño).
Estrategia Divide y Vencerás (Escaneo Multiescala):
- Para variables continuas $X$ e $Y$ , se aplican particiones diádicas recursivas (árboles binarios) para discretizarlas en bins ( $2^{k_1}$ y $2^{k_2}$ ).
- Esto transforma el problema global en una serie de pruebas locales sobre tablas de contingencia $2 \times 2 \times T$ (donde $T$ es el número de estratos de $Z$ ).
- Teorema de Factorización: Bajo la hipótesis nula de independencia condicional y condicionando a los totales marginales de los estratos, las estadísticas de prueba (CMH) calculadas en diferentes ventanas de la partición son mutuamente independientes. Esto permite tratar el problema global como un problema de prueba múltiple sobre ventanas independientes.
Corrección de Multiplicidad Jerárquica:
- Se aplica una corrección de Šidák en tres etapas para controlar la Tasa de Error Familiar (FWER):
  1. Dentro de la misma partición de producto ( $I \times J$ ).
  2. Entre particiones de la misma resolución.
  3. A través de todas las resoluciones (escalas).
- Esto evita penalizar excesivamente las ventanas grandes y permite identificar regiones específicas donde se viola la independencia.
Estadística de Prueba:
- Se utiliza la estadística $M_n$ de CMH, que suma las desviaciones observadas respecto a las esperadas en cada estrato.
- La distribución nula asintótica es $\chi^2_1$ , válida incluso cuando el tamaño de muestra por estrato es pequeño, siempre que el número de estratos sea grande.

3. Contribuciones Clave

Consistencia sin crecimiento de tamaño de estrato: A diferencia de otros métodos de discretización, MultiCMH logra consistencia bajo un régimen de datos dispersos (número de estratos $\to \infty$ , tamaño de estrato fijo), superando la necesidad de que los estratos individuales tengan muestras infinitas.
Escalabilidad y Eficiencia: El algoritmo tiene una complejidad computacional casi lineal $O(n \log n)$ , dominada por la ordenación para encontrar medianas. Es significativamente más rápido que los métodos basados en kernels o distancias.
Capacidad Diagnóstica Dual: No solo rechaza la hipótesis nula, sino que identifica las regiones específicas del espacio $(X, Y)$ donde existe dependencia y cuantifica la dirección y fuerza de la asociación mediante razones de oportunidades condicionales.
Robustez en Alta Dimensión: El método de estratificación basado en rangos (medianas) es invariante a la escala y funciona bien en dimensiones altas donde las métricas de distancia fallan.

4. Resultados de Simulación y Estudio de Caso

Simulaciones:

Control de Error Tipo I (T1E): MultiCMH mantiene un control preciso del nivel de significancia ( $\alpha=0.05$ ) incluso con muestras pequeñas ( $n \ge 100$ ) y dimensiones altas ( $d$ hasta 128), mientras que otros métodos (como CCIT y RCIT) muestran miscalibración.
Potencia: El método demuestra consistencia (potencia $\to 1$ ) a medida que aumenta el tamaño de muestra. Su potencia es robusta frente al aumento de la dimensionalidad de $Z$ , superando a métodos como CMIknn y GCM que sufren degradación severa en dimensiones altas.
Eficiencia Computacional: En datasets de hasta 1 millón de muestras, MultiCMH es el método más rápido. Mientras que otros métodos fallan o requieren miles de segundos, MultiCMH escala casi linealmente y consume poca memoria.

Estudio de Caso (Datos de Uber):

Se analizó la relación entre el Tiempo Estimado de Llegada (ETA) y la decisión de solicitar un viaje ( $Y$ ), condicionando al contexto de precios ( $Z$ ).
Hallazgos: Se rechazó la independencia condicional. El análisis multiescala reveló que:
- Un mayor ETA reduce la probabilidad de solicitar un viaje (razón de oportunidades negativa).
- Este efecto no es uniforme: la sensibilidad al tiempo de espera se intensifica significativamente cuando los tiempos de espera son largos (ventanas de alto ETA).
- La fuerza de la asociación varía sistemáticamente según los componentes del precio y las condiciones de tarificación, demostrando la capacidad del método para detectar interacciones complejas que los promedios globales ocultarían.

5. Significado e Impacto

El trabajo de Kang, Mao y Ma ofrece una herramienta práctica y teóricamente sólida para el análisis de dependencias condicionales en la era del Big Data.

Superación de Limitaciones Teóricas: Resuelve la paradoja de la discretización al demostrar que se puede lograr consistencia sin requerir estratos grandes, utilizando la asintótica de datos dispersos de la prueba CMH.
Interpretabilidad: Proporciona a los practicantes no solo un "sí/no" sobre la independencia, sino un mapa detallado de dónde y cómo interactúan las variables, lo cual es crucial para la toma de decisiones en negocios y ciencia.
Aplicabilidad: Su bajo costo computacional y robustez en alta dimensión lo hacen ideal para pipelines de inferencia en grandes volúmenes de datos, donde los métodos actuales son inviables.

En resumen, MultiCMH representa un avance significativo al combinar la solidez asintótica de las pruebas clásicas de tablas de contingencia con técnicas modernas de partición espacial, logrando un equilibrio óptimo entre potencia estadística, control de errores y eficiencia computacional.