An association measure for mixed-type variables

Resumen Técnico: Una medida de asociación para variables de tipo mixto

Planteamiento del problema
Cuantificar la asociación entre una variable de valores reales ($X$) y una variable categórica ($Y$) es un desafío fundamental en el análisis de datos, particularmente a medida que los datos de tipo mixto se vuelven prevalentes en campos como la genómica y las ciencias sociales. Los métodos existentes para este escenario "numérico–categórico" sufren de limitaciones significativas:

• Supuestos paramétricos: Métodos como la correlación poliserial dependen de modelos de normalidad latente o supuestos lineales/ordinales que pueden no cumplirse.
• Codificación arbitraria: Las soluciones comunes implican codificar las categorías nominales como enteros para aplicar métodos numéricos (por ejemplo, la $\xi_n$ de Chatterjee) o discretizar las variables numéricas. Estos enfoques introducen órdenes y espaciamientos artificiales, lo que conduce a resultados inestables donde el estadístico fluctúa significativamente según el esquema de codificación elegido.
• Falta de escala: Las pruebas estándar como la prueba $F$ de ANOVA evalúan diferencias de medias, pero no proporcionan una medida de dependencia en una escala fija e interpretable (por ejemplo, de 0 a 1).

Metodología
Los autores proponen una nueva medida de asociación poblacional invariante a las etiquetas, denominada $\xi'$, y su correspondiente estimador muestral, $\xi'_n$, diseñado específicamente para el entorno mixto de valores reales–categóricos.

1. Medida poblacional ($\xi'$):
   La medida se define basándose en la reducción de la impureza de Gini (o ganancia de información) lograda al observar $X$. Sean $g_j(x) = P(Y=j | X=x)$ las funciones de probabilidad condicional. La medida poblacional es:
   $$\xi'(X, Y) = \frac{E\left[\sum_{j=1}^k g_j(X)^2\right] - \sum_{j=1}^k P(Y=j)^2}{1 - \sum_{j=1}^k P(Y=j)^2}$$
   Esta formulación agrega las probabilidades condicionales al cuadrado (concentración de la distribución condicional) y las normaliza frente a la concentración marginal.

2. Estimador muestral ($\xi'_n$):
   El estimador se construye de forma no paramétrica sin suavizado ni parámetros de ajuste:

• Se ordenan la muestra $(X_i, Y_i)$ por $X$ para obtener $(X_{(1)}, Y_{(1)}), \dots, (X_{(n)}, Y_{(n)})$.
• Se calcula la proporción de coincidencias adyacentes $A_n = \frac{1}{n-1}\sum_{i=1}^{n-1} \mathbb{I}(Y_{(i+1)} = Y_{(i)})$.
• Se calcula la probabilidad de coincidencia marginal $B_n = \sum_{j=1}^k \hat{p}_j^2$, donde $\hat{p}_j$ es la proporción muestral de la clase $j$.
• El estimador es $\xi'_n = \frac{A_n - B_n}{1 - B_n}$.
• Este estimador es computable en un tiempo de $O(n \log n)$ debido al paso de ordenación.

3. Propiedades teóricas:

• Normalización: $\xi' \in [0, 1]$.
• Independencia: $\xi' = 0$ si y solo si $X$ e $Y$ son independientes.
• Dependencia funcional: $\xi' = 1$ si y solo si $Y$ es una función medible de $X$ casi seguramente.
• Invariancia: La medida es invariante a transformaciones estrictamente monótonas de $X$ y, crucialmente, a cualquier permutación de las etiquetas categóricas de $Y$.
• Conexión con medidas clásicas: $\xi'$ generaliza el coeficiente de determinación ($R^2$) utilizando la impureza de Gini. Es estructuralmente similar a la $\xi$ de Chatterjee, pero agrega las varianzas específicas de cada clase sin ponderación por prevalencia, lo que la hace adecuada para categorías nominales (no ordenadas).

Teoría asintótica e inferencia
El artículo establece la consistencia fuerte de $\xi'_n$ y deriva su normalidad asintótica bajo dos regímenes:

• Bajo independencia ($H_0$): $\sqrt{n}\xi'_n$ converge a una distribución normal con media 0. Los autores derivan un estimador de varianza consistente, lo que permite una prueba de Wald para la independencia computacionalmente eficiente y libre de permutaciones. Se propone una corrección de centrado para muestras finitas para abordar el sesgo negativo en muestras pequeñas.
• Bajo dependencia general: Los autores demuestran la normalidad asintótica para $\sqrt{n}(\xi'_n - \xi')$ bajo condiciones leves (variación acotada de las probabilidades condicionales). Se proporciona un estimador de varianza por inserción (plug-in) utilizando $k$-vecinos más cercanos ($k$-NN), lo que permite la construcción de intervalos de confianza asintóticamente válidos para la medida poblacional.

Resultados clave

• Estudios de simulación: Simulaciones extensas utilizando un modelo de diseño de bloques demuestran que $\xi'_n$ alcanza la probabilidad de cobertura nominal para los intervalos de confianza y mantiene tasas de error de tipo I correctas para la prueba de Wald.
• Estabilidad de la codificación: A diferencia de la $\xi_n$ de Chatterjee, que fluctúa salvajemente bajo diferentes codificaciones enteras de los mismos datos nominales, $\xi'_n$ permanece constante independientemente de las permutaciones de las etiquetas.
• Potencia: El método propuesto demuestra una potencia competitiva frente a alternativas establecidas como la Covarianza de Distancia (dCov), HSIC y ANOVA, particularmente en escenarios que involucran señales débiles o detección de clases minoritarias.
• Eficiencia computacional: La complejidad de $O(n \log n)$ hace que el método sea escalable, evitando el costo de $O(n^2)$ de los métodos basados en kernels como HSIC.
• Aplicación a datos reales: Una aplicación a los datos de cáncer de mama de The Cancer Genome Atlas (TCGA) muestra la capacidad del método para detectar dependencias generales, incluyendo la heterogeneidad de la varianza, que podrían ser omitidas por pruebas basadas en la media.

Significancia y pretensiones
El artículo pretende proporcionar una solución robusta y libre de modelo para medir la asociación en datos de tipo mixto. Su principal significancia radica en:

1. Invariancia de etiqueta: Resolver el problema de inestabilidad inherente a la aplicación de estadísticas basadas en rangos a variables categóricas nominales mediante la agregación directa de indicadores de clase en lugar de imponer un orden artificial.
2. Interpretabilidad: Ofrecer una medida normalizada (0 a 1) que cuantifica la proporción de reducción de la impureza de Gini (ganancia de información), cerrando la brecha entre las pruebas estadísticas y los conceptos de modelado predictivo.
3. Inferencia eficiente: Permitir pruebas de hipótesis y la construcción de intervalos de confianza rápidas y libres de permutaciones mediante la teoría asintótica, lo cual es computacionalmente ventajoso para conjuntos de datos a gran escala en comparación con las alternativas que requieren mucho remuestreo.

Los autores posicionan a $\xi'$ como una extensión necesaria del trabajo de Chatterjee, adaptada específicamente para los desafíos de las respuestas categóricas nominales donde las correlaciones de rango estándar fallan debido a su sensibilidad a la codificación arbitraria.