gcor: A Python Implementation of Categorical Gini Correlation and Its Inference

Resumen Técnico: gcor – Una Implementación en Python de la Correlación Gini Categórica

Enunciado del Problema
El artículo aborda la necesidad de una herramienta computacional robusta y eficiente para medir la dependencia entre un vector aleatorio continuo y una variable categórica. Si bien la Correlación Gini Categórica (CGC), también conocida como correlación de distancia Gini, fue propuesta por Dang et al. [6] y demostró poseer propiedades superiores a las medidas de dependencia existentes (como que una correlación cero implique independencia y robustez ante datos desbalanceados), faltaba una implementación dedicada en Python. Las herramientas existentes se limitaban al paquete R GiniDistance [7]. Dada la dominancia de Python en el análisis de datos y la computación estadística, los autores identificaron una brecha en la accesibilidad para investigadores y profesionales que requieren la CGC para tareas como el cribado de características y pruebas de independencia.

Metodología
El artículo presenta gcor, un paquete de Python que implementa tres procedimientos estadísticos fundamentales basados en el marco teórico establecido por Dang et al. [6]:

1. Estimación de la CGC (gcor): El paquete calcula el estimador insesgado de la CGC utilizando estadísticas U. Descompone la muestra en $K$ clases y calcula la relación entre la variación intergrupal y la variación total. La implementación soporta una versión generalizada de la correlación mediante un parámetro $\alpha \in (0, 2)$, permitiendo a los usuarios ajustar la métrica de distancia. Aunque se recomienda $\alpha=1$ (distancia euclidiana) para casos estándar, se admiten valores menores para aumentar la robustez frente a valores atípicos.
2. Construcción de Intervalos de Confianza (gcorCI): Para construir intervalos de confianza, los autores utilizan la normalidad asintótica del estimador de la CGC. Dado que la varianza asintótica ($\sigma^2_g$) es analíticamente compleja, el paquete emplea el método jackknife para estimar la varianza. Esto implica calcular pseudo-valores dejando fuera una observación a la vez.
3. Prueba de Independencia (independence_test): El paquete realiza pruebas de hipótesis ($H_0: \rho_g = 0$ frente a $H_1: \rho_g > 0$). Debido a la complejidad de la distribución del estadístico de prueba bajo la hipótesis nula, los autores implementan un procedimiento de permutación para estimar los valores críticos y los valores p.

Optimización Computacional
Una parte significativa de la metodología se centra en la eficiencia algorítmica:

• Vectorización: La implementación aprovecha NumPy para cálculos vectorizados.
• Paralelización: Las pruebas de permutación y las estimaciones de varianza jackknife se paralelizan para utilizar múltiples núcleos de CPU.
• Optimización de la Matriz de Distancias: Para las pruebas de permutación, la matriz de distancias por pares se calcula solo una vez, ya que las permutaciones solo barajan las etiquetas, no los puntos de datos subyacentes.
• Optimización Univariable: Para el caso univariable ($d=1$) con $\alpha=1$, el código utiliza un algoritmo de $O(n \log n)$ basado en estadísticas de orden, evitando la construcción de la matriz completa de distancias por pares de $O(n^2)$.

Contribuciones Clave

• Primera Implementación en Python: El artículo proporciona la primera implementación en Python de la CGC y sus procedimientos de inferencia asociados, llenando una brecha en el ecosistema estadístico de código abierto.
• Mejoras de Eficiencia: El paquete está optimizado para velocidad mediante vectorización y paralelización, lo que lo hace adecuado para conjuntos de datos grandes y entornos de alta dimensionalidad.
• Kit de Herramientas Integral: Ofrece un marco unificado para calcular la correlación, construir intervalos de confianza y realizar pruebas de independencia, todo ello con soporte para métricas de distancia generalizadas.
• Reproducibilidad: Todo el código está disponible públicamente en GitHub.

Resultados
Los autores compararon la implementación en Python gcor con el paquete R GiniDistance a través de diversos tamaños de muestra ($n \in \{100, \dots, 3000\}$) y dimensiones ($d \in \{1, \dots, 20\}$).

• Rendimiento Univariable ($d=1$): La implementación en Python demostró aceleraciones sustanciales, siendo aproximadamente 6.3× a 7.4× más rápida que R. Esto se atribuye al eficiente algoritmo de $O(n \log n)$.
• Rendimiento Multivariable ($d \ge 2$): Incluso cuando ambas implementaciones dependían del cálculo general de distancias por pares de $O(n^2)$, Python siguió siendo más rápido, con aceleraciones que oscilaron entre 1.3× y 4.8×. La brecha de rendimiento se amplió a medida que aumentaba la dimensionalidad, sugiriendo una mejor escalabilidad en Python.
• Sensibilidad al Número de Clases: Se encontró que el tiempo de ejecución era relativamente estable independientemente del número de clases ($K$), confirmando que el costo computacional está dominado por los cálculos de distancias por pares en lugar de la agregación de clases.
• Ejemplos Ilustrativos: El paquete se demostró utilizando el conjunto de datos IRIS para el cálculo de correlación, la estimación de intervalos de confianza y pruebas de independencia sobre datos simulados, confirmando su funcionamiento correcto.

Significado y Afirmaciones
El artículo posiciona al paquete gcor como una herramienta práctica para hacer más accesible el análisis avanzado de dependencias. Los autores afirman que la implementación respalda la creciente adopción de la CGC en campos como la bioinformática, las ciencias sociales y el aprendizaje automático aplicado, particularmente para la selección de características en tareas de clasificación. Al mejorar la eficiencia computacional mediante vectorización y paralelización, el paquete permite la aplicación de la CGC en escenarios que involucran datos grandes o de alta dimensionalidad donde las herramientas anteriores podrían ser demasiado lentas. Los autores mantienen un tono modesto, indicando que el trabajo tiene como objetivo "hacer estas herramientas más accesibles" y apoyar tareas como la selección de características, mientras reconocen que el trabajo futuro se centrará en expandir la funcionalidad y la documentación. El artículo no afirma introducir nueva teoría estadística, sino más bien proporcionar una realización eficiente y de código abierto de la teoría existente.