Assessing Monotone Dependence: Area Under the Curve Meets Rank Correlation

Resumen Técnico: Evaluación de la Dependencia Monótona: El Área Bajo la Curva se Encuentra con la Correlación de Rango

Planteamiento del Problema
La evaluación de la dependencia monótona entre variables aleatorias es un problema estadístico clásico con aplicaciones en diversos dominios. Históricamente, la literatura ha estado fragmentada: para variables continuas, los coeficientes de correlación de rango simétricos (Rho de Spearman y Tau de Kendall) son el estándar, mientras que para resultados dicotómicos, prevalece la medida asimétrica del Área Bajo la Curva (AUC). Una limitación significativa de las medidas simétricas en entornos discretos o mixtos es el "problema de la alcanzabilidad", donde el valor máximo de la medida no se alcanza incluso cuando existe una relación monótona perfecta. Además, los investigadores suelen dicotomizar artificialmente los resultados continuos para aplicar herramientas basadas en AUC, lo que genera efectos analíticos adversos. El artículo sostiene que las medidas asimétricas, que respetan los roles específicos de una covariable ($X$) y un resultado ($Y$), son necesarias para resolver estos problemas y proporcionar un marco unificado para todos los resultados linealmente ordenados.

Metodología
Los autores establecen una teoría unificada a nivel poblacional y estimadores correspondientes que cierran la brecha entre los entornos continuos y dicotómicos.

1. Uniendo el Tau de Kendall y el AUC:
   El artículo revisa el índice C (CID), definido como la probabilidad de concordancia ajustada por empates:
   $$CID(X, Y) = E(s(X', X'') \mid Y' < Y'')$$
   donde $s(x', x'') = \mathbb{1}\{x' < x''\} + \frac{1}{2}\mathbb{1}\{x' = x''\}$.
   Los autores relacionan el CID con la Correlación de Kendall Asimétrica (AKC), una versión normalizada de la Tau de Kendall ajustada para la granularidad del resultado:
   $$AKC(X, Y) = \frac{\tau(X, Y)}{\tau(Y, Y)} = \frac{\tau(X, Y)}{1 - \gamma^{(2)}(Y)}$$
   donde $\gamma^{(2)}(Y)$ es la 2-granularidad (probabilidad de empates). La relación es lineal: $CID(X, Y) = \frac{1}{2}(AKC(X, Y) + 1)$. Esta medida se reduce al AUC para resultados dicotómicos y se relaciona linealmente con la Tau de Kendall para variables continuas.

2. Uniendo el Rho de Spearman y el AUC (Contribución Clave):
   Para unir el Rho de Spearman y el AUC, los autores introducen la Correlación de Grados Asimétrica (AGC) y el Coeficiente de Asociación Monótona (CMA).

   • Utilizan la Función de Distribución Media (MDF), $\bar{F}(x) = P(X < x) + \frac{1}{2}P(X=x)$, para definir "grados".
   • AGC se define como la covarianza de los grados de $X$ y $Y$, dividida por la varianza del grado de $Y$:
     $$AGC(X, Y) = \frac{\text{cov}(\bar{F}(X), \bar{G}(Y))}{\text{cov}(\bar{G}(Y), \bar{G}(Y))}$$
   • CMA es la transformación afín de la AGC:
     $$CMA(X, Y) = \frac{1}{2}(AGC(X, Y) + 1)$$
   • Propiedades: El CMA está normalizado al intervalo $[0, 1]$. Cumple con la "propiedad de predictor monótono perfecto": $CMA(X, Y) = 1$ si y solo si $Y = m(X)$ casi seguramente para una función no decreciente $m$.
   • Reducciones: Para resultados dicotómicos, $CMA(X, Y_d) = AUC(X, Y_d)$. Para variables continuas, $CMA(X_c, Y_c) = \frac{1}{2}(\rho + 1)$, relacionándose linealmente con el Rho de Spearman.
   • Representación Integral: Para $Y$ continuo, el CMA puede expresarse como una integral ponderada de AUCs sobre todos los posibles umbrales de dicotomización:
     $$CMA(X, Y) = 6 \int_0^1 \alpha(1-\alpha) AUC^{(\alpha)}(X, Y) d\alpha$$

3. Teoría del Muestreo e Inferencia:
   Basándose en el trabajo reciente de Pohle et al. (2025), los autores derivan Teoremas del Límite Central (CLT) para las versiones empíricas de estas medidas ($AKC_n, CID_n, AGC_n, CMA_n$).

   • Establecen la normalidad asintótica para predictores únicos y para vectores de predictores competitivos.
   • Proporcionan fórmulas explícitas para la varianza asintótica utilizando funciones kernel derivadas de la teoría de las estadísticas U.
   • Desarrollan pruebas de tipo DeLong para comparar la asociación monótona de múltiples predictores con un resultado compartido. Estas pruebas generalizan la clásica prueba de igualdad de AUC de DeLong a todos los resultados linealmente ordenados (dicotómicos, ordinales, continuos y mixtos).

Resultos Clave

• Unificación Teórica: El artículo demuestra que AKC/CID y AGC/CMA proporcionan un espectro continuo de medidas que se comportan como AUC para resultados binarios y como correlaciones de rango reescaladas para resultados continuos, superando el problema de la alcanzabilidad inherente a las medidas simétricas en datos discretos.
• Inferencia Asintótica: Los CLTs derivados permiten la construcción de intervalos de confianza y pruebas de hipótesis (por ejemplo, probar independencia o igualdad de asociación entre predictores) que son válidos independientemente del tipo de distribución del resultado.
• Evidencia de Simulación: Las simulaciones confirman que las pruebas propuestas para la igualdad de AGC/CMA producen valores p uniformes bajo la hipótesis nula, incluso para muestras pequeñas y resultados discretos, superando los métodos existentes para comparar el Rho de Spearman en entornos continuos.
• Casos de Estudio:
  • Incertidumbre de LLM: Aplicado a las salidas de Modelos de Lenguaje de Gran Escala (LLM), se utilizaron CMA y CID para evaluar métricas de incertidumbre frente a puntuaciones de corrección. Las medidas identificaron con éxito qué métricas de incertidumbre se alineaban mejor con la corrección, mostrando robustez a través de diferentes puntuaciones de corrección (BERT, ROUGE, etc.).
  • Predicción Meteorológica: Aplicado al conjunto de datos WeatherBench 2, CMA y CID compararon pronósticos de precipitación basados en datos (GraphCast) frente a modelos basados en física (HRES). El análisis reveló que GraphCast superó a HRES cerca del ecuador, mientras que HRES funcionó mejor en latitudes más altas, resaltando diferencias regionales en la capacidad predictiva que las métricas estándar podrían ocultar.

Significancia y Reivindicaciones
El artículo afirma unificar y completar corrientes de literatura previamente desconectadas mediante el establecimiento de una teoría común a nivel poblacional, estimadores y pruebas.

• Resolución de la Alcanzabilidad: Las medidas asimétricas (AKC, CID, AGC, CMA) satisfacen la propiedad de predictor monótono perfecto, asegurando que un predictor perfecto reciba una puntuación de 1, una propiedad que las medidas simétricas no cumplen en entornos discretos.
• Generalización de las Pruebas de DeLong: El trabajo generaliza la seminal prueba de DeLong et al. (1988) para la igualdad de AUC a una amplia clase de resultados linealmente ordenados, permitiendo la comparación rigurosa de la capacidad predictiva en entornos que van desde la clasificación binaria hasta la regresión continua.
• Utilidad Práctica: Los autores argumentan que las medidas asimétricas son preferibles en una era de análisis de datos automatizado, ya que se adaptan naturalmente a la naturaleza discreta, continua o mixta de las variables sin requerir una dicotomización arbitraria.
• Disponibilidad de Software: Los autores proporcionan código en Python para los estimadores y las pruebas, facilitando su aplicación inmediata en investigación e industria.

El artículo concluye que, si bien el desarrollo para AKC y CID es mayoritariamente expositivo (construido sobre Harrell et al., 1996), la introducción y el análisis de AGC y CMA representan una contribución original, ofreciendo un marco robusto y unificado para evaluar la dependencia monótona a través de todos los tipos de variables.