Assessing Monotone Dependence: Area Under the Curve Meets Rank Correlation

Resumo Técnico: Avaliando a Dependência Monótona: A Área Sob a Curva Encontra a Correlação de Postos

Enunciado do Problema
A avaliação da dependência monótona entre variáveis aleatórias é um problema estatístico clássico com aplicações em diversos domínios. Historicamente, a literatura tem sido fragmentada: para variáveis contínuas, os coeficientes de correlação de postos simétricos (Rho de Spearman e Tau de Kendall) são o padrão, enquanto para resultados dicotômicos, a medida assimétrica da Área Sob a Curva (AUC) é prevalente. Uma limitação significativa das medidas simétricas em configurações discretas ou mistas é o "problema da atingibilidade", onde o valor máximo da medida não é alcançado mesmo quando existe uma relação monótona perfeita. Além disso, pesquisadores frequentemente dicotomizam artificialmente resultados contínuos para aplicar ferramentas baseadas em AUC, o que leva a efeitos analíticos adversos. O artigo argumenta que medidas assimétricas, que respeitam os papéis específicos de uma covariável ($X$) e de um resultado ($Y$), são necessárias para resolver esses problemas e fornecer um framework unificado para todos os resultados linearmente ordenados.

Metodologia
Os autores estabelecem uma teoria unificada em nível populacional e estimadores correspondentes que unem a lacuna entre configurações contínuas e dicotômicas.

1. Unindo o Tau de Kendall e a AUC:
   O artigo revisita o índice C (CID), definido como a probabilidade de concordância ajustada por empates:
   $$CID(X, Y) = E(s(X', X'') \mid Y' < Y'')$$
   onde $s(x', x'') = \mathbb{1}\{x' < x''\} + \frac{1}{2}\mathbb{1}\{x' = x''\}$.
   Os autores relacionam o CID à Correlação Assimétrica de Kendall (AKC), uma versão normalizada do Tau de Kendall ajustada para a granularidade do resultado:
   $$AKC(X, Y) = \frac{\tau(X, Y)}{\tau(Y, Y)} = \frac{\tau(X, Y)}{1 - \gamma^{(2)}(Y)}$$
   onde $\gamma^{(2)}(Y)$ é a 2-granularidade (probabilidade de empates). A relação é linear: $CID(X, Y) = \frac{1}{2}(AKC(X, Y) + 1)$. Esta medida reduz-se à AUC para resultados dicotômicos e relaciona-se linearmente com o Tau de Kendall para variáveis contínuas.

2. Unindo o Rho de Spearman e a AUC (Contribuição Principal):
   Para unir o Rho de Spearman e a AUC, os autores introduzem a Correlação de Graus Assimétrica (AGC) e o Coeficiente de Associação Monótona (CMA).

   • Eles utilizam a Função de Distribuição Intermediária (MDF), $\bar{F}(x) = P(X < x) + \frac{1}{2}P(X=x)$, para definir "graus".
   • A AGC é definida como a covariância dos graus de $X$ e $Y$, dividida pela variância do grau de $Y$:
     $$AGC(X, Y) = \frac{\text{cov}(\bar{F}(X), \bar{G}(Y))}{\text{cov}(\bar{G}(Y), \bar{G}(Y))}$$
   • O CMA é a transformação afim da AGC:
     $$CMA(X, Y) = \frac{1}{2}(AGC(X, Y) + 1)$$
   • Propriedades: O CMA é normalizado para $[0, 1]$. Ele satisfaz a "propriedade do preditor monótono perfeito": $CMA(X, Y) = 1$ se, e somente se, $Y = m(X)$ quase certamente para uma função não decrescente $m$.
   • Reduções: Para variáveis dicotômicas, $CM(X, Y_d) = AUC(X, Y_d)$. Para variáveis contínuas, $CMA(X_c, Y_c) = \frac{1}{2}(\rho + 1)$, relacionando-se linearmente com o Rho de Spearman.
   • Representação Integral: Para $Y$ contínuo, o CMA pode ser expresso como uma integral ponderada de AUCs sobre todos os possíveis limiares de dicotomização:
     $$CMA(X, Y) = 6 \int_0^1 \alpha(1-\alpha) AUC^{(\alpha)}(X, Y) d\alpha$$

3. Teoria de Amostragem e Inferência:
   Baseando-se no trabalho recente de Pohle et al. (2025), os autores derivam Teoremas de Limite Central (CLTs) para as versões empíricas dessas medidas ($AKC_n, CID_n, AGC_n, CMA_n$).

   • Eles estabelecem normalidade assintótica para preditores únicos e para vetores de preditores concorrentes.
   • Eles fornecem fórmulas explícitas para a variância assintótica usando funções de kernel derivadas da teoria de U-estatísticas.
   • Eles desenvolvem testes do tipo DeLong para comparar a associação monótona de múltiplos preditores com um resultado compartilhado. Esses testes generalizam o clássico teste DeLong para igualdade de AUC para todos os resultados linearmente ordenados (dicotômicos, ordinais, contínuos e mistos).

Principais Resultados

• Unificação Teórica: O artigo demonstra que AKC/CID e AGC/CMA fornecem um espectro contínuo de medidas que se comportam como AUC para resultados binários e como correlações de postos reescalonadas para resultados contínuos, superando o problema da atingibilidade inerente às medidas simétricas para dados discretos.
• Inferência Assintótica: Os CLTs derivados permitem a construção de intervalos de confiança e testes de hipóteses (por exemplo, testar independência ou igualdade de associação entre preditores) que são válidos independentemente do tipo de distribuição do resultado.
• Evidência de Simulação: Simulações confirmam que os testes propostos para igualdade de AGC/CMA produzem p-valores uniformes sob a hipótese nula, mesmo para amostras pequenas e resultados discretos, superando métodos existentes para comparar o Rho de Spearman em configurações contínuas.
• Estudos de Caso:
  • Incerteza de LLM: Aplicado aos outputs de Grandes Modelos de Linguagem (LLMs), o CMA e o CID foram usados para avaliar métricas de incerteza contra pontuações de correção. As medidas identificaram com sucesso quais métricas de incerteza melhor se alinhavam com a correção, mostrando robustez através de diferentes pontuações de correção (BERT, ROUGE, etc.).
  • Previsão Meteorológica: Aplicado ao dataset WeatherBench 2, o CMA e o CID compararam previsões de precipitação baseadas em dados (GraphCast) versus baseadas em física (HRES). A análise revelou que o GraphCast superou o HRES próximo ao equador, enquanto o HRES teve melhor desempenho em latitudes mais altas, destacando diferenças regionais na capacidade preditiva que métricas padrão poderiam obscurecer.

Significância e Alegações
O artigo afirma unificar e completar linhas de literatura anteriormente desconectadas, estabelecendo uma teoria comum de nível populacional, estimadores e testes.

• Resolução da Atingibilidade: As medidas assimétricas (AKC, CID, AGC, CMA) satisfazem a propriedade do preditor monótono perfeito, garantindo que um preditor perfeito receba uma pontuação de 1, uma propriedade que as medidas simétricas não satisfazem em configurações discretas.
• Generalização dos Testes DeLong: O trabalho generaliza o seminal teste de DeLong et al. (1988) para igualdade de AUC para uma ampla classe de resultados linearmente ordenados, permitindo a comparação rigorosa da capacidade preditiva em cenários que variam de classificação binária a regressão contínua.
• Utilidade Prática: Os autores argumentam que, em uma era de análise de dados automatizada, as medidas assimétricas são preferíveis, pois se adaptam naturalmente à natureza discreta, contínua ou mista das variáveis sem exigir dicotomização arbitrária.
• Disponibilidade de Software: Os autores fornecem código Python para os estimadores e testes, facilitando a aplicação imediata em pesquisa e indústria.

O artigo conclui que, embora o desenvolvimento para AKC e CID seja amplamente expositivo (construindo sobre Harrell et al., 1996), a introdução e análise de AGC e CMA representam uma contribuição original, oferecendo um framework robusto e unificado para avaliar a dependência monótona em todos os tipos de variáveis.