An association measure for mixed-type variables

Resumo Técnico: Uma Medida de Associação para Variáveis de Tipos Mistos

Definição do Problema
Quantificar a associação entre uma variável de valor real ($X$) e uma variável categórica ($Y$) é um desafio fundamental na análise de dados, particularmente conforme os dados de tipos mistos se tornam prevalentes em campos como a genômica e as ciências sociais. Os métodos existentes para este cenário "numérico–categórico" sofrem de limitações significativas:

• Suposições Paramétricas: Métodos como a correlação polisserial dependem de modelos de normal latente ou suposições lineares/ordinais que podem não se sustentar.
• Codificação Arbitrária: Soluções de contorno comuns envolvem codificar categorias nominais como inteiros para aplicar métodos numéricos (ex: $\xi_n$ de Chatterjee) ou discretizar variáveis numéricas. Essas abordagens introduzem ordenações e espaçamentos artificiais, levando a resultados instáveis onde o estatístico flutua significativamente com base no esquema de codificação escolhido.
• Falta de Escala: Testes padrão como o teste $F$ da ANOVA avaliam diferenças de médias, mas não fornecem uma medida de dependência em uma escala fixa e interpretável (ex: 0 a 1).

Metodologia
Os autores propõem uma nova medida de associação populacional invariante ao rótulo, denominada $\xi'$, e seu correspondente estimador amostral, $\xi'_n$, especificamente projetados para o cenário misto real–categórico.

1. Medida Populacional ($\xi'$):
   A medida é definida com base na redução da impureza de Gini (ou ganho de informação) alcançada pela observação de $X$. Sejam $g_j(x) = P(Y=j | X=x)$ as funções de probabilidade condicional. A medida populacional é:
   $$\xi'(X, Y) = \frac{E\left[\sum_{j=1}^k g_j(X)^2\right] - \sum_{j=1}^k P(Y=j)^2}{1 - \sum_{j=1}^k P(Y=j)^2}$$
   Esta formulação agrega as probabilidades condicionais quadráticas (concentração da distribuição condicional) e as normaliza contra a concentração marginal.

2. Estimador Amostral ($\xi'_n$):
   O estimador é construído de forma não paramétrica, sem suavização ou parâmetros de ajuste:

• Ordene a amostra $(X_i, Y_i)$ por $X$ para obter $(X_{(1)}, Y_{(1)}), \dots, (X_{(n)}, Y_{(n)})$.
• Calcule a proporção de correspondência adjacente $A_n = \frac{1}{n-1}\sum_{i=1}^{n-1} \mathbb{I}(Y_{(i+1)} = Y_{(i)})$.
• Calcule a probabilidade de coincidência marginal $B_n = \sum_{j=1}^k \hat{p}_j^2$, onde $\hat{p}_j$ é a proporção amostral da classe $j$.
• O estimador é $\xi'_n = \frac{A_n - B_n}{1 - B_n}$.
• Este estimador é computável em tempo $O(n \log n)$ devido à etapa de ordenação.

3. Propriedades Teóricas:

• Normalização: $\xi' \in [0, 1]$.
• Independência: $\xi' = 0$ se, e somente se, $X$ e $Y$ são independentes.
• Dependência Funcional: $\xi' = 1$ se, e somente se, $Y$ é uma função mensurável de $X$ quase certamente.
• Invariância: A medida é invariante a transformações estritamente monótonas de $X$ e, crucialmente, a qualquer permutação dos rótulos categóricos de $Y$.
• Conexão com Medidas Clássicas: $\xi'$ generaliza o coeficiente de determinação ($R^2$) usando a impureza de Gini. É estruturalmente semelhante ao $\xi$ de Chatterjee, mas agrega variâncias específicas de classe sem ponderação de prevalência, tornando-o adequado para categorias nominais (não ordenadas).

Teoria Assintótica e Inferência
O artigo estabelece a consistência forte de $\xi'_n$ e deriva sua normalidade assintótica sob dois regimes:

• Sob Independência ($H_0$): $\sqrt{n}\xi'_n$ converge para uma distribuição normal com média 0. Os autores derivam um estimador de variância consistente, permitindo um teste de Wald para independência computacionalmente eficiente e livre de permutações. Uma correção de centralização de amostra finita é proposta para abordar o viés negativo em amostras pequenas.
• Sob Dependência Geral: Os autores provam a normalidade assintótica para $\sqrt{n}(\xi'_n - \xi')$ sob condições suaves (variação limitada das probabilidades condicionais). Um estimador de variância plug-in usando $k$-vizinhos mais próximos ($k$-NN) é fornecido, permitendo a construção de intervalos de confiança assintoticamente válidos para a medida populacional.

Resultados Principais

• Estudos de Simulação: Simulações extensas usando um modelo de delineamento em blocos demonstram que $\xi'_n$ atinge a probabilidade de cobertura nominal para intervalos de confiança e mantém taxas de erro do tipo I corretas para o teste de Wald.
• Estabilidade de Codificação: Ao contrário do $\xi_n$ de Chatterjee, que flutua drasticamente sob diferentes codificações inteiras de mesmos dados nominais, o $\xi'_n$ permanece constante independentemente de permutações de rótulos.
• Poder: O método proposto demonstra poder competitivo contra alternativas estabelecidas como a Covariância de Distância (dCov), HSIC e ANOVA, particularmente em cenários envolvendo sinais fracos ou detecção de classe minoritária.
• Eficiência Computacional: A complexidade $O(n \log n)$ torna o método escalável, evitando o custo de $O(n^2)$ de métodos baseados em kernel como o HSIC.
• Aplicação em Dados Reais: Uma aplicação aos dados de câncer de mama do The Cancer Genome Atlas (TCGA) mostra a capacidade do método em detectar dependências gerais, incluindo heterogeneidade de variância, que poderiam ser ignoradas por testes baseados em média.

Significância e Alegações
O artigo afirma fornecer uma solução robusta e livre de modelo para medir associação em dados de tipos mistos. Sua principal significância reside em:

1. Invariância ao Rótulo: Resolvendo o problema de instabilidade inerente à aplicação de estatísticas baseadas em postos (rank-based) a variáveis categóricas nominais ao agregar indicadores de classe diretamente, em vez de impor uma ordem artificial.
2. Interpretabilidade: Oferecendo uma medida normalizada (0 a 1) que quantifica a proporção de redução da impureza de Gini (ganho de informação), unindo o hiato entre testes estatísticos e conceitos de modelagem preditiva.
3. Inferência Eficiente: Permitindo testes de hipóteses e construção de intervalos de confiança rápidos e livres de permutações via teoria assintótica, o que é computacionalmente vantajoso para conjuntos de dados de larga escala em comparação com alternativas pesadas em reamostragem.

Os autores posicionam o $\xi'$ como uma extensão necessária do trabalho de Chatterjee, adaptada especificamente para os desafios de respostas categóricas nominais onde as correlações de postos padrão falham devido à sua sensibilidade a codificações arbitrárias.