gcor: A Python Implementation of Categorical Gini Correlation and Its Inference

Resumo Técnico: gcor – Uma Implementação em Python da Correlação Gini Categórica

Enunciado do Problema
O artigo aborda a necessidade de uma ferramenta computacional robusta e eficiente para medir a dependência entre um vetor aleatório contínuo e uma variável categórica. Embora a Correlação Gini Categórica (CGC), também conhecida como correlação de distância Gini, tenha sido proposta por Dang et al. [6] e demonstrado possuir propriedades superiores às medidas de dependência existentes (como correlação zero implicar independência e robustez a dados desbalanceados), uma implementação dedicada em Python estava ausente. As ferramentas existentes limitavam-se ao pacote R GiniDistance [7]. Dada a dominância do Python na análise de dados e computação estatística, os autores identificaram uma lacuna na acessibilidade para pesquisadores e profissionais que necessitam da CGC para tarefas como triagem de características e testes de independência.

Metodologia
O artigo apresenta o gcor, um pacote Python que implementa três procedimentos estatísticos centrais baseados no quadro teórico estabelecido por Dang et al. [6]:

1. Estimação da CGC (gcor): O pacote computa o estimador não viesado da CGC usando estatísticas U. Ele decompõe a amostra em $K$ classes e calcula a razão entre a variação entre grupos e a variação total. A implementação suporta uma versão generalizada da correlação usando um parâmetro $\alpha \in (0, 2)$, permitindo que os usuários ajustem a métrica de distância. Embora $\alpha=1$ (distância euclidiana) seja recomendado para casos padrão, valores menores são suportados para aumentar a robustez contra outliers.
2. Construção de Intervalos de Confiança (gcorCI): Para construir intervalos de confiança, os autores utilizam a normalidade assintótica do estimador da CGC. Como a variância assintótica ($\sigma^2_g$) é analiticamente complexa, o pacote emprega o método jackknife para estimar a variância. Isso envolve calcular pseudo-valores deixando de fora uma observação por vez.
3. Teste de Independência (independence_test): O pacote realiza testes de hipóteses ($H_0: \rho_g = 0$ vs. $H_1: \rho_g > 0$). Devido à complexidade da distribuição da estatística de teste sob a hipótese nula, os autores implementam um procedimento de permutação para estimar valores críticos e valores-p.

Otimização Computacional
Uma parte significativa da metodologia foca na eficiência algorítmica:

• Vetorização: A implementação aproveita o NumPy para computações vetorizadas.
• Paralelização: Testes de permutação e estimativas de variância jackknife são paralelizados para utilizar múltiplos núcleos de CPU.
• Otimização da Matriz de Distância: Para testes de permutação, a matriz de distância pairwise é computada apenas uma vez, pois as permutações apenas embaralham os rótulos, não os pontos de dados subjacentes.
• Otimização Univariada: Para o caso univariado ($d=1$) com $\alpha=1$, o código utiliza um algoritmo $O(n \log n)$ baseado em estatísticas de ordem, evitando a construção da matriz completa de distância pairwise $O(n^2)$.

Contribuições Principais

• Primeira Implementação em Python: O artigo fornece a primeira implementação em Python da CGC e seus procedimentos de inferência associados, preenchendo uma lacuna no ecossistema de código aberto estatístico.
• Melhorias de Eficiência: O pacote é otimizado para velocidade através de vetorização e paralelização, tornando-o adequado para grandes conjuntos de dados e configurações de alta dimensionalidade.
• Kit de Ferramentas Abrangente: Oferece um quadro unificado para calcular a correlação, construir intervalos de confiança e realizar testes de independência, tudo com suporte para métricas de distância generalizadas.
• Reprodutibilidade: Todo o código está disponível publicamente no GitHub.

Resultados
Os autores compararam a implementação Python gcor com o pacote R GiniDistance através de vários tamanhos de amostra ($n \in \{100, \dots, 3000\}$) e dimensões ($d \in \{1, \dots, 20\}$).

• Desempenho Univariado ($d=1$): A implementação Python demonstrou acelerações substanciais, variando de aproximadamente 6,3× a 7,4× mais rápida que o R. Isso é atribuído ao eficiente algoritmo $O(n \log n)$.
• Desempenho Multivariado ($d \ge 2$): Mesmo quando ambas as implementações dependiam do cálculo geral de distância pairwise $O(n^2)$, o Python permaneceu mais rápido, com acelerações variando de 1,3× a 4,8×. A lacuna de desempenho aumentou à medida que a dimensionalidade crescia, sugerindo melhor escalabilidade em Python.
• Sensibilidade à Contagem de Classes: O tempo de execução foi encontrado relativamente estável independentemente do número de classes ($K$), confirmando que o custo computacional é dominado pelos cálculos de distância pairwise em vez da agregação de classes.
• Exemplos Ilustrativos: O pacote foi demonstrado usando o conjunto de dados IRIS para cálculo de correlação, estimação de intervalo de confiança e teste de independência em dados simulados, confirmando a funcionalidade correta.

Significado e Alegações
O artigo posiciona o pacote gcor como uma ferramenta prática para tornar a análise de dependência avançada mais acessível. Os autores afirmam que a implementação apoia a crescente adoção da CGC em campos como bioinformática, ciências sociais e aprendizado de máquina aplicado, particularmente para seleção de características em tarefas de classificação. Ao melhorar a eficiência computacional através de vetorização e paralelização, o pacote permite a aplicação da CGC em cenários envolvendo dados grandes ou de alta dimensionalidade onde ferramentas anteriores poderiam ser muito lentas. Os autores mantêm um tom modesto, afirmando que o trabalho visa "tornar essas ferramentas mais acessíveis" e apoiar tarefas como seleção de características, ao mesmo tempo em que reconhecem que trabalhos futuros focarão na expansão da funcionalidade e documentação. O artigo não alega introduzir nova teoria estatística, mas sim fornecer uma realização eficiente e de código aberto da teoria existente.