Unbiased mixed variables distance

Resumo Técnico: Distância de Variáveis Mistas Não Enviesada

Enunciado do Problema
Em tarefas de análise de dados, como agrupamento (clustering), classificação e visualização, a medição da distância entre observações é fundamental. Um desafio significativo surge quando os conjuntos de dados contêm variáveis mistas — combinações de variáveis numéricas (contínuas ou discretas) e categóricas (binárias, ordinais ou nominais). Métodos existentes para calcular distâncias de variáveis mistas, notadamente o coeficiente de similaridade geral de Gower, frequentemente sofrem de "viés". Esse viés manifesta-se quando a contribuição de variáveis individuais para a distância total é indevidamente influenciada pelo seu tipo de medição, escala ou número de categorias, em vez de suas diferenças reais observadas. Consequentemente, certos tipos de variáveis podem dominar o cálculo da distância, levando a resultados distorcidos em análises subsequentes.

Metodologia
Os autores propõem uma formulação geral para construir distâncias de variáveis mistas "não enviesadas". A abordagem deles fundamenta-se em duas propriedades teóricas:

1. Aditividade Multivariada: A distância multivariada total é definida como a soma das distâncias univariadas específicas de cada variável. Isso garante que a contribuição de cada variável seja aditiva e explicitamente definida, evitando suposições geométricas implícitas de métricas não aditivas como a distância Euclidiana (que diminui a contribuição por variável conforme a dimensionalidade aumenta).
2. Comensurabilidade: As contribuições univariadas para a distância total devem ser comensuráveis, o que significa que seus valores esperados são constantes entre todas as variáveis, independentemente do tipo de variável, escala ou distribuição subjacente.

Os autores derivam uma formulação de distância geral:
$$d(x_i, x_l) = \sum_{j=1}^{p} w_j \delta_j(x_i, x_l)$$
onde $\delta_j$ quantifica a dissimilaridade para a variável $j$, e $w_j$ é um peso. Para alcançar a comensurabilidade, os pesos são definidos como o inverso da distância esperada para essa variável:
$$w_j = 1 / E[d_j(X_i, X_l)]$$

O artigo analisa sistematicamente como escolhas comuns de escala e distância violam essas propriedades:

• Variáveis Numéricas: Os autores avaliam a escala de desvio padrão, a escala de amplitude (usada na distância de Gower), a escala de amplitude robusta e a escala de componentes principais. Eles demonstram que, embora esses métodos padronizem as escalas, eles não garantem a comensurabilidade entre diferentes distribuições subjacentes (ex: Normal vs. Uniforme vs. Assimétrica).
• Variáveis Categóricas: Os autores revisam várias matrizes de dissimilaridade de categorias (ex: correspondência simples, Eskin, Frequência de Ocorrência, escala de Hennig-Liao e medidas baseadas em associação como Kullback-Leibler e Variância Total). Eles mostram que a distância média para variáveis categóricas é fortemente dependente do número de categorias e da distribuição das probabilidades das categorias.

Para construir uma distância não enviesada, os autores propõem estimar a distância média esperada para cada variável a partir dos dados observados (ou distribuições teóricas) e aplicar o inverso desse valor como um peso. Isso cria uma família de distâncias não enviesadas onde a "unidade" de medida é, efetivamente, a "distância média".

Principais Contribuições

• Formulação Geral: O artigo fornece um quadro flexível e geral para distâncias de variáveis mistas que satisfaz a aditividade multivariada e a comensurabilidade, permitindo várias implementações de $\delta_j$ e métodos de escala.
• Quantificação de Viés: Os autores derivam a magnitude dos vieses introduzidos por métodos populares (ex: distância de Gower, escala de Hennig-Liao) e demonstram como esses vieses variam com tipos de distribuição e número de categorias.
• Construção Não Enviesada: Eles fornecem um método concreto para corrigir esses vieses, ponderando as variáveis com base em suas distâncias médias empíricas ou teóricas, garantindo que os tipos e escalas de variáveis não ditem trivialmente a estrutura da distância.
• Avaliação: O estudo avalia tanto abordagens independentes (específicas da variável) quanto baseadas em associação (distribuição conjunta) para variáveis categóricas, mostrando como métodos baseados em associação podem refinar ainda mais os cálculos de distância em contextos mistos.

Resultados
Os autores validam suas descobertas através de um estudo de simulação e uma aplicação empírica utilizando dados de jogadores da FIFA:

• Simulação: Em um ambiente controlado com estruturas subjacentes conhecidas, os autores mostram que métodos não comensuráveis (como Gower padrão ou abordagens Euclidianas ingênuas) levam a contribuições de variáveis que são distorcidas pelo número de categorias ou tipo de variável. Por exemplo, a distância de Gower tende a sobreponderar variáveis categóricas, enquanto a escala de Hennig-Liao com distância Euclidiana pode sobreponderar variáveis numéricas.
• Recuperação de Estrutura: Ao recuperar uma configuração de baixa dimensão via Escalonamento Multidimensional (MDS), as variantes não enviesadas (especificamente a variante "Dependente Não Enviesada" usando medidas baseadas em associação) demonstraram desempenho superior na recuperação da verdadeira estrutura subjacente, particularmente conforme o número de categorias aumentava.
• Aplicação Empírica: A análise do conjunto de dados FIFA confirmou que métodos enviesados produzem distorções previsíveis na importância das variáveis e nas soluções de MDS. Os métodos não enviesados forneceram uma linha de base mais objetiva onde as contribuições das variáveis foram equilibradas de acordo com o princípio da comensurabilidade.

Significância e Alegações
Os autores afirmam que seu trabalho aborda uma questão fundamental na análise de dados baseada em distância: a falta de objetividade na forma como diferentes tipos de variáveis contribuem para a dissimilaridade total. Ao definir e construir distâncias não enviesadas, eles fornecem um ponto de partida mais neutro para a análise exploratória.

O artigo declara explicitamente modéstia quanto à otimalidade. Os autores não alegam que seu método proposto é a distância "ótima" para todos os cenários. Em vez disso, argumentam que uma distância "não enviesada" é aquela onde os tipos de variáveis, escalas e níveis de medição não impactam trivialmente a distância. Se o conhecimento de domínio sugere que variáveis específicas devem ser ponderadas mais pesadamente, isso pode ser feito intencionalmente; no entanto, o método proposto garante que tal ponderação seja uma escolha deliberada e não um artefato do método de cálculo da distância. A significância reside em fornecer uma formulação geral e teoricamente sólida que permite aos pesquisadores construir distâncias de variáveis mistas livres de vieses estruturais inerentes.