Unbiased mixed variables distance

Resumen Técnico: Distancia de Variables Mixtas Sin Sesgo

Planteamiento del Problema
En las tareas de análisis de datos como el agrupamiento (clustering), la clasificación y la visualización, la medición de la distancia entre observaciones es fundamental. Un desafío significativo surge cuando los conjuntos de datos contienen variables mixtas: combinaciones de variables numéricas (continuas o discretas) y categóricas (binarias, ordinales o nominales). Los métodos existentes para calcular distancias de variables mixtas, notablemente el coeficiente de similitud general de Gower, a menudo sufren de "sesgo". Este sesgo se manifiesta cuando la contribución de las variables individuales a la distancia total se ve indebidamente influenciada por su tipo de medición, escala o número de categorías, en lugar de por sus diferencias reales observadas. Consecuentemente, ciertos tipos de variables pueden dominar el cálculo de la distancia, provocando resultados distorsionados en los análisis posteriores.

Metodología
Los autores proponen una formulación general para construir distancias de variables mixtas "sin sesgo". Su enfoque se fundamenta en dos propiedades teóricas:

1. Aditividad Multivariante: La distancia multivariante global se define como la suma de las distancias univariantes específicas de cada variable. Esto asegura que la contribución de cada variable sea aditiva y esté explícitamente definida, evitando las suposiciones geométricas implícitas de las métricas no aditivas como la distancia euclidiana (la cual disminuye la contribución por variable a medida que aumenta la dimensionalidad).
2. Conmensurabilidad: Las contribuciones univariantes a la distancia global deben ser conmensurables, lo que significa que sus valores esperados son constantes en todas las variables, independientemente del tipo de variable, la escala o la distribución subyacente.

Los autores derivan una formulación de distancia general:
$$d(x_i, x_l) = \sum_{j=1}^{p} w_j \delta_j(x_i, x_l)$$
donde $\delta_j$ cuantifica la disimilitud para la variable $j$, y $w_j$ es un peso. Para lograr la conmensurabilidad, los pesos se definen como el inverso de la distancia esperada para esa variable:
$$w_j = 1 / E[d_j(X_i, X_l)]$$

El artículo analiza sistemáticamente cómo las elecciones comunes de escala y distancia violan estas propiedades:

• Variables Numéricas: Los autores evalúan la escala de desviación estándar, la escala de rango (utilizada en la distancia de Gower), la escala de rango robusta y la escala de componentes principales. Demuestran que, si bien estos métodos estandarizan las escalas, no garantizan la conmensurabilidad entre diferentes distribuciones subyacentes (por ejemplo, Normal vs. Uniforme vs. Sesgada).
• Variables Categóricas: Los autores revisan varias matrices de disimilitud de categorías (por ejemplo, coincidencia simple, Eskin, frecuencia de ocurrencia, escalado de Hennig-Liao, y medidas basadas en asociación como Kullback-Leibler y varianza total). Muestran que la distancia media para las variables categóricas depende fuertemente del número de categorías y de la distribución de las probabilidades de las categorías.

Para construir una distancia sin sesgo, los autores proponen estimar la distancia media esperada para cada variable a partir de los datos observados (o distribuciones teóricas) y aplicar el inverso de este valor como un peso. Esto crea una familia de distancias sin sesgo donde la "unidad" de medida es, efectivamente, la "distancia media".

Contribuciones Clave

• Formulación General: El artículo proporciona un marco flexible y general para las distancias de variables mixtas que satisface la aditividad multivariante y la conmensurabilidad, permitiendo diversas implementaciones de $\delta_j$ y métodos de escalado.
• Cuantificación del Sesgo: Los autores derivan la magnitud de los sesgos introducidos por métodos populares (por ejemplo, la distancia de Gower, el escalado de Hennig-Liao) y demuestran cómo estos sesgos varían con los tipos de distribución y el número de categorías.
• Construcción Sin Sesgo: Proporcionan un método concreto para corregir estos sesgos mediante el pesaje de las variables basándose en sus distancias medias empíricas o teóricas, asegurando que los tipos de variables y las escalas no dicten trivialmente la estructura de la distancia.
• Evaluación: El estudio evalúa tanto los enfoques independientes (específicos de la variable) como los basados en asociaciones (distribución conjunta) para las variables categóricas, mostrando cómo los métodos basados en asociaciones pueden refinar aún más los cálculos de distancia en entornos mixtos.

Resultados
Los autores validan sus hallazgos a través de un estudio de simulación y una aplicación empírica utilizando datos de jugadores de la FIFA:

• Simulación: En un entorno controlado con estructuras subyacentes conocidas, los autores muestran que los métodos no conmensurables (como el Gower estándar o los enfoques euclidianos ingenuos) conducen a contribuciones de variables que están sesgadas por el número de categorías o el tipo de variable. Por ejemplo, la distancia de Gower tiende a sobreponderar las variables categóricas, mientras que el escalado de Hennig-Liao con la distancia euclidiana puede sobreponderar las variables numéricas.
• Recuperación de Estructura: Al recuperar una configuración de baja dimensión mediante el Escalamiento Multidimensional (MDS), las variantes sin sesgo (específicamente la variante "Dependiente Sin Sesgo" utilizando medidas basadas en asociación) demostraron un desempeño superior en la recuperación de la estructura subyacente real, particularmente a medida que aumentaba el número de categorías.
• Aplicación Empírica: El análisis del conjunto de datos de la FIFA confirmó que los métodos sesgados producen distorsiones predecibles en la importancia de las variables y en las soluciones de MDS. Los métodos sin sesgo proporcionaron una base más objetiva donde las contribuciones de las variables se equilibraron de acuerdo con el principio de conmensurabilidad.

Significancia y Reivindicaciones
Los autores afirman que su trabajo aborda un problema fundamental en el análisis de datos basado en distancias: la falta de objetividad en cómo los diferentes tipos de variables contribuyen a la disimilitud total. Al definir y construir distancias sin sesgo, proporcionan un punto de partida más neutral para el análisis exploratorio.

El artículo declara explícitamente modestia respecto a la optimalidad. Los autores no pretenden que su método propuesto sea la distancia "óptima" para todos los escenarios. En su lugar, argumentan que una distancia "sin sesgo" es aquella donde los tipos de variables, las escalas y los niveles de medición no impactan trivialmente la distancia. Si el conocimiento del dominio sugiere que ciertas variables deben ponderarse más fuertemente, esto puede hacerse intencionalmente; sin embargo, el método propuesto garantiza que tal ponderación sea una elección deliberada y no un artefacto del método de cálculo de la distancia. La significancia radica en proporcionar una formulación general y teóricamente sólida que permita a los investigadores construir distancias de variables mixtas que estén libres de sesgos estructurales inherentes.