A Deterministic Information Bottleneck Method for Clustering Mixed-Type Data

Resumen Técnico: Un Método de Cuello de Botella de Información Determinista para el Agrupamiento de Datos de Tipos Mixtos

Planteamiento del Problema
El agrupamiento (clustering) de datos de tipos mixtos —conjuntos de datos que comprenden tanto variables continuas como categóricas (nominales y ordinales)— presenta desafíos significativos debido a la heterogeneidad de los tipos de variables. Los algoritmos de agrupamiento tradicionales suelen tener dificultades para equilibrar las contribuciones de estos tipos de variables dispares, lo que conduce a estructuras de clústeres subóptimas. Si bien los métodos existentes, como K-Prototypes, KAMILA y los enfoques basados en distancias (por ejemplo, PAM con disimilitud de Gower), ofrecen soluciones, a menudo dependen de supuestos de centroides o métricas de distancia específicas que pueden no capturar plenamente la estructura de información subyacente de los datos heterogéneos. Además, muchos enfoques existentes carecen de un marco teórico unificado que maneje de forma natural variables continuas, nominales y ordinales sin requerir un preprocesamiento extensivo, como la codificación one-hot, que puede oscurecer las estructuras de los clústeres y aumentar la dimensionalidad.

Metodología: DIBmix
El artículo propone DIBmix, un algoritmo de agrupamiento basado en el marco del Cuello de Botella de Información Determinista (DIB), extendido para manejar datos de tipos mixtos. El objetivo central es encontrar una representación comprimida $T$ (clústeres) de los datos de entrada $X$ que maximice la información mutua con la ubicación de los datos $Y$ en el espacio de atributos mixtos, sujeto a una restricción de compresión.

Componentes metodológicos clave:

1. Núcleos de Producto Generalizados: Para estimar la densidad conjunta $p(x, y)$, los autores emplean un núcleo de producto generalizado. Este integra:

   • Núcleos Gaussianos para variables continuas.
   • Núcleos de Aitchison & Aitken para variables nominales (categóricas no ordenadas).
   • Núcleos de Li & Racine para variables ordinales (categóricas ordenadas).
     Este enfoque evita asumir la independencia de las variables, utilizando el producto de núcleos como un mecanismo de ponderación para una estimación de densidad robusta.

2. Marco de Optimización: El algoritmo busca minimizar la función objetivo $H(T) - \beta I(Y; T)$, donde $H(T)$ es la entropía de las asignaciones de clúster (actuando como un regularizador para los tamaños de los clústeres) e $I(Y; T)$ es la información mutua entre los clústeres y las ubicaciones de los datos. El parámetro $\beta$ controla el compromiso (trade-off) entre compresión y relevancia.

3. Selección Adaptativa de Hiperparámetros:

   • Selección de Ancho de Banda (Bandwidth): Se propone una estrategia sistemática para igualar las contribuciones de las variables continuas y categóricas. Esto implica definir relaciones de núcleos (por ejemplo, la relación de núcleo del vecino más lejano promedio para variables continuas y relaciones de desacuerdo para variables categóricas) y ajustar los anchos de banda para asegurar que ningún tipo de variable domine la matriz de similitud.
   • $\beta$ Adaptativo: A diferencia de las implementaciones estándar de DIB donde $\beta$ es fijo, DIBmix emplea un esquema de actualización adaptativa para el parámetro de regularización $\beta$ en cada iteración. Esto asegura que el algoritmo converja a una solución con exactamente $C$ clústeres no vacíos, incluso cuando los datos contienen tamaños de clúster desequilibrados, al evitar que el clúster más pequeño desaparezca.

4. Escalabilidad: Para grandes conjuntos de datos, el método utiliza la aproximación de Nyström para reducir la complejidad computacional de la construcción de la matriz de similitud completa de $O(n^2)$ a $O(n\sqrt{n})$, haciendo que el enfoque sea factible para aplicaciones a gran escala.

Contribuciones Clave
El artículo describe tres contribuciones primarias:

1. Extensión del Marco: Adaptar el marco DIB para manejar de forma nativa datos de tipos mixtos (continuos, nominales y ordinales) sin requerir reducción de dimensionalidad o codificación one-hot.
2. Estrategia Sistemática de Hiperparámetros: Proponer un método para seleccionar los anchos de banda y el parámetro de regularización $\beta$ que equilibre las contribuciones de las variables y garantice una partición válida en un número predeterminado de clústeres, abordando el problema de los tamaños de clúster desequilibrados.
3. Evaluación Exhaustiva: Comparar DIBmix con cuatro métodos establecidos (KAMILA, K-Prototypes, FAMD con K-Means y PAM con disimilitud de Gower) a través de extensas simulaciones y conjuntos de datos del mundo real.

Resultados
El rendimiento de DIBmix se evaluó mediante:

• Simulaciones: Se generaron 28,800 conjuntos de datos sintéticos variando en tamaño de muestra, número de clústeres, proporciones de variables, niveles de solapamiento y formas de los clústeres.
  • DIBmix logró el Índice de Rand Ajustado (ARI) y la Información Mutua Ajustada (AMI) medianos más altos en comparación con todos los competidores.
  • Demostró una robustez particular en escenarios con tamaños de clúster desequilibrados y solapamiento de clústeres de bajo a moderado.
  • Los tamaños de efecto (partially $\eta^2$) indicaron que DIBmix superó consistentemente a sus competidores, con valores que oscilaron entre 0.32 y 0.99.
• Pruebas de Referencia del Mundo Real: El método fue probado en diez conjuntos de datos de la UCI disponibles públicamente.
  • DIBmix logró el mejor ARI en cuatro de los diez conjuntos de datos.
  • Funcionó mejor cuando los conjuntos de datos contenían una mezcla equilibrada de tipos de variables.
  • Su rendimiento fue competitivo, aunque ligeramente inferior a FAMD o K-Prototypes en conjuntos de datos dominados casi exclusivamente por un tipo de variable, ya sea categórica o continua.
  • Una prueba de Friedman en los diez conjuntos de datos mostró que DIBmix tenía el mejor rango promedio (2.45), aunque no se alcanzó la significancia estadística debido al pequeño número de conjuntos de datos y al umbral de diferencia crítica.

Significancia y Reivindicaciones
Los autores afirman que DIBmix establece una alternativa con base teórica para el agrupamiento de datos de tipos mixtos. Su significancia radica en:

• Manejo del Desequilibrio: A diferencia de los algoritmos tradicionales basados en centroides que a menudo favorecen clústeres de igual tamaño, la función objetivo basada en la entropía de DIBmix permite y maneja eficazmente tamaños de clúster altamente desequilibrados.
• Rigor Teórico: Al utilizar el principio del Cuello de Botella de Información, el método proporciona una forma fundamentada de extraer información relevante mientras se comprimen los datos, ofreciendo una perspectiva diferente de los enfoques basados en distancias o modelos.
• Interpretabilidad: El marco permite la cuantificación de la importancia de las variables mediante la información mutua, ayudando a identificar qué características impulsan la estructura de los clústeres (por ejemplo, identificando biomarcadores clínicamente relevantes en un conjunto de datos de cáncer de próstata).

El artículo concluye que, si bien DIBmix es altamente competitivo y robusto, particularmente para datos genuinamente mixtos, puede no ser la opción óptima para conjuntos de datos donde un tipo de variable domina abrumadoramente. Los autores reconocen limitaciones respecto a la selección del ancho de banda en escenarios extremos y el supuesto de homogeneidad de los clústeres, sugiriendo que trabajos futuros podrían explorar anchos de banda locales y la robustez ante valores atípicos (outliers).