CliPS -- How to identify cluster distributions in Bayesian mixture models

Resumen Técnico: Procedimiento CliPS para la Identificación de Distribuciones de Clúster en Modelos de Mezcla Bayesianos

Autores: Gertraud Malsiner-Walli, Sylvia Frühwirth-Schnatter y Bettina Grün.

1. El Problema

El análisis de agrupamiento (clustering) basado en modelos, específicamente mediante mezclas finitas en un marco bayesiano, enfrenta dos desafíos principales que dificultan la identificación y validación de las distribuciones de los clústeres:

1. Incertidumbre sobre el número de clústeres: En muchas aplicaciones, el número real de grupos ($K^+$) no se conoce a priori. Los enfoques bayesianos deben inferir este número, a menudo utilizando modelos de mezclas de mezclas finitas (MFM) o procesos de Dirichlet, donde el número de componentes especificados en el modelo ($K$) puede ser mayor que el número de clústeres "llenos" o activos ($K^+$) en los datos.
2. El problema de la conmutación de etiquetas (Label Switching): Debido a la simetría de la verosimilitud en los modelos de mezcla, las cadenas de Markov Monte Carlo (MCMC) pueden permutar aleatoriamente las etiquetas de los componentes a lo largo de las iteraciones. Esto hace que los draws posteriores de los parámetros de los componentes no sean identificables directamente.
   • Limitación de métodos existentes: La mayoría de los métodos actuales se centran en obtener una partición de consenso de los datos o en reetiquetar los parámetros para forzar una identificación, pero no validan si la estructura de clúster inferida es realmente adecuada o si las distribuciones de los clústeres son distinguibles. A menudo, asumen que un modelo ajustado es válido incluso si los clústeres se superponen excesivamente.

2. Metodología: El Procedimiento CliPS

Los autores proponen CliPS (Clustering in the Parameter Space), un procedimiento que no solo resuelve el problema de la conmutación de etiquetas, sino que también valida la estructura del clúster y identifica las distribuciones de los clústeres.

La metodología se basa en la Representación de Proceso de Puntos (PPR) de un modelo de mezcla y sigue los siguientes pasos lógicos:

• Fundamento Teórico (PPR): Se visualizan los vectores de parámetros de los componentes ($\theta_k$) como puntos en un espacio de parámetros, donde las tamaños de los componentes ($\eta_k$) actúan como marcas. La idea central es que, aunque las distribuciones de los datos pueden superponerse, las distribuciones posteriores de los parámetros de los componentes (o funcionales de baja dimensión de estos) tienden a separarse a medida que aumenta el tamaño de la muestra.
• Flujo de Trabajo:
  1. Modelado: Especificar un modelo de mezcla bayesiano (con $K$ fijo o con un prior sobre $K$).
  2. Muestreo MCMC: Obtener draws posteriores de los parámetros y las asignaciones latentes.
  3. Agrupamiento en el Espacio de Parámetros: En lugar de agrupar los datos, se agrupan los draws de los parámetros de los componentes ($\theta_k^{(m)}$) o un funcional de baja dimensión $\phi(\theta_k)$ (ej. las medias en mezclas gaussianas) utilizando un algoritmo de clustering (como k-means).
  4. Validación (Tasa de No-Permutación):
     • Se verifica si la asignación de los draws a grupos en el espacio de parámetros forma una permutación válida de los índices $\{1, ..., K\}$.
     • Si los draws de diferentes componentes se agrupan en el mismo grupo (o no se separan claramente), la secuencia de clasificación no es una permutación.
     • Se calcula la tasa de no-permutación ($\nu$). Un $\nu$ bajo indica que los clústeres son distinguibles y el modelo es adecuado. Un $\nu$ alto sugiere que las distribuciones de los clústeres se superponen demasiado o que el modelo está sobreajustado.
  5. Reetiquetado y Eliminación:
     • Si el modelo es adecuado, se eliminan las iteraciones con no-permutaciones.
     • Se reetiquetan los draws restantes utilizando la inversa de la permutación encontrada, logrando un modelo identificado único.
     • En el caso de $K$ desconocido, se filtran primero las iteraciones donde el número de componentes llenos ($K_+$) coincide con la moda de la distribución posterior de $K_+$, eliminando los componentes vacíos (redundantes) antes de aplicar el clustering en el espacio de parámetros.

3. Contribuciones Clave

• Validación Intrínseca: A diferencia de los métodos de reetiquetado tradicionales, CliPS proporciona una métrica cuantitativa (la tasa de no-permutación) para evaluar si la solución de clúster inferida es estadísticamente sólida y si las distribuciones de los clústeres son realmente separables.
• Generalidad: El procedimiento es agnóstico al tipo de núcleo de clustering (kernel). Se aplica a mezclas gaussianas multivariadas, análisis de clases latentes (datos categóricos) y mezclas de cadenas de Markov.
• Manejo de $K$ Desconocido: Integra de manera robusta la estimación del número de clústeres mediante modelos de mezclas de mezclas finitas (MFM) y procesos de Dirichlet, filtrando componentes redundantes para identificar la estructura subyacente real.
• Uso de Funcionales de Baja Dimensión: Permite utilizar subconjuntos de parámetros (ej. solo las medias) para la visualización y el clustering en el espacio de parámetros, lo que facilita la interpretación en modelos de alta dimensión.

4. Resultados y Aplicaciones

Los autores ilustran el procedimiento con tres estudios de caso empíricos y ejemplos simulados:

1. Datos Simulados (Gaussianos Multivariados): Demuestran que cuando los clústeres son distinguibles, la tasa de no-permutación es cero, permitiendo una identificación perfecta. Cuando se fuerza un modelo con demasiados componentes, la tasa de no-permutación aumenta, señalando la inadecuación del modelo.
2. Datos de Diabetes (Gaussianos Multivariados): Se aplica un MFM dinámico. El modelo infiere correctamente $K^+=3$ clústeres. La tasa de no-permutación es cero, confirmando que las medias de los clústeres están bien separadas. El modelo logra una precisión del 85.5% al comparar con las etiquetas reales.
3. Datos de Miedo (Análisis de Clases Latentes): Se utiliza un proceso de Dirichlet para datos categóricos. El procedimiento identifica dos perfiles de comportamiento (inhibido vs. no inhibido). La tasa de no-permutación es cero, y las probabilidades estimadas coinciden estrechamente con los benchmarks de la literatura.
4. Datos de Salarios (Cadenas de Markov): Se aplica a series temporales categóricas de movilidad laboral. El modelo identifica 8 clústeres significativos basados en las probabilidades de persistencia. La tasa de no-permutación es muy baja (1.4%), permitiendo caracterizar perfiles de movilidad laboral distintos (ej. alto riesgo de desempleo vs. ascenso salarial).

5. Significado e Impacto

El procedimiento CliPS representa un avance significativo en el análisis de agrupamiento bayesiano porque cambia el paradigma de "obtener una partición a cualquier costo" a "validar la existencia y separabilidad de los clústeres".

• Rigor Estadístico: Proporciona una herramienta para detectar cuándo un modelo de mezcla no es adecuado para los datos (por superposición excesiva de clústeres) antes de interpretar los resultados.
• Interpretabilidad: Al identificar y caracterizar las distribuciones de los clústeres (no solo las asignaciones de datos), permite inferencias poblacionales más robustas, esenciales en campos como el marketing, la epidemiología o las ciencias sociales.
• Flexibilidad: Ofrece un marco unificado para tratar modelos paramétricos, no paramétricos y semiparamétricos bajo un mismo enfoque de validación.

En conclusión, CliPS no es solo un método de post-procesamiento para resolver la conmutación de etiquetas, sino un mecanismo integral de diagnóstico que asegura que la estructura de clúster inferida sea estadísticamente justificable y útil para la inferencia sobre la población de interés.