Unsupervised Learning Under a General Semiparametric Clusterwise Elliptical Distribution: Efficient Estimation, Optimal Clustering, and Consistent Cluster Selection

Resumen Técnico

1. Planteamiento del Problema

El análisis de conglomerados (clustering) es fundamental en disciplinas como la bioinformática y el marketing para descubrir subpoblaciones latentes sin etiquetas previas. Sin embargo, los métodos tradicionales enfrentan limitaciones significativas:

• Rigidez de los modelos paramétricos: Los enfoques basados en mezclas gaussianas (como EM estándar) asumen distribuciones normales específicas, lo que puede llevar a una mala especificación del modelo si los datos reales tienen colas pesadas o asimetrías (común en datos financieros, médicos o de comportamiento).
• Limitaciones geométricas: Algoritmos como $k$-medidas asumen clusters esféricos y de tamaño similar, lo cual falla en datos heterogéneos donde los clusters pueden ser elípticos, correlacionados o de formas irregulares.
• Ineficiencia en la selección de clusters: Los criterios de información estándar (como BIC) pueden no ser consistentes o robustos bajo distribuciones semiparamétricas generales.

El objetivo del artículo es desarrollar un marco de aprendizaje no supervisado que sea robusto (no asuma una densidad generadora específica), flexible (maneje estructuras elípticas generales) y eficiente (logre límites de eficiencia semiparamétrica).

2. Metodología Propuesta

Los autores proponen un modelo de Distribución Elíptica por Conglomerados Semiparamétrica (SCED).

A. El Modelo SCED:
La densidad condicional de una variable continua $X$ dado un cluster $C=c$ se modela como:
$$f(x|c; \theta) = |\Sigma|^{-1/2} f_p\left((x - \mu_c)^\top \Sigma^{-1} (x - \mu_c)\right)$$
Donde:

• $\mu_c$ son los vectores de media específicos del cluster.
• $\Sigma$ es una matriz de dispersión invariante al cluster (compartida).
• $f_p$ es una función generadora de densidad desconocida (no paramétrica), lo que permite cubrir una amplia gama de distribuciones (Normal, $t$ de Student, etc.) sin especificarlas a priori.

B. Estrategia de Estimación en Dos Fases:
El método se divide en dos etapas principales para lograr consistencia y eficiencia:

1. Fase 1: Estimación con Penalización de Separación (Separation Penalty Estimation):

   • Se utiliza una representación "por sujeto" de los datos.
   • Se minimiza una suma ponderada de cuadrados con una penalización $\ell_1$ de separación:
     $$SS_{sp}(\beta, \mu; \lambda) = \frac{1}{2}\sum (X_i - \beta_i)^\top W (X_i - \beta_i) + \lambda \sum \min_c \|W^{1/2}(\beta_i - \mu_c)\|_1$$
   • Objetivo: Recuperar consistentemente la estructura de los clusters y estimar los vectores de media iniciales.
   • Algoritmo: Se resuelve mediante programación de diferencia de funciones convexas (DCFP) combinada con el algoritmo ADMM (Alternating Direction Method of Multipliers), con una estrategia de inicialización basada en $k$-medidas refinada.
   • Resultado: Un estimador inicial que recupera los clusters verdaderos con probabilidad 1 cuando $n \to \infty$.

2. Fase 2: Estimación de Máxima Verosimilitud Pseudo (Pseudo-MLE) y Refinamiento:

   • Utilizando la asignación de clusters de la Fase 1, se estima la función generadora de densidad $f_p$ mediante suavizado por kernel (con corrección de frontera).
   • Se maximiza una función de pseudo-verosimilitud (o pseudo-verosimilitud marginal) para obtener estimadores asintóticamente eficientes de los parámetros $\theta$.
   • Regla de Clustering Óptima: Se recalculan las asignaciones de los clusters maximizando la probabilidad de pertenencia correcta (clasificador Bayesiano) basada en las probabilidades posteriores estimadas.
   • Este proceso se itera hasta la convergencia.

C. Selección del Número de Clusters:
Se propone un nuevo criterio de información semiparamétrico (SPIC):
$$SPIC(k) = -\frac{1}{n} p\ell(k) + \frac{k \log n}{2n^{4/5}} + \frac{k(p+1) \log n}{2n}$$
Este criterio penaliza la complejidad del modelo y garantiza la selección consistente del número verdadero de clusters ($k^*$) bajo condiciones de regularidad.

3. Contribuciones Clave

1. Marco SCED General: Un modelo que subsume los modelos de mezclas gaussianas y $t$ por conglomerados, evitando la mala especificación al dejar la generadora de densidad libre.
2. Eficiencia Semiparamétrica: Se demuestra que los estimadores propuestos alcanzan el límite de eficiencia semiparamétrica, superando a los métodos puramente paramétricos cuando el modelo subyacente es desconocido.
3. Regla de Clustering Óptima: Un algoritmo que maximiza asintóticamente la probabilidad de asignación correcta de miembros, superando a las reglas heurísticas tradicionales.
4. Algoritmo Escalable: Una implementación computacional robusta que combina DCFP y ADMM, con garantías de convergencia y una estrategia de inicialización que mejora la estabilidad.
5. Criterio de Selección Consistente (SPIC): Un método para determinar el número de clusters que es consistente teóricamente y superior a BIC en escenarios semiparamétricos.

4. Resultados Empíricos

A. Simulaciones de Monte Carlo:

• Se evaluaron escenarios con diferentes dimensiones ($p$), números de clusters ($k$) y grados de superposición ($\sigma$).
• Rendimiento de Agrupamiento: El método propuesto (especialmente la versión de clustering óptimo, OC) superó consistentemente a $k$-medidas, métodos de inicialización (IS) y estimación por penalización (SP), logrando índices de Rand (RI) cercanos a 1.0 en condiciones de alta separación.
• Precisión de Estimación: Los estimadores de media y matriz de dispersión mostraron errores cuadráticos medios normalizados (RSE) significativamente menores que los métodos paramétricos (MMLn, MMLt) cuando la densidad real no era normal.
• Selección de $k$: El SPIC seleccionó correctamente el número de clusters en la mayoría de los escenarios, mientras que BIC tendía a sobreestimar o subestimar dependiendo de la configuración.

B. Aplicaciones del Mundo Real:

1. Segmentación de Clientes (Marketing):

   • Datos: Transacciones de un supermercado norteamericano (2018).
   • Hallazgo: El modelo identificó 3 clusters distintos con patrones de compra temporales y por categoría.
   • Valor: Reveló que los modelos paramétricos (Normal/t) no ajustaban bien los datos (test de bondad de ajuste $D > 0$), mientras que el enfoque semiparamétrico capturó la heterogeneidad real, permitiendo una segmentación más precisa para marketing dirigido.

2. Estratificación de Pacientes (Diabetes Pima):

   • Datos: Biomarcadores clínicos de mujeres Pima.
   • Hallazgo: Se identificaron 4 clusters latentes. Los clusters 2 y 4 mostraron una prevalencia de diabetes mucho más alta (54-58%) que los clusters 1 y 3 (12-13%).
   • Valor: La estructura latente no era reducible simplemente a las etiquetas de diabetes o gravididad, revelando perfiles clínicos subyacentes complejos. El modelo semiparamétrico superó a los modelos paramétricos en ajuste y proporcionó estimaciones de parámetros más estables.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la flexibilidad de los métodos no paramétricos y la eficiencia de los paramétricos en el contexto de agrupamiento.

• Robustez: Permite analizar datos complejos y ruidosos (comunes en medicina y finanzas) sin depender de supuestos de normalidad que a menudo se violan.
• Teoría Sólida: Proporciona garantías teóricas de consistencia y eficiencia que faltaban en muchos métodos de clustering semiparamétricos anteriores.
• Aplicabilidad Práctica: Ofrece un algoritmo computacionalmente viable para grandes conjuntos de datos, con aplicaciones directas en personalización de marketing, diagnóstico médico y descubrimiento de conocimiento en datos no etiquetados.

En resumen, el artículo establece un nuevo estándar para el aprendizaje no supervisado en distribuciones elípticas generales, ofreciendo una solución teóricamente fundamentada y empíricamente superior para la estimación, el agrupamiento óptimo y la selección de modelos.