Inference for Clustering: Conformal Sets for Cluster Labels

Resumen Técnico: Inferencia para Agrupamiento (Clustering) mediante Conjuntos Conformales

1. El Problema: Incertidumbre en las Etiquetas de Agrupamiento

El agrupamiento (clustering) es una tarea fundamental en el aprendizaje no supervisado, utilizada ampliamente en biomedicina, análisis de redes y marketing. Sin embargo, existe un vacío crítico en la literatura: la falta de cuantificación rigurosa de la incertidumbre en las asignaciones de etiquetas.

• Ambigüedad actual: La incertidumbre en el clustering se ha abordado tradicionalmente desde la existencia de los grupos (e.g., SigClust) o la incertidumbre en la posición de los centroides. Sin embargo, la incertidumbre en las etiquetas mismas (a qué grupo pertenece un punto de datos específico) rara vez se cuantifica con garantías válidas.
• Desafíos específicos:
  • Las etiquetas son discretas e invariantes a permutaciones, lo que impide tratarlas como objetos suaves o paramétricos con errores de estimación clásicos.
  • La mayoría de los algoritmos de clustering son deterministas y no generan predicciones fuera de la muestra con significado probabilístico.
  • Violación de la Intercambiabilidad: Los métodos de inferencia conformal estándar requieren que las etiquetas sean observadas y que los datos sean intercambiables. En el clustering, las etiquetas se estiman a partir de los datos, lo que introduce una dependencia covariante y rompe la condición de intercambiabilidad necesaria para las garantías de cobertura estándar, llevando a una subcobertura severa (under-coverage) si se aplican métodos ingenuos.

2. Metodología Propuesta: Agrupamiento Conformal Dividido con Etiquetas Estocásticas

Los autores proponen un marco novedoso basado en la inferencia conformal para construir conjuntos de confianza para las etiquetas de clustering en cualquier punto de consulta.

Enfoque Central:
En lugar de usar etiquetas duras (deterministas), el método introduce etiquetas estocásticas para capturar la incertidumbre inherente del proceso de agrupamiento.

Algoritmo Propuesto (Algoritmo 1):

1. División de Datos: Se divide el conjunto de datos no etiquetado en un conjunto de entrenamiento ($I_{tr}$) y un conjunto de calibración ($I_{ca}$).
2. Clustering Estocástico:
   • Se aplica un algoritmo de clustering estocástico (que muestrea etiquetas de distribuciones de probabilidad suave, no etiquetas fijas) tanto al conjunto de entrenamiento como al de calibración.
   • Esto genera etiquetas $Y_i$ que son muestras de una distribución categórica basada en las probabilidades suaves del algoritmo.
3. Entrenamiento del Clasificador: Se entrena un clasificador suave ($\hat{\pi}$) en los datos de entrenamiento etiquetados estocásticamente.
4. Alineación de Permutaciones: Dado que el clustering en entrenamiento y calibración puede producir etiquetas con permutaciones diferentes, se resuelve un problema de asignación lineal para alinear las etiquetas del clustering con las predicciones del clasificador en el conjunto de calibración.
5. Construcción del Conjunto de Confianza:
   • Se calculan puntuaciones de conformidad (usando la puntuación de cuantil inverso generalizado) en el conjunto de calibración.
   • Para un nuevo punto $x$, se construye el conjunto de confianza $\hat{C}(x)$ incluyendo todas las etiquetas cuya puntuación de conformidad esté por debajo del cuantil empírico adecuado de las puntuaciones de calibración.

Diferencia con Enfoques Ingenuos:

• Enfoque de Corte (Cutoff): Usar directamente las probabilidades suaves y cortar en un umbral falla porque las etiquetas estimadas no están bien calibradas, resultando en conjuntos demasiado grandes (conservadores) o demasiado pequeños (subcobertura).
• Clustering Conformal Dividido Ingenuo (Etiquetas Duras): Usar etiquetas deterministas rompe la intercambiabilidad y la estabilidad, causando una subcobertura grave.

3. Contribuciones Clave

1. Marco Teórico para Clustering No Supervisado: Es uno de los primeros marcos que aplica la inferencia conformal a un problema puramente no supervisado para cuantificar la incertidumbre de las etiquetas, de manera agnóstica al modelo.
2. Garantías de Cobertura Marginal Válido: Se demuestra que el método logra una cobertura marginal válida ($1-\alpha$) incluso cuando las etiquetas son estimadas, siempre que se utilicen etiquetas estocásticas.
3. Límites de Muestra Finita: Se establece un límite inferior para la cobertura que depende de dos propiedades del algoritmo de clustering:
   • Consistencia: El error de estimación de las probabilidades de las etiquetas suaves.
   • Estabilidad "Replace-One": Cuánto cambia la distribución conjunta de las etiquetas si se reemplaza un punto de datos por otro.
   • Resultado: La subcobertura es controlada por la suma de estos dos términos de error.
4. Validación Asintótica: Se prueba que bajo condiciones de modelos de mezcla paramétricos correctamente especificados (donde los parámetros se estiman consistentemente), la cobertura converge a $1-\alpha$ asintóticamente.

4. Resultados Empíricos

Los autores validan su método mediante simulaciones y datos reales:

• Simulaciones (Modelos de Mezcla):
  • Se probaron Modelos de Mezcla Gaussianos (GMM) y Gamma (GaMM) en dimensiones bajas y altas.
  • Cobertura: El método propuesto (Split CC Stochastic) alcanzó consistentemente la cobertura objetivo (ej. 90%), mientras que los métodos ingenuos (con etiquetas duras o cortes directos) fallaron sistemáticamente (subcobertura o conjuntos excesivamente grandes).
  • Tamaño del Conjunto: Los conjuntos de confianza generados fueron informativos: pequeños (singleton) en regiones de alta certeza y más grandes (múltiples etiquetas) en las fronteras de los clusters donde la incertidumbre es alta.
• Aplicación Real (Secuenciación de ARN de célula única):
  • Se aplicó al conjunto de datos PBMC-3K para identificar tipos celulares.
  • Hallazgos: El método identificó correctamente alta certeza para tipos celulares distintivos (células B y NK) y mayor incertidumbre (conjuntos más grandes) para tipos celulares biológicamente similares o en estados de transición (células T, monocitos, células dendríticas).
  • Esto demuestra la utilidad práctica para interpretar la fiabilidad de la identificación de tipos celulares en biología.

5. Significado e Impacto

• Interpretabilidad y Confianza: Proporciona a los investigadores una herramienta para distinguir entre asignaciones de clusters confiables y aquellas que son inherentemente ambiguas, mejorando la toma de decisiones basada en datos.
• Rigor Estadístico: Transforma el clustering de una herramienta puramente exploratoria a una con garantías estadísticas formales de inferencia, sin asumir distribuciones específicas de los datos (libre de distribución).
• Puente entre Aprendizaje No Supervisado e Inferencia: Cierra la brecha entre el aprendizaje no supervisado y la inferencia libre de distribución, abriendo nuevas vías para la validación de resultados en ciencia de datos y biomedicina.

En conclusión, el artículo presenta una solución robusta al problema de la "caja negra" en el clustering, ofreciendo conjuntos de confianza que cuantifican explícitamente la incertidumbre en las etiquetas, validada tanto teóricamente como empíricamente.