Weighted Conformal Clustering

Resumen Técnico: Agrupamiento Conformal Ponderado

Formulación del Problema
El agrupamiento (clustering) es una herramienta fundamental para descubrir estructuras latentes en datos no etiquetados, sin embargo, los procesos estándar suelen resultar en asignaciones "duras" de observaciones a grupos sin una cuantificación rigurosa de la incertidumbre de la asignación. Aunque los métodos existentes abordan la incertidumbre mediante bootstrapping, pruebas de existencia de grupos globales o conjuntos creíbles bayesianos, a menudo pasan por alto la incertidumbre específica inherente a la asignación de observaciones individuales.

Un trabajo reciente de [11] introdujo un marco de inferencia conformal para el agrupamiento al tratar la asignación de etiquetas como un problema predictivo. No obstante, existe una limitación teórica crítica: las etiquetas de calibración utilizadas en [11] son sintéticas, generadas por un algoritmo de agrupamiento dependiente de los datos, en lugar de ser etiquetas de verdad fundamental observadas. En consecuencia, el supuesto de intercambiabilidad requerido para una predicción conformal válida se ve violado, lo que conduce a una posible subcobertura. El desafío consiste en construir conjuntos de confianza para las etiquetas de los grupos que mantengan garantías de cobertura en muestras finitas a pesar de este desajuste distributivo entre las etiquetas de calibración sintéticas y las etiquetas latentes de verdad fundamental no observadas.

Metodología
Los autores proponen un marco de Agrupamiento Conformal Ponderado que aborda el desajuste distributivo formulando el problema como un desplazamiento de la distribución de etiquetas condicional. La metodología central procede en tres etapas:

1. Agrupamiento Conformal Dividido con Pesos de Oráculo:
   Los autores derivan primero un procedimiento "oráculo" que logra una cobertura marginal exacta en muestras finitas. Este enfoque utiliza la predicción conformal ponderada, donde los pesos se construcen para corregir la discrepancia entre la distribución de etiquetas sintéticas (inducida por el algoritmo de agrupamiento) y la verdadera distribución de etiquetas latentes. Los pesos se definen como razones de verosimilitud que comparan la densidad de etiquetas condicional verdadera $p^*_{Y|X}$ con las probabilidades de etiquetas sintéticas generadas por el algoritmo de agrupamiento. Aunque es teóricamente sólido, este procedimiento de oráculo es computacionalmente intratable porque requiere evaluar la regla de agrupamiento en conjuntos de datos aumentados de "dejar uno fuera" (leave-one-out) para cada punto de calibración y punto de prueba.

2. Mecanismo de Calibración Aumentada:
   Para hacer que este método sea computacionalmente factible, los autores introducen un novedoso mecanismo de calibración aumentada. En lugar de ajustar el algoritmo de agrupamiento por separado en el conjunto de calibración y repetidamente en conjuntos de leave-one-out, el algoritmo ajusta el modelo de agrupamiento una sola vez en un conjunto de datos aumentado $D_{aug} = D_{ca} \cup \{x\}$, donde $D_{ca}$ es el conjunto de calibración y $x$ es el punto de prueba. Este ajuste único permite que los términos de verosimilitud sintética se factoricen y se cancelen durante la normalización, reduciendo los pesos a una forma de razón de verosimilitud puntual. Este mecanismo tiende un puente entre los enfoques de conformal completo y de conformal dividido, eliminando la necesidad de reajustes repetidos.

3. Construcción de Pesos Estimados:
   Dado que la verdadera densidad condicional $p^*_{Y|X}$ es desconocida, el método reemplaza los pesos del oráculo con pesos estimados utilizando un clasificador suave $\hat{\pi}$ entrenado en una división de entrenamiento separada. El algoritmo final (Algoritmo 1) implica:

   • Dividir los datos en conjuntos de entrenamiento y de calibración.
   • Ajustar un algoritmo de agrupamiento en el conjunto de entrenamiento para generar etiquetas y un clasificador suave.
   • Ajustar el algoritmo de agrupamiento en el conjunto de calibración aumentado ($D_{ca} \cup \{x\}$) para generar etiquetas sintéticas.
   • Alinear las etiquetas sintéticas con las etiquetas de entrenamiento mediante una permutación $\hat{\sigma}$.
   • Calcular las puntuaciones de conformidad y construir el conjunto de confianza utilizando los pesos estimados derivados de la razón entre la densidad condicional estimada y las probabilidades de agrupamiento aumentadas.

Contribuciones Clave
El artículo realiza tres contribuciones principales:

1. Marco Novedoso: Introduce un marco para la cuantificación de la incertidumbre en el agrupamiento que modela explícitamente el problema como un desplazamiento de la distribución de etiquetas condicional, utilizando la predicción conformal ponderada para manejar la naturaleza no intercambiable de las etiquetas sintéticas.
2. Calibración Aumentada: Propone un mecanismo de "calibración aumentada" computacionalmente tratable. Esta innovación elimina la carga computacional del reajuste de leave-one-out al tiempo que retiene los beneficios teóricos de la predicción conformal ponderada, ofreciendo un nuevo principio aplicable al aprendizaje no supervisado más allá del agrupamiento.
3. Garantías Teóricas: Los autores establecen límites de cobertura en muestras finitas para el procedimiento de pesos estimados. La pérdida de cobertura está acotada explícitamente por la distancia de variación total entre la distribución de etiquetas condicional estimada y la distribución latente verdadera. A diferencia de enfoques anteriores, este marco no depende de supuestos de estabilidad de "reemplazo de uno", ya que el mecanismo de aumento estabiliza intrínsecamente el proceso.

Resultados Empíricos
El método propuesto (Algoritmo 1) se evalúa frente al método de agrupamiento conformal dividido ([11]) y un método de corte ingenuo en varios entornos:

• Modelos de Mezcla Gaussiana (GMM): Tanto en entornos de baja dimensión ($R^2$) como de alta dimensión ($R^{50}$), el enfoque ponderado mantiene una cobertura válida con tamaños de conjuntos de confianza informativos (más pequeños). En alta dimensión usando agrupamiento espectral, el método de conformal dividido produce conjuntos excesivamente grandes y poco informativos, mientras que el método ponderado sigue siendo informativo.
• Agrupamiento No Lineal: Los experimentos en los conjuntos de datos "tres lunas" (three moons) y "dos círculos concéntricos" demuestran que el método ponderado mantiene tamaños de conjunto informativos sobre un rango más amplio de niveles de ruido (varianza) en comparación con el método de conformal dividido, el cual falla en producir conjuntos informativos a medida que el agrupamiento se vuelve más difícil.
• Aplicación MNIST: Aplicado al agrupamiento profundo en el conjunto de datos MNIST, el método cuantifica la incertidumbre con éxito. Produce conjuntos de un solo elemento para los centros de grupo claros y conjuntos más grandes para las regiones de frontera ambiguas, identificando correctamente los dígitos difíciles de clasificar.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como un paso sustancial hacia adelante en el campo emergente del agrupamiento conformal. Al tratar las etiquetas sintéticas como causantes de un desplazamiento de distribución, los autores extienden la aplicabilidad de la predicción conformal más allá de los modelos de mezcla paramétricos suaves considerados en el trabajo previo ([11]). El método es particularmente significativo para aplicaciones de agrupamiento de alta dimensión y no lineales donde los enfoques de conformal estándar tienen dificultades para proporcionar conjuntos de confianza informativos. Los autores afirman que su marco ofrece un enfoque más riguroso y versátil para la cuantificación de la incertidumbre, proporcionando garantías de cobertura válidas incluso cuando el algoritmo de agrupaje subyacente es complejo o la distribución de los datos no es estándar. El artículo concluye que el mecanismo de calibración aumentada representa un principio metodológico más amplio con potencial de aplicación en el aprendizaje no supervisado más allá del contexto específico del agrupamiento.