Resumen Técnico: Cluster LOCO: Importancia de Características para la Interpretación de Clústeres

Planteamiento del Problema

El agrupamiento (clustering) es una herramienta fundamental en el aprendizaje no supervisado utilizado para el análisis exploratorio, la compresión de datos y el descubrimiento científico en diversas disciplinas, que van desde las ciencias sociales hasta la genómica. Sin embargo, a medida que los conjuntos de datos crecen en tamaño y complejidad, la fiabilidad, la auditabilidad y la reproducibilidad de las soluciones de agrupamiento se han convertido en preocupaciones significativas. Un desafío principal es la falta de métodos robustos para interpretar por qué se descubrió una estructura de agrupamiento específica.

Si bien la importancia de las características está bien establecida en el aprendizaje supervisado (por ejemplo, mediante la importancia por permutación o los valores SHAP), sigue estando poco desarrollada en el agrupamiento. Los enfoques existentes generalmente se dividen en dos categorías:

1. Algoritmos intrínsecamente interpretables: Estos restringen el modelo de agrupamiento mismo (por ejemplo, el agrupamiento basado en árboles de decisión), lo que limita su flexibilidad y escalabilidad.
2. Explicaciones post-hoc: Estas suelen estar ligadas a algoritmos específicos (por ejemplo, K-means) o dependen de índices de validez interna (por ejemplo, puntuaciones de silueta) y métricas de estabilidad que pueden no reflejar con precisión la contribución de las características a la generalizabilidad de la solución.

Además, los flujos de trabajo comunes en campos como la genómica de célula única a menudo sufren de "doble uso" (double dipping), donde se utilizan los mismos datos para definir los clústeres y luego para identificar las características distintivas (genes marcadores), lo que infla las tasas de falsos descubrimientos. Existe la necesidad de un marco de trabajo agnóstico al modelo y post-hoc que cuantifique la importancia de las características basándose en cuánto contribuye una característica a la estabilidad y generalizabilidad de la solución de agrupamiento en sí misma, en lugar de solo en su capacidad para distinguir grupos a posteriori.

Metodología: Cluster LOCO

Los autores proponen Cluster LOCO (Leave-One-Covariate-Out), una familia de puntuaciones de importancia de características agnósticas al modelo para el agrupamiento. La intuición central se deriva del marco de trabajo LOCO de aprendizaje supervisado: si eliminar una característica degrada significativamente la capacidad de generalizar la solución de agrupamiento a datos no observados, esa característica se considera importante.

El marco mide la importancia de las características basándose en la generalizabilidad (la capacidad de predecir etiquetas de entrenamiento en un conjunto de calibración mediante un clasificador de transferencia) y la oclusión de características (el aumento del error de generalizabilidad cuando se elimina una característica).

El marco introduce dos algoritmos principales:

A. Cluster LOCO-Split

Este método se basa en un enfoque estándar de división de datos:

1. División (Split): Los datos $X$ se dividen en un conjunto de entrenamiento ($X_{tr}$) y un conjunto de calibración ($X_{cal}$).
2. Agrupamiento (Cluster): Se aplica un algoritmo de agrupamiento elegido $C_\theta$ a ambos conjuntos para obtener las etiquetas $z_{tr}$ y $z_{cal}$.
3. Entrenamiento de Clasificadores de Transferencia:
   • Se entrena un clasificador base $\hat{f}_{tr}$ sobre $(X_{tr}, z_{tr})$.
   • Un clasificador "sin la característica-$j$" $\hat{f}_{-j}^{tr}$ se entrena sobre $(X_{tr, -j}, z_{tr})$.
4. Cálculo de la Puntuación: La puntuación de importancia $\hat{\Delta}_j$ es la diferencia en el error de predicción en el conjunto de calibración entre el modelo entrenado sin la característica $j$ y el modelo entrenado con todas las características:
   $$\hat{\Delta}_j = \text{Error}(z_{cal}, \hat{f}_{-j}^{tr}(X_{cal, -j})) - \text{Error}(z_{cal}, \hat{f}_{tr}(X_{cal}))$$
   La métrica de error puede ser el índice Rand ajustado (ARI) negativo, la distancia de Hamming o la pérdida de bisagra multiclase (multi-class hinge loss).

B. Cluster LOCO-MP (Minipatch)

Para abordar las limitaciones computacionales y la inestabilidad de la división de datos (especialmente con clústeres desbalanceados o datos de alta dimensión), los autores introducen Cluster LOCO-MP. Este método aprovecha los conjuntos de minipatches (minipatch ensembles):

1. Construcción de Minipatches: En lugar de una única división, el algoritmo genera $B$ minipatches aleatorios, cada uno submuestreando un número pequeño de observaciones ($n \ll N$) y características ($m \ll M$).
2. Agrupamiento de Consenso: Se agrupa cada minipatch y las etiquetas se alinean con un agrupamiento de referencia (o mediante superposición por pares) para crear un conjunto de etiquetas de consenso.
3. Predicción de Conjunto (Ensemble Prediction):
   • LOO (Leave-One-Out): Un predictor de conjunto $\hat{H}$ promedia las predicciones de los minipatches que excluyen la observación objetivo.
   • LOCO-LOO: Un predictor de conjunto $\hat{H}_{-j}$ promedia las predicciones de los minipatches que excluyen tanto la observación objetivo como la característica $j$.
4. Cálculo de la Puntuación: La puntuación de importancia es la diferencia de error entre $\hat{H}_{-j}$ y $\hat{H}$. Este enfoque maneja naturalmente las características correlacionadas porque diferentes minipatches pueden incluir una característica de un par correlacionado pero no la otra, evitando la subestimación de la importancia común en los métodos de división única.

C. Cluster LOCO-RAMPART

Para aplicaciones de alta dimensión donde el objetivo es identificar las $k$ mejores características, los autores integran Cluster LOCO-MP con el marco RAMPART. Este es un procedimiento adaptativo que examina iterativamente las características, descartando la mitad inferior de las características clasificadas en cada ronda, de modo que se concentran los recursos computacionales en los candidatos más prometedores.

D. Extensiones

El marco admite puntuaciones de importancia específicas de cada clúster. Al agregar errores sobre clústeres específicos en lugar de todo el conjunto de datos, los usuarios pueden determinar qué características impulsan la formación de grupos específicos (por ejemplo, tipos celulares específicos), ofreciendo interpretabilidad local junto con las puntuaciones globales.

Contribuciones Clave

1. Marco Agnóstico al Modelo: Cluster LOCO es aplicable a cualquier algoritmo de agrupamiento (por ejemplo, K-means, agrupamiento espectral, agrupamiento jerárquico) y no requiere reentrenar el modelo de agrupamiento de una manera específica; solo requiere la capacidad de agrupar datos y predecir etiquetas.
2. Métrica Basada en la Generalizabilidad: Cambia el enfoque de la validez geométrica interna a la generalizabilidad de la solución de agrupamiento, proporcionando una medida más robusta de la contribución de las características.
3. Escalabilidad: La introducción de Cluster LOCO-MP permite que el método escale a conjuntos de datos grandes y de alta dimensión mediante el uso de conjuntos de minipatches, superando los cuellos de botella computacionales de los enfoques tradicionales de dejar uno fuera (leave-one-out).
4. Tamizado Adaptativo: La integración con RAMPART proporciona una vía eficiente para la selección de características en regímenes de alta dimensión y escasez.

Resultados

Los autores evaluaron Cluster LOCO contra cinco métodos de referencia: Importancia de Características Basada en Prototipos (PBFI), Fuzzy C-Means SHAP, Importancia de Características por Permutación (PFI), Propagación de Relevancia Capa por Capa (LRP) e IMPACC.

Simulaciones Sintéticas

• Estructuras No Lineales: En un conjunto de datos sintético con semicírculos entrelazados (no linealmente separables), los métodos estándar como K-means-based PFI, SHAP y LRP fallaron en identificar las características de señal reales, asignando una alta importancia al ruido. Cluster LOCO-Split logró recuperar las características de señal correctas y su orden relativo de importancia.
• Regímenes de Alta Dimensión: En simulaciones con mezclas Gaussianas, mezclas Gamma e interlaced moons/circles con dimensiones de ruido crecientes ($p_{noise}$ hasta 990), Cluster LOCO-MP y Cluster LOCO-RAMPART superaron consistentemente a los métodos existentes. Demostraron una recuperación robusta de las 10 características de señal verdaderas incluso a medida que aumentaba el número de características de ruido, mientras que métodos como FCM-SHAP y PFI mostraron una degradación significativa del rendimiento.

Aplicación en el Mundo Real: Transcriptómica de Célula Única

El marco se aplicó a un conjunto de datos de PBMC para identificar genes marcadores de tipos de células inmunes.

• Importancia Global: Cluster LOCO-MP identificó un mayor número de genes marcadores biológicamente validados (por ejemplo, FTL para monocitos) en comparación con los métodos basados en K-means (PBFI, PFI), que no lograron identificar los marcadores conocidos en sus clasificaciones superiores.
• Importancia Específica de Clúster: Al analizar tipos celulares específicos (monocitos CD14+, células dendríticas, células NK y células madre CD34+), Cluster LOCO-MP proporcionó clasificaciones más consistentes y biológicamente interpretables que LRP y el análisis estándar de expresión diferencial de genes (DEG).
• Manejo de la Ambigüedad: Para poblaciones difíciles de agrupar como las células madre CD34+, Cluster LOCO-MP logró clasificar con éxito los marcadores conocidos (PRSS57, EGFL7, CYTL1) en el top 10, mientras que LRP y el análisis DEG estándar no lograron identificar estos marcadores, resaltando la capacidad del método para reflejar la estructura de agrupamiento subyacente en lugar de solo la significancia estadística post-hoc.

Significado y Reivindicaciones

El artículo afirma que Cluster LOCO aborda una brecha crítica en la interpretabilidad del aprendizaje no supervisado. Al proporcionar una medida de importancia de características post-hoc y agnóstica al modelo basada en la generalizabilidad, permite a los profesionales:

• Auditar las soluciones de agrupamiento para entender qué características impulsan la estructura descubierta.
• Evitar los problemas estadísticos del "doble uso" en el análisis posterior (por ejemplo, el descubrimiento de genes marcadores).
• Aplicar la importancia de las características a flujos de trabajo de agrupamiento complejos, no lineales y de alta dimensión sin estar limitados por supuestos algorítmicos específicos.

Los autores posicionan a Cluster LOCO no como un reemplazo para la selección cuidadosa del modelo, sino como una herramienta necesaria para validar e interpretar los resultados de los modelos de agrupamiento elegidos, mejorando así la fiabilidad y la reproducibilidad del descubrimiento científico impulsado por el agrupamiento. El método está implementado como una biblioteca de Python de código abierto compatible con los estimadores estándar de scikit-learn.