📊 statistics

Cluster Analysis with Resampling for Validation and Exploration (CARVE)

El artículo presenta CARVE, un paquete de código abierto para Python y R que aborda la crisis de reproducibilidad en el agrupamiento mediante el uso de diagnósticos de estabilidad y generalizabilidad basados en remuestreo para superar a los índices de validación geométrica tradicionales en datos biomédicos complejos y de alta dimensión.

Autores originales: Kai R. Wycik, Tiffany M. Tang, Tarek M. Zikry, Genevera I. Allen

Publicado 2026-06-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kai R. Wycik, Tiffany M. Tang, Tarek M. Zikry, Genevera I. Allen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando clasificar una enorme pila de evidencia mezclada (como miles de tipos diferentes de hojas, o miles de huellas dactilares únicas) en grupos distintos. Quieres encontrar los grupos "naturales" ocultos dentro del desorden. Esto es lo que los científicos llaman clustering (agrupamiento).

Sin embargo, hay un gran problema: ¿Cómo sabes si clasificaste correctamente?

Si le pides a cinco expertos diferentes que clasifiquen la misma pila de hojas, podrían llegar con cinco agrupaciones completamente diferentes. Un experto podría decir: "Estas son todas hojas de 'Roble", mientras que otro podría decir: "No, son de 'Arce' y 'Abedul'". En el mundo de la ciencia de datos, esto es una pesadilla. Si los resultados cambian solo porque ajustaste un parámetro o elegiste un algoritmo de clasificación diferente, ¿puedes confiar en el descubrimiento?

La forma antigua: La regla de la "Esfera Perfecta"

Durante mucho tiempo, los científicos utilizaron un conjunto de reglas llamadas Índices de Validación de Clustering (CVI) para decidir qué clasificación era la mejor. Piensa en estos índices como una lista de verificación rígida que solo funciona si la evidencia tiene forma de bolas redondas y perfectas.

El Problema: Los datos del mundo real (como células biológicas o comportamientos sociales) son desordenados. Tienen colas pesadas, son no lineales e irregulares. No son una esfera perfecta; son un fideo retorcido o una roca dentada.
El Resultado: Cuando usas estas viejas reglas de "esferas perfectas" en datos desordenados, a menudo fallan. Pueden decirte que solo hay 2 grupos cuando en realidad hay 10, o pueden inventar grupos que no existen. Es como intentar medir una nube con una regla; la herramienta simplemente no se ajusta a la forma.

La nueva solución: CARVE

Los autores de este artículo presentan una nueva herramienta llamada CARVE (Cluster Analysis with Resampling for Validation and Exploration - Análisis de Clústeres con Remuestreo para Validación y Exploración).

En lugar de preguntar: "¿Esto parece una esfera perfecta?", CARVE pregunta: "Si barajamos el mazo y repartimos las cartas de nuevo, ¿obtenemos los mismos grupos?"

Así es como funciona CARVE, usando una analogía simple:

1. La prueba de "Barajar y Repartir" (Remuestreo)

Imagina que tienes un mazo de cartas que representa tus datos.

La forma antigua: Miras todo el mazo una vez y haces una suposición.
La forma CARVE: Barajas el mazo, repartes una mano pequeña, clasificas esas cartas y ves qué grupos obtienes. Luego barajas de nuevo, repartes una mano diferente y clasificas. Haces esto cientos de veces.
El objetivo: Si un grupo de cartas (por ejemplo, todos los Reyes) sigue apareciendo junto sin importar cómo barajes el mazo, ese grupo es Estable. Si los Reyes siguen dividiéndose al azar, ese grupo es Inestable y probablemente no sea real.

2. La prueba de "Predicción" (Generalizabilidad)

CARVE también comprueba si los grupos tienen sentido para nuevos datos.

Imagina que le enseñas a un robot a clasificar la primera mano de cartas que repartiste.
Luego, le muestras al robot una mano nueva que nunca ha visto antes.
La pregunta: ¿Puede el robot adivinar correctamente a qué grupo pertenecen las nuevas cartas?
Si el robot acierta, los grupos son Generalizables. Si el robot está confundido, los grupos podrían ser un accidente de ese barajado específico.

Por qué CARVE es mejor

El artículo probó CARVE contra las viejas reglas de la "esfera perfecta" utilizando dos tipos de pruebas:

Datos Falsos (Benchmarks Sintéticos): Crearon datos generados por computadora con grupos "verdaderos" conocidos.
- Resultado: Cuando los datos eran desordenados, de cola pesada o con forma de cinta retorcida (no lineales), las reglas antiguas fallaban estrepitosamente. CARVE, sin embargo, encontró consistentemente los grupos correctos, incluso cuando los datos tenían mucho ruido.
Datos Biológicos Reales: Probaron CARVE con datos científicos reales, específicamente:
- Células Madre de Ratón: Observaron células cambiando a lo largo del tiempo. Las reglas antiguas decían que solo había 2 grandes grupos de células. CARVE encontró 4 etapas distintas, coincidiendo con la línea de tiempo biológica real de cómo se desarrollan las células. Las reglas antiguas omitieron por completo las etapas intermedias.
- Células de Leucemia: Analizaron células sanguíneas de pacientes con leucemia. Las reglas antiguas agrupaban tres tipos muy diferentes de células inmunitarias en un solo cubo grande y desordenado. CARVE las separó correctamente en 10 grupos distintos, revelando una imagen mucho más clara de la enfermedad.

La Conclusión

CARVE es como un inspector de control de calidad para la clasificación de datos.

No le importa si tus datos parecen una pelota perfecta.
Le importa si tus grupos son fiables (aparecen cada vez que barajas los datos) y útiles (pueden predecir nuevos datos).
Te entrega un informe de calificaciones no solo para todo el montón, sino para cada grupo específico y para cada elemento específico, diciéndote cuáles son sólidos y cuáles son inestables.

Los autores han puesto esta herramienta a disposición como software gratuito (tanto en Python como en R) para que los científicos puedan dejar de adivinar qué método de clasificación es el correcto y empiecen a confiar en los grupos que encuentran.

Resumen Técnico: CARVE (Análisis de Conglomerados con Remuestreo para Validación y Exploración)

Planteamiento del Problema

El agrupamiento (clustering) es una técnica fundamental de aprendizaje no supervisado utilizada para particionar datos en grupos similares en diversos campos científicos, incluyendo la genómica, la neurociencia y las ciencias sociales. Sin embargo, los resultados del agrupamiento son notoriamente sensibles a las decisiones metodológicas, incluyendo el algoritmo específico, los pasos de preprocesamiento y el número de conglomerados ( $k$ ). Pequeñas variaciones en estas elecciones pueden conducir a agrupaciones cualitativamente diferentes, lo que resulta en afirmaciones científicas no reproducibles.

La validación de vanguardia actual depende fuertemente de los Índices de Validación de Conglomerados (CVI, por sus siglas en inglés) como Silhouette, Davies–Bouldin y Calinski–Harabasz. Estos índices resumen la calidad del agrupamiento mediante supuestos geométricos (por ejemplo, compacidad, formas esféricas y distribuciones de densidad específicas). Los autores argumentan que estos supuestos fallan frecuentemente en la investigación biomédica, donde los datos suelen exhibir distribuciones de cola pesada, alta dimensionalidad y estructuras no lineales. En consecuencia, los CVI a menudo no logran identificar soluciones adecuadas, lo que conduce a un sobre-agrupamiento o bajo-agrupamiento sistemático. Además, las alternativas existentes basadas en remuestreo (centradas en la estabilidad y la generalizabilidad) se encuentran dispersas en herramientas especializadas y no unificadas, careciendo de un marco de software cohesivo para la comparación sistemática.

Metodología

El artículo presenta CARVE (Cluster Analysis with Resampling for Validation and Exploration), un marco unificado que evalúa las soluciones de agrupamiento basándose en la estabilidad y la generalizabilidad en lugar de supuestos geométricos.

Algoritmo Central:
Para una cuadrícula de algoritmos de agrupamiento e hiperparámetros especificada por el usuario (incluyendo $k$ ), CARVE realiza $B$ iteraciones de remuestreo:

Submuestreo: Se extraen dos submuestras independientes ( $P_1, P_2$ ) de tamaño $\lfloor \rho n \rfloor$ , junto con un conjunto de prueba retenido ( $P_{test}$ ).
Agrupamiento: El método de agrupamiento candidato $f(\cdot, \theta)$ se aplica a $P_1$ , $P_2$ y $P_{test}$ .
Métrica de Estabilidad ( $S^{(b)}$ ): Se calcula el Índice de Rand Ajustado (ARI) entre los agrupamientos de $P_1$ y $P_2$ en su intersección. Esto mide la robustez del agrupamiento bajo la perturbación de los datos.
Métrica de Generalizabilidad ( $G^{(b)}$ ): Se entrena un clasificador (por defecto: Random Forest) en $P_1$ utilizando sus etiquetas de conglomerado. El clasificador predice las etiquetas para $P_{test}$ , y se calcula el ARI entre estas predicciones y el agrupamiento real de $P_{test}$ . Esto mide si la estructura aprendida en un subconjunto se transfiere a los datos retenidos.
Agregación: Las métricas se agregan a través de las iteraciones para producir medias, errores estándar e intervalos de confianza. También se construye una matriz de consenso a partir de las frecuencias de co-agrupamiento para derivar diagnósticos a nivel de muestra y de conglomerado (por ejemplo, índice de Gini, entropía cruzada, proporción de conglomerados ambiguos).

Reglas de Selección:
Para seleccionar el $k$ y el método óptimos, CARVE emplea tres reglas de selección:

Regla Max: Selecciona el $k$ que maximiza la métrica.
Regla 1-SE: Selecciona el $k$ más grande cuyo puntaje se encuentre dentro de un error estándar de la máxima (un principio tomado del aprendizaje supervisado).
Regla de Cuantil: Selecciona el $k$ más grande cuyo puntaje se encuentre dentro del 95% central de la distribución de puntajes observada en el $k$ maximizador.

Diagnósticos Multinivel:
CARVE proporciona diagnósticos en tres granularidades:

Global: Puntajes de estabilidad y generalizabilidad general a través del conjunto de datos.
De Conglomerado: Identificación de qué conglomerados específicos son estables o ambiguos.
De Muestra: Identificación de muestras individuales con membresía incierta (muestras dudosas).

Contribuciones Clave

Marco Unificado: CARVE es el primer paquete de código abierto (disponible en Python y R) que evalúa conjuntamente múltiples algoritmos de agrupamiento e hiperparámetros utilizando tanto métricas de estabilidad como de generalizabilidad dentro de un único flujo de trabajo.
Validación Agnóstica al Modelo: Al depender del remuestreo en lugar de supuestos geométricos, CARVE es robusto ante datos no esféricos, de cola pesada y de alta dimensionalidad comunes en genómica.
Selección Basada en Principios: El artículo propone y valida el uso de la regla 1-SE aplicada a métricas de estabilidad como una estrategia de selección por defecto, la cual a menudo supera la maximización simple o la selección basada en CVI.
Implementación de Software: CARVE ofrece una API de Python compatible con scikit-learn y una interfaz de R compatible con los flujos de trabajo de Seurat y SingleCellExperiment, facilitando la integración en los procesos existentes.

Resultados

Los autores evaluaron CARVE en seis pruebas de referencia sintéticas y dos estudios de caso biomédicos del mundo real.

Pruebas de Referencia Sintéticas:
A través de mezclas gaussianas isotrópicas, mezclas $t$ de cola pesada, mezclas con características de molestia y variedades no lineales (Swiss rolls, círculos, lunas), CARVE recuperó consistentemente agrupamientos casi óptimos donde los CVI clásicos se degradaron significativamente.

En entornos de cola pesada y no lineales, los CVI (particularmente Gap statistic, Calinski–Harabasz y Davies–Bouldin) a menudo fallaron en identificar el verdadero $k$ o seleccionaron soluciones con un bajo ARI respecto a la verdad de campo (ground truth).
La métrica de estabilidad de CARVE con la regla 1-SE fue el componente con mejor desempeño de manera consistente en todas las tareas.

Estudios de Caso:

scRNA-seq basado en gotas (Klein et al.): CARVE identificó una solución de 4 conglomerados que correspondía a cuatro etapas de diferenciación distintas de células madre embrionarias de ratón. En contraste, los CVI (Silhouette, CH, DB) seleccionaron una solución de 2 conglomerados que colapsaba etapas biológicas distintas, perdiendo la progresión transcripcional continua.
Citometría de Masa (Levine et al.): CARVE seleccionó una solución de 10 conglomerados que recuperó estructuras de población de médula ósea de grano fino (separando células T CD4+, CD8+ T y células NK). Los CVI seleccionaron una solución de 7 conglomerados que fusionaba estas poblaciones distintas. La solución seleccionada por CARVE logró un ARI significativamente mayor contra las etiquetas manuales reportadas en comparación con todas las soluciones seleccionadas por CVI.

Significancia y Reivindicaciones

El artículo sostiene que CARVE aborda una brecha crítica en la reproducibilidad del aprendizaje no supervisado. Al alejarse de los supuestos geométricos y avanzar hacia la estabilidad y la generalizabilidad basadas en el remuestreo, CARVE proporciona una base más confiable para el descubrimiento científico en datos biomédicos complejos.

Los autores enfatizan que, si bien la estabilidad es una condición necesaria para descubrimientos basados en datos confiables, no es suficiente por sí sola; la generalizabilidad es necesaria para asegurar que los hallazgos se extiendan más allá de la muestra específica. Los diagnósticos multinivel de CARVE permiten a los investigadores no solo seleccionar un modelo, sino también identificar qué conglomerados o muestras específicas son robustos y cuáles son dudosos, evitando así la malinterpretación de artefactos como señales biológicas. El artículo concluye que CARVE ofrece un camino práctico hacia la mejora de la confianza y la replicabilidad de los resultados de agrupamiento en la biología computacional y más allá.