📊 statistics

Cluster and then Embed: A Modular Approach for Visualization

Este artículo propone un marco de visualización transparente y modular que mejora métodos como t-SNE y UMAP al agrupar los datos secuencialmente, incrustar cada grupo individualmente y luego alinearlos para preservar tanto la estructura local como la geometría global.

Autores originales: Elizabeth Coda, Ery Arias-Castro, Gal Mishne

Publicado 2026-07-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Elizabeth Coda, Ery Arias-Castro, Gal Mishne

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una caja gigante y desordenada de esculturas de LEGO en 3D. Algunas son castillos diminutos e intrincados; otras son ciudades extensas y planas. Tu objetivo es tomar fotos de todas ellas y disponerlas sobre una mesa plana en 2D para que puedas ver cómo se relacionan entre sí.

¿El problema? Si simplemente aplastas toda la caja sobre la mesa de una sola vez, las ciudades planas se aplastarán y los castillos se superpondrán en una masa gigante y confusa. Este es el "problema del hacinamiento" (crowding problem) que plaga a herramientas populares como t-SNE y UMAP. Son excelentes para mantener juntos los detalles minúsculos de cada castillo, pero a menudo distorsionan el mapa, haciendo que castillos distantes parezcan estar justo al lado uno del otro.

Entra en escena el enfoque Cluster+Embed (C+E), un nuevo método propuesto por Elizabeth Coda, Ery Arias-Castro y Gal Mishne. Piensa en este método no como una única cámara mágica, sino como una línea de ensamblaje de tres pasos que trata tus datos como una colección de vecindarios distintos.

Paso 1: La clasificación por vecindarios

Primero, el método no intenta fotografiar toda la caja a la vez. En su lugar, actúa como un bibliotecario súper organizado que clasifica las esculturas de LEGO en pilas separadas según su forma. Si tienes una pila de castillos y una pila de ciudades, se separan en contenedores distintos. Los autores señalan que puedes usar cualquier método de clasificación que desees (como los populares algoritmos Leiden o DBSCAN), pero la clave es que defines los grupos antes de tomar la foto.

Paso 2: Las fotos individuales

A continuación, el método toma una foto de cada pila individualmente. Debido a que el bibliotecario solo está mirando una pila de castillos a la vez, puede organizar los castillos perfectamente para mostrar sus detalles intrincados sin preocuparse de que las ciudades se interpongan en el camino. Este paso utiliza herramientas estándar (como PCA o TriMap) para aplanar solo ese grupo específico. El resultado es una foto clara y de alta calidad de los castillos, y una foto separada, igualmente clara, de las ciudades.

Paso 3: El mapa global

Esta es la parte ingeniosa. Ahora tienes una pila de fotos perfectas y separadas. El paso final es pegar estas fotos en una pared gigante para hacer un mapa grande. Pero en lugar de simplemente pegarlas al azar, el método utiliza una "transformación rígida": imagina que tomas una foto completa de la pila de castillos y la deslizas, la rotas o la volteas, pero nunca la estiras o la aplastas.

El objetivo es posicionar estas pilas de modo que la distancia entre la "pila de castillos" y la "pila de ciudades" en la pared coincida con la distancia que tenían en la caja original. Para resolver el problema del hacinamiento (donde no hay suficiente espacio en la pared para todo), el método introduce una "perilla de escala" (llamada $\alpha$ ). Si las pilas están demasiado cerca y podrían superponerse, los autores sugieren girar esta perilla para empujar suavemente las pilas y separarlas, creando el espacio suficiente para que todos se vean claramente sin distorsionar los detalles internos de las fotos.

A lo que este método dice "no"

Los autores son muy claros sobre aquello contra lo que luchan. Argumentan contra la idea de que una única herramienta integral (como t-SNE o UMAP) pueda hacer perfectamente dos cosas contradictorias a la vez: mantener perfectos los detalles locales diminutos y mantener las distancias globales precisas. Demuestran que, si bien t-SNE es excelente para separar grupos, a menudo distorsiona el "mapa" tanto que no se puede confiar en las distancias entre los grupos. También descartan explícitamente la idea de que se pueda forzar un árbol jerárquico sobre un mapa sin un proceso estructurado; su método es un proceso de tres pasos deliberado y transparente, no una caja negra.

¿Qué tan seguros están?

Los autores no afirman que esto sea una solución mágica que lo resuelva todo para siempre. En su lugar, presentan evidencia sólida de simulaciones y datos del mundo real.

En datos sintéticos: Probaron su método en un modelo de mezcla gaussiana de 10 dimensiones con 5,000 puntos. En estas simulaciones, demostraron que con un factor de escala de $\alpha = 2$ , su método evitó el solapamiento que afectaba a otros métodos, creando un anillo de grupos que se veía muy similar a t-SNE, pero logrado a través de un proceso transparente y controlable.
En datos reales: Aplicaron esto a tres conjuntos de datos reales:
1. MNIST (Dígitos escritos a mano): Un conjunto de datos de 60,000 imágenes. Aquí, C+E logró separar los dígitos en grupos (como que los cuatros y los nueves estén cerca) y preservó la estructura global mejor que t-SNE, que tendía a espaciar todo de manera uniforme.
2. Organoides cerebrales humanos: Un conjunto de datos de 20,272 células. El método reveló una "trayectoria de desarrollo" clara (un camino de crecimiento a lo largo del tiempo) que era visible en su mapa, pero que era más "discreta" y menos continua en t-SNE y UMAP.
3. Corteza de ratón: Un conjunto de datos de 23,822 células. Aquí, C+E reveló una estructura "de lo grueso a lo fino" (grandes grupos que se dividen en otros más pequeños) que otros métodos pasaron por alto.

Los autores admiten que existe un compromiso (trade-off). Si bien C+E es excelente para preservar las distidades globales y las formas locales, a veces tiene dificultades para igualar la capacidad de t-SNE para mantener perfectos los vecinos más cercanos (kNN recall) para valores pequeños de $k$ . Sugieren que esto se debe a que t-SNE tiene una forma misteriosa de dividir los datos en pequeños parches que C+E no replica. Sin embargo, argumentan que para una visualización que sea tanto transparente como fiel a la forma general de los datos, C+E es una alternativa altamente competitiva y mucho más comprensible.

En resumen, el artículo sugiere que, al dividir el problema en "clasificar, aplanar y luego alinear", podemos obtener un mapa que no miente sobre dónde están las cosas, incluso si requiere unos pocos pasos más para lograrlo.

Resumen Técnico: Cluster y luego Embed: Un Enfoque Modular para la Visualización

Declaración del Problema

Los métodos de reducción de dimensionalidad, particularmente t-SNE y UMAP, se utilizan ampliamente para visualizar datos de alta dimensión con estructuras agrupadas latentes. Si bien estos métodos agrupan eficazmente los puntos de datos y preservan la información local, son conocidos por distorsionar la geometría global de los datos subyacentes. Específicamente, a menudo fallan en preservar las posiciones relativas, las distancias y los tamaños de diferentes grupos (clusters). Esta limitación surge del "problema del hacinamiento" (crowding problem), donde los espacios de incrustación de baja dimensión carecen de la capacidad suficiente para acomodar todos los puntos a sus escalas de distancia originales de alta dimensión, lo que conduce al colapso de puntos distantes y al solapamiento de clusters distintos. Los métodos existentes a menudo fuerzan un compromiso entre preservar la estructura local (separación de clusters) y preservar las distancias globales.

Metodología: El Marco de Trabajo Cluster+Embed (C+E)

Los autores proponen un marco modular de tres pasos llamado Cluster+Embed (C+E) para abordar el compromiso entre la fidelidad local y global. El enfoque desacopla el agrupamiento (clustering), la incrustación local (embedding) y la alineación global, permitiendo al analista seleccionar algoritmos específicos para cada etapa según sus objetivos de visualización.

Paso 1: Agrupamiento (Clustering)

Los datos $\{x_i\}_{i=1}^n$ se particionan primero en $\kappa$ clusters ( $C_1, \dots, C_\kappa$ ) utilizando cualquier algoritmo de agrupamiento elegido (por ejemplo, Leiden, DBSCAN, k-means). Este paso revela explícitamente la estructura de clusters presente en los datos. Los puntos identificados como ruido pueden descartarse en esta etapa.

Paso 2: Incrustación de Clusters Individuales

Cada cluster $C_l$ se incrusta por separado en un espacio de baja dimensión (típicamente $\mathbb{R}^2$ ) utilizando un método de incrustación elegido (por ejemplo, PCA, Isomap, TriMap).

Justificación: Incrustar los clusters individualmente reduce la distorsión en comparación con la incrustación de todo el conjunto de datos a la vez, ya que el "problema del hacinamiento" se mitiga dentro de subconjuntos más pequeños y localizados.
Escalamiento: Si el método de incrustación depende de información ordinal, se aplica un factor de escala $\gamma_l$ a cada cluster para minimizar la pérdida cuadrática entre las distancias incrustadas y las disimilitudes originales.

Paso 3: Alineación Global

Los clusters incrustados se alinean en una única incrustación global utilizando únicamente transformaciones rígidas (traslaciones, rotaciones y reflexiones). El objetivo es posicionar los clusters entre sí de tal manera que las disimilitudes por pares entre puntos de diferentes clusters se preserven lo más fielmente posible.

Optimización: La alineación minimiza una función de estrés (estrés de Kruskal) definida como:
$\min_{T_1, \dots, T_\kappa} \sum_{1 \le i < j \le \kappa} \sum_{l \in C_i} \sum_{m \in C_j} (\delta_{lm} - \|T_i(y_l) - T_j(y_m)\|)^2$
donde $\delta_{lm}$ es la disimilitud original y $T$ representa las transformaciones rígidas.
Mitigación del Hacinamiento mediante Escalamiento ( $\alpha$ ): Para evitar el solapamiento en la visualización final, los autores introducen un parámetro de ajuste $\alpha \ge 1$ $α \geq 1$ . La distancia objetivo entre clusters se escala a $\alpha \delta_{lm}$ $α δ_{l m}$ . Esto efectivamente infla el espacio entre los clusters en el mapa de baja dimensión, evitando el problema del hacinamiento.
- $\alpha$ puede ajustarse manualmente o automáticamente. Se propone una heurística automática: $\alpha = \max(1, \frac{\kappa \tau}{2\pi \Delta})$ , donde $\tau$ es el diámetro promedio del cluster y $\Delta$ es la distancia promedio inter-cluster.

Principales Contribuciones

Marco Modular: El artículo introduce un enfoque modular y transparente donde el agrupamiento, la incrustación y la alineación son pasos distintos. Esto permite a los usuarios elegir algoritmos específicos para cada etapa para apuntar a propiedades de visualización específicas (por ejemplo, usar TriMap para la recuperación de kNN o PCA para la preservación de distancias).
Control Explícito sobre la Geometría Global: A diferencia de t-SNE y UMAP, que manejan la estructura global de forma implícita y a menudo opaca a través de la dinámica de fuerzas dirigidas, C+E optimiza explícitamente la preservación de las distancias inter-cluster mediante la alineación rígida.
Solución al Problema del Hacinamiento: El método aborda el problema del hacinamiento no alterando el kernel (como hace t-SNE con el kernel de Cauchy), sino escalando explícitamente las distancias inter-cluster mediante el parámetro $\alpha$ , asegurando que los clusters distintos no se solapen mientras mantienen su organización relativa.
Transparencia: El enfoque es más interpretable que los métodos de extremo a extremo porque la preservación de la estructura local (dentante de los clusters) y la estructura global (entre clusters) se manejan mediante mecanismos separados y controlables.

Resultados Experimentales

Los autores evaluaron C+E en conjuntos de datos sintéticos y del mundo real (MNIST, datos de organoides cerebrales humanos, datos de la corteza de ratón) contra líneas base que incluyen t-SNE, UMAP, PCA, Isomap, PHATE y TriMap.

Dataset de Formas Sintéticas: C+E logró métricas locales perfectas (recuperando configuraciones exactas de clusters) y mantuvo la orientación global, mientras que t-SNE y UMAP introdujeron una distorsión local significativa.
MNIST: C+E separó con éxito los clusters y los organizó en agrupaciones significativas (por ejemplo, agrupando dígitos similares). Mientras que t-SNE mostró una recuperación de kNN superior para $k$ pequeño, C+E superó a t-SNE y UMAP en métricas globales (preservación de clase y preservación de la distancia inter-cluster).
Datos de Organoides Cerebrales Humanos: Las incrustaciones de C+E revelaron una trayectoria de desarrollo temporal clara y agrupaciones distintas de tipos celulares. Preservó métricas globales comparables o mejores que PCA y L-Isomap, ofreciendo al mismo tiempo una mejor estructura local y menos colapso que t-SNE o UMAP.
Datos de la Corteza de Ratón: C+E reveló una estructura de grueso a fino (separando neuronas inhibitorias/excitatorias y no neuronas) que no estaba presente en otros métodos. Aunque la escala de la incrustación fue inflada (llevando a un mayor estrés normalizado), las métricas globales invariantes de escala favorecieron a C+E sobre UMAP y t-SNE.

Significado y Reivindicaciones

El artículo afirma que C+E ofrece una alternativa competitiva a los métodos de visualización existentes al lograr un equilibrio entre incrustaciones locales fieles y una organización global fiel.

Gestión del Compromiso (Trade-off): El método reconoce el compromiso inherente entre la preservación local y global, pero proporciona un mecanismo (el parámetro $\alpha$ ) para gestionar explícitamente este compromiso.
Flexibilidad: El marco permite a los usuarios priorizar métricas específicas (por ejemplo, la recuperación de kNN mediante TriMap o la preservación de la distancia mediante PCA) sin sacrificar la disposición global de los clusters.
Limitaciones: Los autores señalan modestamente que t-SNE sigue siendo el estado del arte para maximizar la recuperación de kNN para $k$ pequeño. Sugieren que la recuperación de kNN de C+E puede mejorar aumentando $\alpha$ o creando más clusters, aunque esto conlleva el riesgo de introducir falsos clusters. La complejidad computacional del paso de alineación escala cuadráticamente con el número de puntos, aunque se emplean estrategias de submuestreo para mitigarlo.

En conclusión, los autores argumentan que C+E proporciona un enfoque más transparente y controlable para visualizar datos agrupados, preservando tanto la geometría interna de los clusters como la posición relativa de los mismos, algo que a menudo se pierde en las populares técnicas de reducción de dimensionalidad no lineales.