Complementary t-SNE-UMAP Optimization for High-Dimensional Data Visualization

Resumen Técnico: Optimización Complementaria de t-SNE–UMAP para la Visualización de Datos de Alta Dimensión

Planteamiento del Problema
La visualización de datos de alta dimensión es un desafío porque la reducción de los datos a dos o tres dimensiones suele resultar en la pérdida de relaciones estructurales críticas. Mientras que el t-Distributed Stochastic Neighbor Embedding (t-SNE) es altamente efectivo para preservar las estructuras de vecindad local, puede tener dificultades con la geometría global y requiere una interpretación cuidadosa de las distancias inter-clúster. Por el contrario, el Uniform Manifold Approximation and Projection (UMAP) ofrece eficiencia computacional y una buena continuidad, pero optimiza una función de objetivo distinta. Los enfoques existentes suelen consistir en elegir un método sobre el otro o en combinar dos embeddings completados de forma independiente. Los autores argumentan que estas estrategias no logran aprovechar las fortalezas complementarias de ambos algoritmos dentro de un único proceso de optimización, específicamente al omitir la oportunidad de usar la estructura de grafo de UMAP para corregir las representaciones de vecindad débiles de t-SNE.

Metodología
El método propuesto introduce un marco híbrido donde la información de UMAP se integra directamente en el proceso de optimización de t-SNE, en lugar de fusionar dos embeddings separados. La innovación central es un mecanismo de ponderación de aristas complementarias diseñado para aplicar la guía de UMAP solo donde t-SNE es débil.

1. Ponderación de Aristas Complementarias:
   El método define un peso complementario $C_{ij}$ para una arista entre las muestras $i$ y $j$:
   $$C_{ij} = W^U_{ij} (1 - T^{tSNE}_{ij})$$
   Donde $W^U_{ij}$ es el peso del grafo difuso de UMAP, y $T^{tSNE}_{ij}$ es la confianza normalizada de la afinidad de t-SNE.

   • Si UMAP conecta fuertemente dos puntos pero la confianza de t-SNE es baja, $C_{ij}$ se vuelve grande, añadiendo una fuerte fuerza de atracción.
   • Si ambos métodos ya coinciden en una relación fuerte, $C_{ij}$ se vuelve pequeño, evitando una influencia redundante.

2. Objetivo de Optimización:
   La función de objetivo final combina la divergencia de Kullback–Leibler (KL) estándar de t-SNE con un término de atracción disperso basado en las aristas complementarias de UMAP:
   $$L_H(Y, t) = D_{KL}(P^{tSNE} || Q^Y) + \lambda(t) L_C(Y)$$
   Crucialmente, el término complementario $L_C(Y)$ no incluye los términos de no-arista repulsivos de UMAP, asegurando que la estructura primaria siga siendo impulsada por t-SNE.

3. Activación Retrasada:
   Para evitar la interferencia con la formación inicial de clústeres, el término complementario se desactiva durante la etapa de "exageración temprana" (early exaggeration) de t-SNE. Su peso $\lambda(t)$ se incrementa gradualmente utilizando un esquema de smoothstep después de la fase de exageración temprana (específicamente después de 250 iteraciones en los experimentos) hasta alcanzar un valor máximo ($\lambda_{max} = 0.05$).

4. Inicialización:
   La optimización se inicializa utilizando un embedding de UMAP, proporcionando un punto de partida favorable para el proceso de t-SNE.

Contribuciones Clave
El artículo detalla cinco contribuciones principales:

1. Marco de Trabajo (Framework): Un novedoso híbrido t-SNE–UMAP donde la información del grafo de UMAP se utiliza dentro del bucle de optimización de t-SNE.
2. Estrategia de Ponderación: La introducción del peso de confianza complementaria $C_{ij}$, que ajusta dinámicamente la influencia de UMAP basándose en la fuerza de la afinidad existente de t-SNE.
3. Programa de Optimización: Una estrategia de activación retrasada que introduce el término complementario solo después de la etapa de exageración temprana para preservar la integridad de la optimización inicial de t-SNE.
4. Control Riguroso: El uso de un control de KL emparejado (t-SNE inicializado con UMAP sin el término complementario) y varias variantes de ablación para aislar los efectos específicos de la inicialización, la atracción de grafo y la regularización complementaria.
5. Evaluación Exhaustiva: Pruebas extensas en nueve conjuntos de datos de referencia (incluyendo MNIST, CIFAR-10/100 y datos tabulares) utilizando una amplia gama de métricas (confiabilidad [trustworthiness], continuidad, recuperación de vecindad, preservación de densidad y preservación de distancia global) junto con pruebas de significancia estadística.

Resultados
El método fue evaluado frente a t-SNE estándar, UMAP estándar, t-SNE inicializado con UMAP y otros métodos no lineales (densMAP, TriMap, PaCMAP, LocalMAP) a través de nueve conjuntos de datos.

• Confiabilidad (Trustworthiness) y Recuperación de Vecindad: El método propuesto (A6) alcanzó la media de confiabilidad más alta (0.9602) y la recuperación de vecindad más alta (0.4426) entre todos los métodos probados.
• Significancia Estadística: En comparación con el control de KL emparejado (A3), el método propuesto mejoró la confiabilidad en los nueve conjuntos de datos. Esta mejora fue estadísticamente significativa tras la corrección de Holm ($p_{Holm} = 0.046875$) con un gran tamaño de efecto pareado ($d_z = 1.47$).
• Compromisos (Trade-offs): La mejora en la fiabilidad de la vecindad local vino acompañada de un compromiso. El método mostró una preservación de densidad significativamente menor en comparación con el control emparejado ($p_{Holm} = 0.046875$).
• Estructura Global: No hubo una mejora significativa en la preservación de la distancia Euclídea o de Jensen–Shannon respecto al t-SNE estándar. De hecho, el t-SNE estándar retuvo puntuaciones de distancia Euclídea global ligeramente superiores.
• Tiempo de Ejecución: El pipeline propuesto fue aproximadamente 1.77 veces más lento que el t-SNE estándar (58.59s vs. 33.01s), debido principalmente a la inicialización de UMAP y al marco de optimización personalizado, más que al término complementario en sí.

Significancia y Reivindicaciones
Los autores afirman que la principal significancia de este trabajo radica en demostrar que la fiabilidad de la vecindad local puede mejorarse integrando selectivamente información de grafos complementarios, en lugar de simplemente promediar los embeddings.

El artículo establece explícitamente que el método no es una solución universal para mejorar todos los aspectos de la reducción de dimensionalidad. En su lugar, ofrece un beneficio específico: mejorar la confiabilidad de las vecindades locales (reduciendo los falsos vecinos) mientras mantiene una calidad estructural general competitiva. Los autores enfatizan que esta ganancia conlleva un compromiso claro en la preservación de la densidad y un aumento en el tiempo de ejecución. Por consiguiente, el método es más adecuado para aplicaciones donde la precisión de las relaciones de vecindad local es la prioridad sobre la preservación de la densidad o el tiempo de ejecución mínimo. Los resultados sugieren que los métodos híbridos deben evaluarse utilizando múltiples métricas, ya que optimizar una propiedad estructural (confiabilidad local) puede inherentemente degradar otras (densidad).