DR-SNE: Density-Regularized Stochastic Neighbor Embedding

Resumen Técnico: DR-SNE (Stochastic Neighbor Embedding Regularizado por Densidad)

Planteamiento del Problema
Los métodos estándar de reducción de dimensionalidad, particularmente t-SNE y sus variantes, se formulan como problemas geométricos destinados a preservar las relaciones de vecindad local. Aunque son efectivos para mantener la estructura condicional (similitudes locales), estos métodos ignoran implícitamente la distribución de la masa de probabilidad en todo el conjunto de datos. En consecuencia, a menudo introducen distorsiones severas en la densidad de los datos, expandiendo las regiones dispersas y comprimiendo las densas. Esto conduce a incrustaciones que representan incorrectamente la distribución subyacente de los datos, produciendo tamaños de agrupamiento y relaciones espaciales engañosos. Los enfoques existentes conscientes de la densidad, como DensMAP y DenSNE, intentan mitigar esto imponiendo consistencia en las escalas de vecindad local (por ejemplo, radios o anchos de banda). Sin embargo, el artículo argumenta que estos proxies basados en la escala solo están indirectamente relacionados con la densidad de muestreo local y pueden ser sensibles a la escala de la incrustación y a las definiciones de vecindad.

Metodología
Los autores proponen DR-SNE (Stochastic Neighbor Embedding Regularizado por Densidad), una reformulación de la reducción de dimensionalidad como la alineación conjunta de dos componentes:

1. Estructura Condicional: Captura las relaciones locales (estándar en SNE/t-SNE).
2. Estructura de Densidad Relativa: Captura la variación de la masa de probabilidad mediante estadísticas de densidad local.

Teóricamente, esto se fundamenta en la descomposición de la divergencia de Kullback–Leibler (KL) entre distribuciones conjuntas en componentes condicionales y marginales. El SNE estándar optimiza solo el término condicional fijando las distribuciones marginales como uniformes. DR-SNE introduce un objetivo complementario para alinear la densidad marginal.

Implementación Algorítmica:

• Estimación de Densidad: Las densidades locales tanto en el espacio de alta dimensionalidad ($X$) como en el de baja dimensionalidad ($Z$) se estiman utilizando distancias de los $k$ vecinos más cercanos ($k$-NN).
• Normalización: Estas estimaciones de densidad ($\rho$) se normalizan a una media unitaria para garantizar la invariancia de escala.
• Función Objetivo: La pérdida total $L$ combina la divergencia KL estándar dispersa ($L_{KL}$) con un término de regularización de densidad ($L_{dens}$):
  $$L = L_{KL} + \lambda L_{dens}$$
  donde $L_{dens}$ minimiza la diferencia al cuadrado entre las estimaciones de log-densidad normalizadas:
  $$L_{dens} = \frac{1}{n} \sum_{i=1}^{n} \left( \log \tilde{\rho}^{high}_i - \log \tilde{\rho}^{low}_i \right)^2$$
• Optimización: El método utiliza una fase de calentamiento con exageración temprana seguida de optimización mediante Adam con recorte de gradiente. El parámetro $\lambda$ controla la compensación entre la fidelidad de la vecindad y la preservación de la densidad.

Contribuciones Clave

1. Reformulación Teórica: El artículo enmarca explícitamente la reducción de dimensionalidad como la alineación conjunta de la estructura condicional y la densidad marginal, identificando el descuido del término marginal como la causa raíz de la distorsión de densidad en los métodos estándar.
2. Alineación Directa de Densidad: A diferencia de trabajos anteriores que dependen de proxies basados en la escala, DR-SNE alinea directamente las estimaciones de log-densidad normalizadas. Esto proporciona un mecanismo invariante de escala para preservar las variaciones de densidad relativa.
3. Nueva Métrica de Evaluación: Los autores introducen la Correlación de Densidad (DC), definida como la correlación entre las estimaciones de log-densidad normalizadas en los espacios original e incrustado, para evaluar cuantitativamente la preservación de la densidad.
4. Validación Empírica: Experimentos extensos demuestran que DR-SNE logra una preservación de densidad superior en comparación con t-SNE, UMAP, PaCMAP, DensMAP y DenSNE, manteniendo al mismo tiempo una fidelidad de vecindad competitiva.

Resultados

• Preservación de Densidad: En diversos conjuntos de datos (Digits, Fashion-MNIST, MNIST, PBMC, Shuttle y espirales sintéticas), DR-SNE logra consistentemente las puntuaciones más altas de Correlación de Densidad. Por ejemplo, en el conjunto de datos MNIST, DR-SNE obtuvo una DC de 0.991 en comparación con 0.987 para DensMAP y 0.118 para t-SNE estándar.
• Compensación entre Topología y Densidad: Los estudios de ablación revelan una frontera de Pareto clara. Aumentar $\lambda$ mejora la correlación de densidad de manera monótona pero degrada gradualmente la confiabilidad (estructura local). Cabe destacar que valores pequeños no nulos de $\lambda$ a menudo mejoran tanto la preservación de la densidad como la estructura local, actuando como un estabilizador.
• Rendimiento Aguas Abajo: En tareas de detección de anomalías (utilizando kNN, LOF, Isolation Forest y detectores basados en centroides), DR-SNE produce ganancias, particularmente en regímenes impulsados por densidad (por ejemplo, Shuttle, Thyroid) donde las anomalías corresponden a regiones de baja densidad. Muestra robustez frente a diferentes detectores en comparación con métodos que solo destacan con funciones de puntuación específicas.
• Costo Computacional: DR-SNE conserva la complejidad temporal de $O(n^2)$ por iteración del t-SNE estándar debido a las interacciones densas por pares, aunque los autores señalan que las técnicas de aceleración existentes (por ejemplo, Barnes-Hut) podrían aplicarse.

Significado y Afirmaciones
El artículo afirma que DR-SNE ofrece una "extensión simple y fundamentada" al marco de vecinos estocásticos que aborda una limitación fundamental de las herramientas de visualización ampliamente utilizadas. Al incorporar explícitamente información de densidad, DR-SNE proporciona una representación más fiel de la distribución subyacente de los datos, particularmente en conjuntos de datos híbridos que contienen tanto agrupamientos discretos como variaciones continuas (por ejemplo, datos de secuenciación de ARN de células individuales).

Los autores enfatizan que su trabajo sugiere que la reducción de dimensionalidad debe considerarse no meramente como un problema geométrico, sino como la alineación de componentes complementarios de la distribución de datos. Argumentan que, aunque los métodos centrados en la geometría siguen siendo preferibles para entornos puramente agrupados o dominados por variedades, las incrustaciones que preservan la densidad son críticas para el análisis estadístico, la detección de anomalías y tareas donde la densidad relativa de los puntos de datos porta información significativa. El método proporciona una compensación controlable, permitiendo a los profesionales ajustar la incrustación según el régimen estructural específico de sus datos.