Class Angular Distortion Index for Dimensionality Reduction

A continuación se presenta un resumen técnico detallado del artículo "Class Angular Distortion Index for Dimensionality Reduction" de Gunaratne, Kobourov y Miller.

1. Planteamiento del Problema

Las técnicas de Reducción de Dimensionalidad (DR) (por ejemplo, t-SNE, UMAP, PCA) son esenciales para visualizar datos de alta dimensión. Sin embargo, una limitación crítica en la evaluación actual de DR es la representación engañosa de las relaciones entre clusters.

• El Problema Central: Aunque muchos métodos de DR separan con éxito los clusters (haciéndolos "blobs" distintos), a menudo distorsionan las relaciones geométricas globales entre estos clusters. Por ejemplo, las estructuras anidadas, las variedades curvas o los clusters entrelazados pueden aplanarse o reorganizarse arbitrariamente en la proyección.
• Limitaciones de las Métricas Existentes: Las métricas de calidad actuales no capturan estas distorsiones porque se basan en suposiciones defectuosas:
  • Suposición de Separabilidad: Métricas como el Puntuación Silueta y el Índice Davies-Bouldin asumen que los clusters son compactos, globulares y bien separados. Premian las proyecciones que crean "blobs" compactos e aislados, incluso si esto destruye la verdadera estructura topológica (por ejemplo, convirtiendo esferas anidadas en círculos separados).
  • Sesgo hacia el Centroide: Métricas como la Confiabilidad y Continuidad de Etiquetas (Label-T&C) dependen de los centroides de los clusters. Si los clusters se superponen o están anidados (los centroides coinciden), estas métricas no logran distinguir entre una proyección fiel y una aleatoria.
  • Punto a Punto vs. Nivel de Cluster: La mayoría de las métricas evalúan distancias punto a punto o pares de puntos, omitiendo las relaciones geométricas de orden superior entre grupos de puntos.

2. Metodología: Índice de Distorsión Angular de Clase (CADI)

Los autores proponen CADI, una nueva métrica diseñada para evaluar la preservación de las relaciones geométricas inter-cluster utilizando ángulos internos.

Concepto Central

En lugar de medir distancias entre centroides o puntos individuales, CADI mide los ángulos internos formados por tripletes de puntos donde el punto de referencia pertenece a una clase, y los otros dos puntos pertenecen a una clase diferente.

• Intuición: Al observar cómo "se ve" un cluster $C_b$ desde la perspectiva de un punto en el cluster $C_a$ (a través del ángulo $\angle jik$), la métrica captura la forma y la orientación relativa de los clusters.
• Diferenciabilidad: Debido a que depende de la similitud del coseno de los ángulos, CADI es diferenciable, lo que permite su uso como función de pérdida para la optimización.

Definición Matemática

Dado un conjunto de datos $X$ y una proyección $Y$, con una partición de clases $C$:
$$\text{CADI}(X, Y, C) = \frac{1}{T} \sum_{i \in C_a, j,k \in C_b, j \neq k} \left( \cos(\theta_X(j,i,k)) - \cos(\theta_Y(j,i,k)) \right)^2$$
Donde:

• $i$ es un punto de referencia en la clase $C_a$.
• $j, k$ son puntos en una clase diferente $C_b$.
• $\theta$ representa el ángulo interno en $i$ formado por los vectores hacia $j$ y $k$.
• $T$ es el número total de tripletes muestreados.
• Objetivo: Minimizar CADI (un valor más cercano a 0 es mejor).

Implementación Práctica

• Muestreo: Calcular la suma completa es $O(n^3)$. Los autores demuestran que muestrear $k = O(n)$ tripletes (específicamente $40n$) produce resultados estables con varianza despreciable, haciendo que la métrica sea escalable.
• Invarianza: CADI es invariante a la traslación, rotación y escalado uniforme, ya que depende únicamente de los ángulos.
• AngleEmbedding: Los autores introducen un nuevo algoritmo de DR, AngleEmbedding, que utiliza CADI como función de pérdida optimizada mediante una red neuronal paramétrica (red de alimentación hacia adelante) para generar proyecciones que preserven específicamente las relaciones angulares inter-clase.

3. Contribuciones Clave

1. Nueva Métrica (CADI): Una métrica de calidad a nivel de cluster que va más allá de las suposiciones de "globularidad" y "separabilidad" de las métricas existentes. Se dirige específicamente a la preservación de estructuras complejas como clusters anidados, curvos o entrelazados.
2. Demostración de Modos de Fallo: El artículo proporciona evidencia extensa de que las métricas existentes (Silueta, Label-T&C, etc.) a menudo clasifican proyecciones aleatorias o proyecciones de "blobs" por encima de proyecciones que preservan fielmente topologías complejas.
3. Algoritmo AngleEmbedding: Una técnica novedosa de DR supervisada que optimiza CADI, demostrando que la métrica puede utilizarse eficazmente para impulsar la generación de proyecciones de alta fidelidad.
4. Evaluación Exhaustiva: Evaluación en más de 20 conjuntos de datos sintéticos y del mundo real (incluyendo esferas anidadas, anillos, expresión génica y datos de texto) comparando CADI con otras 8 métricas y 8 algoritmos de DR.

4. Resultados

La evaluación destaca discrepancias significativas entre CADI y las métricas existentes:

• Datos Sintéticos (Esferas Anidadas y Anillos):
  • Escenario: Los datos consisten en 5 esferas anidadas o una cadena de anillos entrelazados.
  • Métricas Existentes: La Puntuación Silueta y Label-T&C a menudo clasifican a t-SNE o UMAP (que rompen los anillos en "blobs" separados o dispersan las esferas) como los mejores, o incluso clasifican altamente a las Proyecciones Aleatorias porque los centroides se superponen.
  • CADI: Identifica correctamente a AngleEmbedding y PCA (que preservan el ordenamiento lineal o anidado) como los mejores, asignando las peores puntuaciones a los métodos que destruyen la topología.
• Datos del Mundo Real (Hígado, USPS, TREC):
  • Datos de Hígado: Las células cancerosas (HCC) tienen mayor varianza que las células sanas. t-SNE crea "blobs" separados de tamaño igual, ocultando esta varianza. CADI premia a AngleEmbedding y PCA, que muestran correctamente al cluster HCC como más disperso.
  • USPS (Dígitos): Los tamaños de los clusters varían significativamente según el dígito. t-SNE fuerza clusters de tamaño igual. CADI premia las proyecciones donde los tamaños de los clusters reflejan la verdadera distribución de los datos (preservado por AngleEmbedding).
  • Correlación: CADI muestra una baja correlación con otras métricas (por ejemplo, la correlación de Spearman con Silueta es ~0.24), confirmando que mide un aspecto distinto de la calidad de la proyección.
• Ajuste de Hiperparámetros: CADI se utilizó con éxito para guiar la selección de hiperparámetros para UMAP, identificando configuraciones que preservan mejor la estructura global incluso cuando la inspección visual es ambigua.

5. Significado y Conclusión

• Cambio de Paradigma: El artículo argumenta que para tareas que involucran análisis de relaciones entre clusters (por ejemplo, comprender la jerarquía, la anidación o la topología global), las métricas actuales "centradas en la separabilidad" son engañosas. CADI ofrece una alternativa necesaria para evaluar la fidelidad estructural.
• Selección de Herramientas: Los autores aclaran los casos de uso apropiados:
  • Use t-SNE/UMAP si el objetivo es simplemente identificar el número de clusters o para una exploración inicial.
  • Use CADI/AngleEmbedding si el objetivo es entender cómo se relacionan los clusters entre sí, sus posiciones relativas y sus formas geométricas.
• Trabajo Futuro: Los autores sugieren extender AngleEmbedding a espacios no euclidianos (esferas, hiperboloides) y realizar un análisis teórico más profundo de la agregación de errores angulares.

En resumen, CADI aborda un punto ciego crítico en la evaluación de la reducción de dimensionalidad cuantificando la distorsión de la geometría inter-cluster, proporcionando una guía más fiable para los analistas que trabajan con estructuras de datos complejas y no globulares.