🤖 machine learning

Measuring Distortion in the Empty Regions of Dimensionality Reduction Scatterplots with the Gap Index

Este artículo introduce el Gap Index, una métrica de calidad rápida e interpretable para diagramas de dispersión de reducción de dimensionalidad que mide de manera única la distorsión visual en regiones vacías al comparar las deformaciones espaciales de triángulos vacíos frente a sus contrapartes de alta dimensión, abordando una limitación clave de las métricas existentes que se centran únicamente en las relaciones entre puntos.

Autores originales: Jaume Ros, Alessio Arleo, Fernando Paulovich

Publicado 2026-07-31

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jaume Ros, Alessio Arleo, Fernando Paulovich

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un cartógrafo intentando dibujar un mapa de una ciudad gigante, invisible y multidimensional sobre un trozo plano de papel. Este es el desafío diario de la Reducción de Dimensionalidad, una rama de la ciencia de datos donde las computadoras toman información compleja y de alta dimensión (como miles de características que describen un solo objeto) y la comprimen en un simple diagrama de dispersión en 2D para que los humanos puedan verla realmente. El objetivo es mantener intactos los "vecindarios": si dos puntos están cerca en la ciudad de alta dimensión, deben permanecer cerca en tu mapa de papel. Si están lejos, deben permanecer lejos.

Pero aquí está el truco: no puedes aplanar perfectamente una esfera 3D sobre una hoja 2D sin rasgar o estirar. Al igual que un mapa del mundo distorsiona el tamaño de Groenlandia o la forma de la Antártida, los mapas generados por computadora inevitablemente deforman los datos. Para confiar en lo que vemos, los científicos utilizan "métricas de calidad": reglas matemáticas que miden cuánto se ha distorsionado el mapa. Durante mucho tiempo, estas reglas solo verificaban la distancia entre los puntos (los puntos de datos) en sí mismos. Preguntaban: "¿Siguen siendo estos dos puntos vecinos?". Pero ignoraban en gran medida el espacio blanco vacío entre los puntos. Sin embargo, en el análisis visual, ese espacio vacío es tan importante como los puntos mismos; es el silencio entre las notas que define la música, los huecos que nos dicen dónde termina un grupo y comienza otro.

Este artículo introduce una nueva forma de medir esa distorsión, llamada Índice de Brecha (Gap Index o GI). Los autores, Jaume Ros, Alessio Arleo y Fernando Paulovich, argumentan que las reglas antiguas no están viendo el panorama completo. Descubrieron que las métricas estándar a menudo otorgan un "certificado de buena salud" a mapas que parecen visualmente caóticos y engañosos para el ojo humano. Para solucionar esto, desarrollaron un método que trata los espacios vacíos en el mapa como los personajes principales. En lugar de medir solo los puntos, dividen todo el espacio vacío entre los puntos en triángulos y comprueban si esos triángulos han sido estirados o aplastados en comparación con su forma original en el mundo de alta dimensión.

El hallazgo central es que el Índice de Brecha es mucho más sensible a los trucos visuales que las herramientas anteriores. En sus pruebas, demostraron que una técnica popular llamada t-SNE (que es excelente para separar grupos o clusters) puede crear brechas de apariencia falsa y patrones espurios que parecen grupos distintos pero que son en realidad solo artefactos de las matemáticas. Las métricas estándar como el "estrés" o la "confiabilidad" apenas lo notaron, reportando el mapa como casi perfecto. El Índice de Brecha, sin embargo, señaló inmediatamente estas áreas vacías como altamente distorsionadas, coloreándolas de rojo para mostrar dónde se había estirado el mapa y de azul donde se había comprimido. Los autores sugieren que, al centrarse en estas "brechas", el GI proporciona un reporte de calificaciones más honesto para el análisis visual, ayudando a los usuarios a detectar cuándo una imagen bonita es en realidad una realidad distorsionada. También demostraron que este nuevo métrico es rápido de calcular, funcionando eficientemente incluso en grandes conjuntos de datos, y que puede superponerse directamente sobre el diagrama de dispersión para ofrecer una vista tipo mapa de calor de exactamente dónde está ocurriendo la distorsión.

Resumen Técnico: Medición de la Distorsión en las Regiones Vacías de Gráficos de Dispersión de Reducción de Dimensionalidad con el Índice de Brecha (Gap Index)

Planteamiento del Problema
La Reducción de Dimensionalidad (DR) es esencial para visualizar datos de alta dimensión, pero todas las proyecciones conllevan distorsión a menos que los datos se encuentren en una variedad (manifold) de 2D. Aunque existen métricas de calidad para cuantificar esta distorsión, las métricas populares actuales (por ejemplo, estrés, confiabilidad, continuidad) se centran principalmente en la preservación de las relaciones entre los puntos de datos, tales como las distancias por pares o las vecindades. Estas métricas a menudo no logran capturar las distorsiones en las "regiones vacías" o brechas entre los puntos. Sin embargo, estos espacios vacíos son visualmente críticos; definen la separación entre cústers y la estructura general percibida por los usuarios. En consecuencia, las métricas pueden reportar una alta calidad (baja distorsión) incluso cuando una proyección crea patrones espurios o separaciones engañosas en el espacio vacío, lo que genera un exceso de confianza en el análisis visual.

Metodología: El Índice de Brecha (Gap Index - GI)
Los autores introducen el Índice de Brecha (GI), una métrica de calidad diseñada para cuantificar la distorsión específicamente dentro de las áreas vacías de una proyección en 2D. El GI opera descomponiendo el espacio visual en triángulos y comparando su deformación contra el espacio de alta dimensión. El cálculo sigue un flujo de trabajo modular:

Triangulación: La proyección en 2D se particiona en un conjunto de triángulos no superpuestos utilizando una triangulación de Delaunay. Este método se elige por su eficiencia computacional ( $O(N \log N)$ ), su capacidad para cubrir el envolvente convexo de los datos y su propiedad de evitar triángulos delgados y numéricamente inestables.
Deformación de Triángulos: Para cada triángulo $t_i$ $t_{i}$ en la proyección 2D, se identifica el triángulo correspondiente $\hat{t}_i$ $\hat{t}_{i}$ en el espacio de alta dimensión utilizando los mismos tres vértices. La deformación se calcula comparando las áreas relativas de estos triángulos.
- El área relativa se define como el área del triángulo dividida por la suma de todas las áreas de los triángulos en el respectivo espacio. Esta normalización asegura que la métrica sea invariante a la escala.
- El valor de deformación $D(t_i, \hat{t}_i)$ se calcula como la diferencia entre las áreas relativas, normalizada por el máximo de las dos. Esto produce un valor en $[-1, 1]$ , donde los valores positivos indican estiramiento (la brecha es mayor en 2D que en alta dimensión) y los valores negativos indican compresión.
- Crucialmente, el área del triángulo en alta dimensión puede calcularse utilizando únicamente las distancias por pares (vía la fórmula de Herón), lo que significa que el GI no requiere coordenadas explícitas de alta dimensión, solo una matriz de distancias.
Agregación: Para producir una métrica escalar única, el GI agrega los valores absolutos de deformación de todos los triángulos mediante un promedio ponderado. El peso $w_i$ para cada triángulo es el máximo de su área relativa en el espacio 2D o en el de alta dimensión. Esto asegura que las brechas grandes y visualmente salientes (ya sea en la proyección o en los datos originales) tengan una mayor influencia en la puntuación final.
Visualización: El GI puede superponerse al gráfico de dispersión coloreando los triángulos según sus valores de deformación. Un mapa de colores divergente (azul para compresión, rojo para estiramiento, amarillo para ausencia de distorsión) visualiza la distorsión regional. Para mitigar el ruido visual de los límites de los triángulos, los autores proponen aplicar un desenfoque gaussiano al fondo.

Contribuciones Clave

Identificación de Limitaciones: El artículo destaca que las métricas de calidad estándar son insensibles a las deformaciones estructurales en regiones vacías que tienen un alto impacto visual, lo que puede confundir a los analistas.
Propuesta de una Métrica Novedosa: Los autores introducen el Índice de Brecha, una métrica que desplaza el enfoque de las relaciones punto a punto hacia la distorsión de los espacios vacíos (brechas) entre los puntos.
Evaluación Comparativa e Implementación: El artículo proporciona una colección de conjuntos de datos artificiales y reales para evaluar el GI frente a métricas populares (estrés, confiabilidad, continuidad, estabilidad, cohesión). Se proporciona una implementación de código abierto en Python para reproducir los resultados.

Resultados
La evaluación demuestra que el GI es sensible a las distorsiones que otras métricas pasan por alto:

Sensibilidad a Artefactos Visuales: En el experimento del "conjunto de datos de plano" (puntos distribuidos aleatoriamente en un plano 2D embebido en 3D), PCA produce una proyección perfecta (GI = 0), mientras que t-SNE crea brechas tipo cúster espurias. Mientras que el estrés y la confiabilidad reportan una distorsión mínima para t-SNE, el GI identifica correctamente la significativa distorsión visual causada por las brechas artificiales.
Interpretabilidad: En conjuntos de datos sintéticos (por ejemplo, un cubo 3D con una cara faltante), la visualización del GI resalta claramente dónde el espacio vacío ha sido estirado o comprimido, permitiendo a los usuarios inferir la estructura original de alta dimensión (por ejemplo, identificando que un área roja grande en la proyección corresponde a una cara faltante en el objeto 3D).
Rendimiento: El GI es computacionalmente eficiente, dominado por la complejidad $O(N \log N)$ de la triangulación de Delaunay, lo que lo hace adecuado para grandes conjuntos de datos.

Significancia y Reivindicaciones
El artículo afirma que el Índice de Brecha ofrece un complemento necesario a las métricas de calidad existentes al abordar un punto ciego en el análisis visual: la fiabilidad de las regiones vacías. Al centrarse en las brechas que definen cústers y patrones, el GI proporciona una visión más holística de la calidad de la proyección que se alinea mejor con la percepción humana. Los autores sostienen que el GI es rápido de calcular, interpretable y capaz de detectar pequeñas deformaciones estructurales que tienen un alto impacto visual, las cuales suelen ser pasadas por alto por las métricas centradas en puntos. El trabajo revisita y extiende conceptos previos de triangulación de proyecciones, formalizándolos en una métrica de calidad agregada y normalizada adecuada tanto para la evaluación escalar como para la visualización regional.

Más como este