Local Neighborhood Instability in Parametric Projections: Quantitative and Visual Analysis

1. El Problema

Las técnicas de reducción de dimensionalidad (DR) no paramétricas clásicas, como UMAP y t-SNE, tienen una limitación fundamental: no pueden proyectar nuevos datos (fuera de la muestra) sin recalcular toda la embedding, lo cual es ineficiente para entornos interactivos o de streaming. Para solucionar esto, se utilizan proyecciones paramétricas basadas en redes neuronales (MLP) que aprenden una función explícita $f: \mathbb{R}^d \to \mathbb{R}^2$.

Sin embargo, surge una preocupación crítica: ¿Qué tan estables son estas proyecciones ante pequeñas variaciones en la entrada?

• En escenarios reales, los datos suelen contener ruido de medición o deriva (drift).
• Las métricas de calidad tradicionales (como Trustworthiness y Continuity) evalúan qué tan bien se preservan las estructuras de vecindad en el conjunto de entrenamiento, pero ignoran la sensibilidad del modelo a perturbaciones de entrada.
• Un modelo puede tener una alta preservación de vecindad pero ser extremadamente inestable, donde un pequeño cambio en un píxel de una imagen provoca un desplazamiento masivo o sistemático en la proyección 2D, distorsionando la interpretación visual para el analista.

2. Metodología: Marco de Evaluación de Estabilidad

Los autores proponen un marco que combina medidas cuantitativas y diagnósticos visuales para evaluar la estabilidad local de las proyecciones paramétricas.

A. Protocolo Experimental

1. Selección de Anclajes: Se seleccionan puntos de anclaje representativos (centroides de clases) en el espacio de proyección.
2. Perturbación: Se añade ruido gaussiano isotrópico a las muestras de anclaje en el espacio de entrada de alta dimensión. El radio de perturbación ($r$) se define como un percentil bajo (0.25%) de las distancias pareadas, asegurando que las perturbaciones sean realistas y pequeñas.
3. Proyección: Las muestras perturbadas se proyectan a través de la red neuronal entrenada.
4. Análisis: Se mide cómo se deforman los vecindarios locales en el espacio 2D resultante.

B. Métricas Cuantitativas de Estabilidad

Se proponen tres métricas clave para cuantificar la inestabilidad:

1. Desplazamiento Medio ($D_{dev}$): Mide la magnitud típica del desplazamiento inducido por el ruido ($\|z_i - z_0\|$). Indica la inestabilidad general.
2. Sesgo de Desplazamiento ($D_{bias}$): Mide el desplazamiento sistemático del centroide de las proyecciones perturbadas respecto al anclaje original ($\|\frac{1}{N}\sum z_i - z_0\|$). Detecta si el modelo empuja los datos en una dirección específica bajo ruido.
3. Error de Asignación al Anclaje Más Cercano ($E_{NA}$): Calcula la probabilidad de que una muestra perturbada cruce los límites de la región de Voronoi de su anclaje original y sea asignada erróneamente a otro anclaje. Esto mide la robustez de la separación de clases.

C. Diagnósticos Visuales

Para interpretar estas métricas, se utilizan tres visualizaciones:

• Líneas de Anclaje: Vectores que conectan el anclaje original con sus proyecciones perturbadas, revelando direccionalidad y coherencia del ruido.
• Elipsoides de PCA Local: Aproximan la geometría local de la nube de puntos perturbados, mostrando cómo se amplifican o atenúan las perturbaciones en diferentes direcciones (anisotropía).
• Asignación Voronoi: Muestra qué puntos perturbados caen fuera de la región de su anclaje original, visualizando directamente el error de asignación.

3. Contribuciones Clave

1. Nuevas Métricas de Estabilidad: Introducción de $D_{dev}$, $D_{bias}$ y $E_{NA}$ como estándares para evaluar la robustez de proyecciones paramétricas, complementando las métricas de preservación de estructura existentes.
2. Herramientas de Visualización: Desarrollo de técnicas visuales específicas (líneas, elipsoides, Voronoi) para diagnosticar dónde y cómo falla la estabilidad local.
3. Evaluación Empírica: Comparación exhaustiva de proyecciones basadas en UMAP y t-SNE con diferentes arquitecturas de MLP (pequeñas y grandes) y estrategias de regularización.
4. Validación de Regularización: Demostración de que la regularización de Jacobiano es una estrategia efectiva para mejorar la estabilidad sin sacrificar la fidelidad de reconstrucción.
5. Reproducibilidad: Código y datos disponibles públicamente.

4. Resultados Principales

El estudio se realizó en los conjuntos de datos MNIST y Fashion-MNIST, comparando MLPs entrenados para aproximar UMAP y t-SNE.

• Fallo de las Métricas Tradicionales: Las métricas de Trustworthiness y Continuity permanecieron casi constantes (valores muy similares) entre todos los modelos, fallando en detectar las grandes diferencias de estabilidad.
• Impacto de la Regularización de Jacobiano:
  • La adición de una penalización en la norma de Frobenius del Jacobiano (regularización de suavidad) mejoró drásticamente la estabilidad.
  • Reducciones significativas: En el escenario MNIST (UMAP), el modelo regularizado redujo el desplazamiento medio en un 85% (de 1.80 a 0.265) y el error de asignación de casi 0.294 a 0.006.
  • En t-SNE, la reducción fue del 80% en desplazamiento.
• Capacidad vs. Regularización: Aumentar el tamaño de la red (MLP-large vs. MLP-small) mejoró ligeramente la estabilidad, pero la regularización de Jacobiano fue mucho más efectiva.
• Sesgo Sistemático: Se observó que los modelos no regularizados a menudo exhibían un desplazamiento casi puramente sesgado (el ruido empujaba los datos en una dirección constante) en lugar de una dispersión isotrópica, lo cual es peligroso para la interpretación visual.
• Costo Computacional: Las métricas de estabilidad son baratas de calcular (milisegundos), permitiendo su uso en flujos de trabajo de análisis visual.

5. Significado e Implicaciones

Este trabajo cambia la perspectiva sobre cómo se evalúan las proyecciones paramétricas en Visual Analytics:

1. Confianza del Analista: La estabilidad local es un requisito previo para confiar en que los patrones espaciales en una visualización reflejan estructuras de datos reales y no artefactos de inestabilidad ante ruido.
2. Más allá de la Preservación de Vecindad: Demuestra que una alta preservación de vecindad (Trustworthiness) no garantiza que el modelo sea robusto. Un modelo puede ser "preciso" en el entrenamiento pero "frágil" en la inferencia.
3. Recomendación Práctica: Se insta a los practicantes a incorporar restricciones de suavidad (como la regularización de Jacobiano) al entrenar proyecciones paramétricas, especialmente para escenarios donde los datos pueden tener ruido o deriva.
4. Herramienta de Diagnóstico: Las visualizaciones propuestas permiten a los usuarios identificar regiones inestables específicas en el espacio de proyección antes de desplegar modelos en producción.

En conclusión, el artículo establece que la estabilidad ante perturbaciones es una dimensión crítica, hasta ahora ignorada, de la calidad de las proyecciones paramétricas, y ofrece un marco completo para medirla y mejorarla.