`pandemonium`: High Dimensional Analysis in Linked Spaces

El artículo presenta `pandemonium`, un paquete de R que facilita el análisis de alta dimensión en espacios vinculados al combinar el análisis de conglomerados con visualizaciones vinculadas, como la reducción de dimensionalidad no lineal y las giras animadas, para explorar las relaciones entre predictores y respuestas en conjuntos de datos complejos como las activaciones de redes neuronales y los modelos físicos multivariables.

Lo esencial

Imagina que estás intentando resolver un rompecabezas gigante y complejo donde tienes dos conjuntos diferentes de pistas. Un conjunto de pistas describe lo que introduces (como los ingredientes de una receta o los ajustes de una máquina), y el otro conjunto describe lo que sale (como el sabor del pastel o la salida de la máquina).

El problema es que hay tantos ingredientes y tantos sabores posibles que es imposible ver el patrón solo mirando una hoja de cálculo. Necesitas una forma de ver cómo los ingredientes juntos crean sabores específicos.

Esto es exactamente lo que hace el paquete de R pandemonium. Es una "ventana mágica" digital que ayuda a los investigadores a conectar los puntos entre dos mundos de alta dimensionalidad.

Así es como funciona, usando analogías simples:

1. Las Dos Habitaciones (Espacios Vinculados)

Piensa en tus datos como dos habitaciones separadas:

• Habitación A (El Espacio de Agrupamiento): Aquí es donde agrupas las cosas según su similitud. Imagina ordenar una pila de calcetines mezclados por color y patrón.
• Habitación B (El Espacio Vinculado): Aquí es donde observas los detalles originales. Imagina mirar los mismos calcetines para ver de qué tela están hechos o dónde se compraron.

Normalmente, los investigadores miran la Habitación A, luego caminan hacia la Habitación B e intentan adivinar cómo se relacionan. pandemonium coloca un espejo bidireccional gigante entre las habitaciones. Cuando señalas un grupo de calcetines en la Habitación A, el espejo resalta instantáneamente esos mismos calcetines exactos en la Habitación B, mostrándote su tela y origen.

2. La Lente Mágica (Agrupamiento)

La herramienta comienza organizando los datos en la Habitación A. Utiliza un método llamado agrupamiento jerárquico, que es como doblar un mapa. Puedes alejarte para ver algunas regiones grandes (como continentes) o acercarte para ver barrios diminutos (como calles).

• Puedes decir: "Muéstrame 3 grupos grandes" o "Muéstrame 10 grupos pequeños".
• A medida que cambias el número de grupos, la herramienta actualiza instantáneamente la vista en ambas habitaciones.

3. La Cámara Móvil (Recorridos y Proyecciones)

Dado que los datos tienen demasiadas dimensiones para dibujarse en un papel plano, la herramienta utiliza dos trucos especiales de cámara para aplanar el mundo 3D (o 100D) en una pantalla 2D:

• La Lente No Lineal (UMAP/t-SNE): Es como un espejo de feria que aplasta y estira los datos para mostrar qué puntos están naturalmente cerca unos de otros, incluso si están lejos en los números crudos.
• El Recorrido Animado: Es como un dron volando a través de una nube de puntos de datos. En lugar de una foto estática, obtienes un video que rota lentamente la nube, permitiéndote ver formas y huecos ocultos que pasarías por alto si solo miraras desde un ángulo.

4. El "Pincel" (Selección Interactiva)

Esta es la característica más poderosa. Imagina que tienes un pincel de pintura.

• Pintas un grupo específico de puntos en el "video del dron" (Habitación A).
• Instantáneamente, esos mismos puntos se iluminan en el "mapa estático" (Habitación B).
• Esto te permite hacer preguntas como: "¿Por qué todos estos puntos que parecen similares en la salida (Habitación A) tienen niveles de temperatura y humedad tan diferentes en la entrada (Habitación B)?"

Ejemplos del Mundo Real del Artículo

Los autores probaron esta herramienta en dos problemas muy diferentes para mostrar cómo funciona:

Ejemplo 1: La Máquina de Alquiler de Bicicletas (Aprendizaje Automático)

• La Configuración: Tenían un modelo informático que predice cuántas bicicletas alquilará la gente según el clima (temperatura, viento, lluvia).
• El Problema: Querían saber qué combinaciones de clima hacen que el modelo actúe de manera extraña o prediga bien.
• La Solución: Agruparon los "pensamientos" internos del modelo (activaciones) en grupos. Luego, usaron el espejo para observar los datos climáticos de esos grupos. Descubrieron que combinaciones específicas de temperatura y humedad eran los principales impulsores para separar los grupos. También verificaron los "errores" (residuos) que cometió el modelo y vieron que el modelo estaba haciendo un buen trabajo en todas partes, sin puntos ciegos extraños.

Ejemplo 2: El Rompecabezas de la Física de Partículas (Física)

• La Configuración: Los físicos tienen un modelo complejo con 150 perillas (parámetros) que giran para ajustar los datos experimentales sobre partículas subatómicas.
• El Problema: Con 150 perillas, es imposible saber cuáles realmente importan.
• La Solución: Tomaron un conjunto más pequeño de 6 perillas y 16 mediciones. Agruparon las mediciones que parecían similares. Luego, miraron las "perillas" de esos grupos. La herramienta reveló que solo dos perillas específicas (de las seis) eran responsables de crear los grupos distintos. Las otras cuatro perillas no parecían cambiar mucho el resultado.

Por Qué Esto Importa

Antes de herramientas como pandemonium, descubrir estas conexiones era como intentar encontrar una aguja en un pajar con los ojos vendados. Podrías adivinar, pero no podías ver el patrón.

Este paquete no solo procesa números; te permite explorar. Te permite:

1. Agrupar datos por similitud.
2. Ver instantáneamente cómo se ven esos grupos en los datos originales.
3. Rotar y hacer zoom en los datos para encontrar estructuras ocultas.

Está diseñado para ser lo suficientemente fácil de usar para un principiante con un ratón y una pantalla, pero lo suficientemente flexible para que los expertos conecten sus propias fórmulas matemáticas personalizadas. Convierte un caos confuso de datos de alta dimensionalidad en una historia clara e interactiva.

Resumen técnico

Resumen Técnico: pandemonium: Análisis de Alta Dimensión en Espacios Enlazados

Enunciado del Problema
El análisis de datos frecuentemente encuentra escenarios que involucran grandes cantidades de predictores y respuestas, creando dos espacios de alta dimensión intrínsecamente enlazados (entrada y salida). Mientras que los enfoques visuales son efectivos para datos de baja dimensión, las técnicas tradicionales a menudo fallan en revelar relaciones que abarcan ambos dominios simultáneamente. Las herramientas existentes se centran típicamente en un único espacio o en la exploración interactiva de resultados de agrupamiento dentro de un solo espacio, lo que dificulta razonar sobre cómo las estructuras en un espacio de predictores se relacionan con los patrones en un espacio de respuestas, o viceversa.

Metodología
El artículo introduce pandemonium, un paquete de R diseñado para explorar espacios de alta dimensión enlazados combinando análisis de agrupamiento jerárquico con visualizaciones interactivas y enlazadas. La metodología opera sobre un conjunto de datos de $n$ observaciones distribuidas en dos espacios: un espacio de agrupamiento (variables $Y$) y un espacio enlazado (variables $X$), con información adicional opcional ($Z$).

El flujo de trabajo central implica:

1. Transformación de Coordenadas: Los datos crudos se convierten en representaciones de coordenadas ($\tilde{Y}, \tilde{X}$) utilizando funciones definidas por el usuario o predefinidas (por ejemplo, estandarización, o transformaciones que utilizan matrices de varianza-covarianza).
2. Agrupamiento Jerárquico: Las observaciones se agrupan dentro del espacio de agrupamiento utilizando agrupamiento jerárquico. El paquete soporta resultados repetibles mediante la selección de clusters anidados, permitiendo a los usuarios ajustar el número de clusters, las métricas de distancia y los métodos de enlace.
3. Visualización Enlazada: Los clusters resultantes se visualizan simultáneamente tanto en el espacio de agrupamiento como en el espacio enlazado. El marco de visualización emplea:
   • Reducción de Dimensión No Lineal (NLDR): Técnicas como t-SNE y UMAP para proyectar datos de alta dimensión en 2D.
   • Recorridos Animados (Tours): Proyecciones lineales (por ejemplo, recorridos generales, recorridos guiados, recorridos de rebanada) generados mediante los paquetes tourr y detourr.
   • Selección Enlazada (Linked Brushing): Implementado utilizando el paquete crosstalk, permitiendo que las selecciones (brushing) en una vista (por ejemplo, un gráfico UMAP del espacio de agrupamiento) resalten inmediatamente los puntos correspondientes en todas las demás vistas (por ejemplo, un recorrido del espacio enlazado).
4. Guía Estadística: El paquete proporciona estadísticas de clusters (por ejemplo, índice de Calinski-Harabasz, relaciones dentro/entre, radios de cluster y distancias de referencia) para ayudar a seleccionar el número óptimo de clusters.

Contribuciones Clave

• Marco Genérico para Espacios Enlazados: A diferencia de herramientas anteriores que se centran en refinar el agrupamiento dentro de un único dominio, pandemonium define un marco genérico para explorar dos espacios conectados mientras se cambian interactivamente los ajustes de agrupamiento.
• Arquitectura Modular: Construido sobre shiny, el paquete permite a los usuarios inyectar funciones personalizadas para transformaciones de coordenadas, cálculos de puntuación y métodos de reducción de dimensión, ampliando su aplicabilidad más allá de las implementaciones predeterminadas.
• Análisis Visual Integrado: Integra de manera única el agrupamiento jerárquico, la NLDR y los recorridos animados en una sola interfaz, permitiendo la comparación de estructuras de clusters contra la geometría del espacio enlazado.
• Reproducibilidad: El paquete incluye las funciones makePlots() y writeResults() para reproducir análisis basados en interfaces gráficas y exportar resultados programáticamente fuera de la sesión interactiva.

Resultados y Estudios de Caso
El artículo valida el paquete a través de dos estudios de caso distintos:

1. Interpretación de Aprendizaje Automático: El paquete se utilizó para analizar un modelo de red neuronal que predecía la cantidad de alquileres de bicicletas. Al agrupar activaciones latentes (espacio de agrupamiento) y mapearlas a variables de entrada (espacio enlazado), los autores identificaron que combinaciones específicas de entrada (temperatura y humedad) impulsaban patrones de activación distintos. Las vistas enlazadas revelaron que, aunque los residuos del modelo estaban bien distribuidos, el espacio de activación contenía estructuras lineales correspondientes a la función de activación ReLU, las cuales no eran inmediatamente obvias en el espacio de entrada por sí solo.
2. Modelado de Física de Alta Dimensión: El paquete analizó un modelo complejo de física de partículas con 150 parámetros reducidos a un subconjunto de seis predictores y dieciséis respuestas. Utilizando una transformación de coordenadas basada en matrices de covarianza experimentales, los autores agruparon el espacio de respuestas. Las visualizaciones enlazadas identificaron con éxito que predictores específicos ($X_1$ y $X_3$) eran responsables de separar los clusters, mientras que otros ($X_6$) no mostraban dependencia. Esto demostró la capacidad de la herramienta para aislar predictores relevantes en espacios de parámetros de alta dimensión.

Significado y Limitaciones
El artículo posiciona a pandemonium como una herramienta exploratoria que cierra la brecha entre el agrupamiento estadístico y el análisis visual en dominios enlazados. Su significado radica en permitir a los analistas formular hipótesis intuitivas sobre cómo las estructuras en un espacio (por ejemplo, predicciones de modelos o variables latentes) se relacionan con las estructuras en otro (por ejemplo, entradas crudas u observables experimentales).

Los autores notan limitaciones modestas:

• Escalabilidad: La herramienta está limitada a aplicaciones de tamaño medio debido a las restricciones de tiempo de cálculo para los recorridos y el desorden visual inherente a los datos de alta dimensión. Para conjuntos de datos muy grandes, se recomienda la selección de variables o la reducción de dimensión lineal antes de la exploración.
• Flexibilidad vs. Simplicidad: Aunque el paquete ofrece entradas modulares para usuarios avanzados, algunas opciones visuales están fijas para mantener la simplicidad para usuarios novatos.
• Trabajo Futuro: Los autores sugieren que se necesita un desarrollo adicional para identificar limitaciones mediante pruebas de aplicación más amplias y para extender potencialmente la modularidad para casos de uso más complejos.

El artículo concluye que pandemonium proporciona una interfaz valiosa y accesible para investigar la interdependencia de espacios de alta dimensión, aplicable en diversos campos desde el aprendizaje automático hasta la física teórica.