📊 statistics

Squintability and Other Metrics for Assessing Projection Pursuit Indexes, and Guiding Optimization Choices

Este artículo define nuevas métricas para la suavidad y la "capacidad de entrecerrar los ojos" (squintability) de los índices de búsqueda de proyecciones para demostrar que una mayor capacidad de entrecerrar los ojos mejora las tasas de éxito de optimización, al tiempo que evalúa la efectividad del algoritmo Jellyfish Search Optimizer para detectar patrones de objetivos a través de diversas dimensiones de datos e implementa estas herramientas en los paquetes de R `tourr` y `ferrn`.

Autores originales: H. Sherry Zhang, Dianne Cook, Nicolas Langrené, Jessica Wai Yin Leung

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: H. Sherry Zhang, Dianne Cook, Nicolas Langrené, Jessica Wai Yin Leung

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los datos de alta dimensión son el océano invisible del mundo moderno. Consisten en información con tantas variables diferentes que el ojo humano no puede verlas todas a la vez. Un solo cliente podría tener cientos de atributos, o una sola galaxia podría ser medida a través de miles de frecuencias de luz. Para dar sentido a esta complejidad, los estadísticos utilizan una técnica llamada búsqueda de proyecciones (projection pursuit). Imagine intentar comprender un objeto tridimensional complejo mirando sus sombras bidimensionales. Si solo mira una sombra, podría perderse la forma por completo. Pero si pudiera rotar lentamente el objeto, observando cómo la sombra cambia desde cada ángulo posible, eventualmente vería emerger la verdadera estructura. La búsqueda de proyecciones hace exactamente esto con los datos. Rota matemáticamente la información de alta dimensión para encontrar la vista bidimensional específica que revela los patrones más interesantes, como grupos de datos ocultos o formas inusuales.

El desafío radica en encontrar esa vista perfecta de forma automática. La computadora debe buscar entre millones de ángulos posibles para encontrar la imagen más clara. Esta búsqueda es guiada por un sistema de puntuación, conocido como índice, que le dice a la computadora qué tan "interesante" es una vista particular. Sin embargo, no todos los sistemas de puntuación son fáciles de navegar. Algunos son como una colina suave donde la computadora puede rodar fácilmente hacia la cima. Otros son como una aguja escondida en un pavo real (un pajar), donde la computadora debe acercarse increíblemente al objetivo antes de que la puntuación mejore lo suficiente como para guiarla más allá. Si el sistema de puntuación es demasiado irregular o el objetivo es demasiado estrecho, la computadora se pierde y el patrón oculto permanece invisible.

En este estudio, los investigadores se propusieron mejorar la forma en que las computadoras encuentran estos patrones ocultos. Probaron un nuevo método de búsqueda inspirado en el movimiento de las medusas en el océano. Este algoritmo, llamado Optimizador de Búsqueda de Medusas (Jellyfish Search Optimizer), imita cómo las medusas derivan con las corrientes y nadan para explorar su entorno. Los investigadores querían ver si este enfoque biológico podía encontrar las mejores vistas de los datos de forma más rápida y fiable que los métodos utilizados actualmente. Para hacer esto, primero crearon nuevas formas de medir la dificultad de la tarea. Desarrollaron dos métricas específicas: una para medir qué tan suave es el sistema de puntuación, y otra para medir qué tan fácil es detectar el objetivo desde la distancia. Llamaron a esta segunda calidad "capacidad de visibilidad de lejos" (squintability). Un sistema con alta capacidad de visibilidad permite que la computadora vea el objetivo incluso cuando está lejos, mientras que un sistema con baja capacidad de visibilidad requiere que la computadora esté casi tocando el objetivo antes de saber que está en el camino correcto.

El equipo realizó una serie de simulaciones por computadora para probar estas ideas. Utilizaron conjuntos de datos diseñados para ocultar formas específicas, como un tubo o una onda senoidal, dentro de ruido aleatorio. Pidieron al algoritmo de la medusa que encontrara estas formas utilizando diferentes sistemas de puntuación y compararon su rendimiento contra un método antiguo conocido como búsqueda aleatoria rastrera (creeping random search). Los resultados mostraron que el algoritmo de la medusa era significamente mejor para encontrar las estructuras ocultas. Encontró consistentemente vistas más claras de los datos, especialmente en espacios complejos y de alta dimensión donde el método antiguo tenía dificultades. Los investigadores también descubrieron que el éxito de la búsqueda dependía fuertemente de la "capacidad de visibilidad de lejos" del sistema de puntuación. Cuando el sistema de puntuación permitía a la computadora ver el objetivo desde la distancia, el algoritmo tenía éxito casi siempre. Cuando el objetivo era difícil de detectar hasta que la computadora estaba muy cerca, la tasa de éxito disminuía.

Curiosamente, la suavidad del sistema de puntuación no importaba tanto como los investigadores esperaban. Incluso cuando el sistema de puntuación era irregular y ruidoso, el algoritmo de la medusa funcionaba bien, siempre que el objetivo fuera visible desde la distancia. Esto sugiere que la capacidad de ver la meta temprano es más importante que la suavidad del camino que conduce a ella. El estudio también encontró que el número de "medusas" utilizadas en la búsqueda y el número de pasos que se les permitía tomar influían en los resultados. Usar más medusas y permitir más pasos mejoraba las posibilidades de encontrar la mejor vista, aunque esto requería más tiempo de computación. Los investigadores conclaron que el enfoque de la medusa es una herramienta poderosa para explorar datos complejos, pero su efectividad está ligada al diseño del sistema de puntuación utilizado para guiarlo.

Para hacer estos hallazgos útiles para otros, los investigadores integraron el nuevo algoritmo en un paquete de software utilizado por estadísticos. También añadieron herramientas que permiten a los usuarios medir la "capacidad de visibilidad de lejos" y la suavidad de sus propios sistemas de puntuación personalizados antes de comenzar una búsqueda. Esto permite a los investigadores elegir las mejores herramientas para sus problemas de datos específicos. El trabajo demuestra que, al comprender el paisaje de la búsqueda —específicamente qué tan fácil es detectar el objetivo desde lejos—, los científicos pueden elegir mejores métodos para revelar las historias ocultas dentro de sus datos. El algoritmo de la medusa ofrece una forma robusta de navegar estos paisajes complejos, siempre que el mapa que sigue esté diseñado para ser visto.

Resumen Técnico: La "Squintability" y otras métricas para evaluar los índices de búsqueda de proyecciones (Projection Pursuit), y la guía de elecciones de optimización

Planteamiento del problema
La Búsqueda de Proyecciones (PP, por sus siglas en inglés) es una técnica de reducción de dimensionalidad utilizada para identificar proyecciones lineales informativas de datos de alta dimensión mediante la optimización de una función objetivo conocida como índice de PP. El Recorrido Guiado de Búsqueda de Proyecciones (PPGT) visualiza este proceso de optimización interpolando entre planos para revelar estructuras tales como cúmulos o desviaciones de la normalidad. Sin embargo, optimizar los índices de PP puede ser un desafío. Algunos índices no son suaves, mientras que otros poseen un "ángulo de squint" (ángulo de entrecerrar los ojos) pequeño, lo que significa que el patrón objetivo solo es detectable cuando la proyección está extremadamente cerca del óptimo. Los métodos de optimización existentes, como la Búsqueda Aleatoria Reptante (CRS) implementada en el paquete de R tourr, pueden tener dificultades con estas complejidades, particularmente cuando el paisaje es ruidoso o la región óptima es estrecha. Existe la necesidad de algoritmos de optimización robustos capaces de manejar estos paisajes de índices difíciles y de métricas para cuantificar las propiedades de estos índices para guiar la selección del optimizador.

Metodología
El artículo introduce una nueva metaheurística basada en enjambres, el Optimizador de Búsqueda de Medusas (JSO, por sus siglas en inglés), adaptado para la optimización de PP. El JSO imita los movimientos pasivos y activos de las medusas para equilibrar la exploración y la explotación en el espacio de búsqueda. El estudio evalúa el JSO frente al optimizador CRS existente e investiga cómo propiedades específicas de los índices de PP influyen en el éxito de la optimización.

Para cuantificar las propiedades de los índices, los autores definen dos nuevas métas:

Suavidad (Smoothness): Medida mediante el ajuste de un Proceso Gaussiano (GP) con una función de covarianza Matérn a los valores de los índices evaluados en bases de proyección aleatorias. El parámetro de suavidad $\nu$ del núcleo Matérn sirve como la métrica; valores más altos indican una función más suave.
Squintability (Capacidad de detección visual): Basada en el concepto del "ángulo de squint", esta métrica cuantifica qué tan rápido mejora el valor del índice a medida que disminuye la distancia de la proyección al óptimo. Se calcula modelando la relación entre el valor del índice y la distancia de la proyección utilizando una función sigmoide escalada. Una mayor squintability indica que la estructura es visible incluso cuando se está lejos del óptimo, mientras que una baja squintability implica que el optimizador debe estar muy cerca del óptimo para detectar el patrón.

Se realizaron dos estudios de simulación:

JSO vs. CRS: Ambos optimizadores fueron probados detectando una estructura de "tubo" 2D en datos con dimensiones $d = 6, 8, 10, 12$ utilizando el índice "holes". El éxito se definió como alcanzar un valor de índice dentro de 0.05 del mejor valor encontrado en 50 simulaciones.
Análisis Factorial: Se analizó el rendimiento del JSO a través de 77 escenarios que involucraban diferentes dimensiones de datos ( $d = 4$ a $12$), varios índices de PP (incluyendo holes, MIC, TIC, dcor, loess, splines, skinny y stringy) y los hiperparámetros del JSO (número de medusas: 20, 50, 100; iteraciones máximas: 50, 100). Se ajustó un modelo lineal generalizado (familia cuasibinomial) para evaluar el impacto de la suavidad, la squintability, la dimensión y los hiperparámetros en la tasa de éxito.

Contribuciones Clave

Nuevo Algoritmo de Optimización: La implementación del Optimizador de Búsqueda de Medusas (JSO) dentro del paquete de R tourr para recorridos guiados de PP.
Nuevas Métricas: La definición matemática y la implementación computacional de la suavidad (vía GP de Matérn) y la squintability (vía modelado de sigmoide escalado) para caracterizar las funciones de los índices de PP. Estas métricas están implementadas en el paquete ferrn.
Caracterización Empírica: Una evaluación sistemática de cómo las propiedades de los índices y los hiperparámetros del optimizador afectan la capacidad de encontrar óptimos globales en espacios de alta dimensión.

Resultados

JSO vs. CRS: El JSO superó consistentemente al CRS en la detección de la estructura de tubo, logrando tasas de éxito más altas y visualizaciones más claras del patrón objetivo, particularmente a medida que aumentaba la dimensionalidad de los datos.
Hiperparámetros: Aumentar el número de medusas mejoró las tasas de éxito del JSO. Sin embargo, aumentar el número máximo de iteraciones no afectó significativamente las tasas de éxito. Para problemas de alta dimensión ( $d=10, 12$ ), se requirieron significativamente más recursos computacionales (específicamente más medusas) para mantener tasas de éxito aceptables.
Impacto de las Propiedades del Índice:
- Squintability: Esta fue el predictor más significativo del éxito. Una mayor squintability se correlacionó fuertemente con mayores tasas de éxito (un aumento de una unidad en la squintability aumentó las probabilidades de éxito en un 23%).
- Dimensión: Las dimensiones de datos más altas redujeron significativamente las tasas de éxito.
- Suavidad: Contrario a las expectativas, la suavidad de la función de índice no tuvo un efecto significativo en el rendimiento del JSO. Los autores atribuyen esto a la naturaleza de los algoritmos de búsqueda aleatoria, que saltan entre valores sin depender de gradientes locales o regularidad, a diferencia de los métodos basados en gradientes.
- Iteraciones: Aumentar el número máximo de iteraciones no afectó significativamente las tasas de éxito una vez establecido un nivel base.

Significancia y Reivindicaciones
El artículo afirma que las métricas propuestas (squintability y suavidad) proporcionan un marco práctico para caracterizar los índices de PP y guiar la elección de estrategias de optimización. Los resultados sugieren que para las tareas de PP, la squintability de un índice es un factor crítico para el éxito de la optimización, mientras que la suavidad es menos relevante para los optimizadores basados en enjambres como el JSO. Los autores posicionan al JSO como una alternativa superior al CRS para el PPGT, ofreciendo una mayor probabilidad de encontrar óptimos globales, particularmente para paisajes de índices complejos o ruidosos.

El trabajo concluye que, si bien el JSO es robusto, los esfuerzos futuros deberían centrarse en desarrollar algoritmos más eficientes para problemas de "aguja en un pajar" (índices con muy baja squintability) y potencialmente aprovechar la diferenciación automática para índices diferenciables. El artículo enfatiza que estas métricas y la implementación del JSO son herramientas para facilitar una mejor optimización e informar el diseño de futuros índices de PP.

Más como este