HomID : Benchmarking Intrinsic Dimension Estimators on Homogenous Manifolds with Anisotropic Embeddings

Imagina intentar comprender la forma de un objeto oculto tocando únicamente su superficie. En el mundo del aprendizaje automático, los datos suelen concebirse como una vasta nube de puntos de alta dimensionalidad, pero los investigadores creen que estos puntos residen en realidad en una forma mucho más simple y de menor dimensión oculta dentro de esa nube. Esta idea, conocida como la hipótesis del manifold, sugiere que incluso si un conjunto de datos tiene miles de características, la verdadera complejidad de los datos es mucho menor. Para dar sentido a esta complejidad oculta, los científicos utilizan herramientas para estimar la "dimensión intrínseca", que es esencialmente un recuento del número mínimo de coordenadas necesarias para describir los datos sin perder información. Si un conjunto de datos es verdaderamente simple, estas herramientas deberían encontrar fácilmente ese número bajo. Sin embargo, cuando los investigadores aplican estas herramientas a datos del mundo real, como imágenes de dígitos escritos a mano, los resultados suelen ser un caos, con diferentes herramientas dando respuestas de forma dispar. Esta falta de acuerdo ha dificultado saber si las herramientas están rotas o si los datos son simplemente demasiado complicados de medir.

Un equipo de investigadores de la Universidad de Maryland y el NIST se propuso resolver este misterio construyendo un nuevo tipo de campo de pruebas. Se dieron cuenta de que muchas de las pruebas existentes utilizaban formas demasiado perfectas, como esferas suaves donde la superficie se ve igual en todas las direcciones. Los datos reales, sospechaban, rara vez son tan uniformes. En cambio, los datos reales suelen presentar "anisotropía", una palabra elegante para describir una forma que se estira o se aplasta de manera diferente dependiendo de la dirección desde la que se mire. Para probar qué tan bien manejan estas irregularidades las herramientas de medición actuales, el equipo creó un nuevo estándar de referencia llamado HomID. Esta colección consiste en formas matemáticas conocidas como espacios homogéneos, que son perfectamente uniformes en su estructura interna, pero que están incrustadas en un espacio mayor de una manera que crea estos estiramientos direccionales. Es un entorno controlado donde los investigadores conocen la respuesta exacta, lo que les permite ver exactamente dónde y por qué fallan las herramientas de medición.

Cuando los investigadores ejecutaron sus herramientas de medición estándar en estas nuevas formas, los resultados fueron contundentes. Las herramientas que funcionaban perfectamente en formas simples y redondeadas como las esferas comenzaron a tropezar y fallar en las formas de HomID, incluso cuando se les proporcionaba la misma cantidad de datos. Las herramientas producían sistemáticamente respuestas erróneas, a menudo subestimando o sobreestimando la verdadera complejidad de los datos. Los investigadores descubrieron que este fallo no era aleatorio; era una consecuencia directa del estiramiento direccional. Descubrieron que las herramientas dependen de supuestos sobre cómo se distribuyen los datos, como la idea de que los vecinos están espaciados equitativamente en todas las direcciones. Cuando los datos se estiran, estos supuestos se rompen, provocando que las herramientas interpreten erróneamente el vecindario local y calculen la dimensión incorrecta.

Para demostrar que este estiramiento direccional era el culpable, el equipo realizó una serie de pruebas de estrés. Tomaron formas simples y redondeadas y las distorsionaron deliberadamente estirándolas en direcciones específicas, imitando el comportamiento de las formas de HomID. Tan pronto como introdujeron esta distorsión, el rendimiento de las herramientas de medición cayó significamente, reflejando los fallos observados en los benchmarks más complejos. También añadieron ruido a los datos para ver si los errores aleatorios eran la causa, pero descubrieron que el tipo específico de distorsión direccional era la causa principal de los errores, no solo un desorden general. En una comprobación final, aplicaron estas mismas distorsiones a conjuntos de datos de imágenes del mundo real, como fotos de ropa y coches, y observaron el mismo patrón: las herramientas tenían dificultades cuando los datos se estiraban, confirmando que el problema es relevante para las aplicaciones prácticas.

El estudio concluye que la generación actual de herramientas para medir la complejidad de los datos es sorprendentemente frágil. Funcionan bien en formas idealizadas y perfectamente redondeadas, pero se degradan rápidamente cuando se enfrentan a los sesgos direccionales presentes en las geometrías más realistas. Los investigadores sugieren que el campo ha estado sobreestimando la robustez de estos métodos porque las pruebas anteriores eran demasiado simples. Al introducir HomID, han proporcionado una forma de exponer estas debilidades ocultas. El trabajo no pretende haber arreglado las herramientas, pero sí ha identificado claramente una propiedad geométrica específica —la anisotropía— que causa su fallo. Este conocimiento ofrece un camino claro para desarrollar mejores métodos que puedan manejar la naturaleza desigual y estirada de los datos del mundo real, asegurando que, cuando intentemos medir la complejidad del mundo, nuestras herramientas estén a la altura de la tarea.