Resumen Técnico: Aprendizaje Hiperbólico Robusto con Optimización Consciente de la Curvatura

1. El Problema

El aprendizaje profundo en espacios hiperbólicos ha ganado tracción debido a su capacidad para modelar estructuras jerárquicas y datos con crecimiento exponencial (como grafos o árboles) de manera más eficiente que el espacio euclidiano. Sin embargo, el uso de la variedad de Lorentz (hiperboloide) presenta tres desafíos críticos:

• Inestabilidad en el aprendizaje de la curvatura: Cuando la curvatura ($K$) se trata como un parámetro aprendible, los cambios en $K$ durante el entrenamiento desalinean los parámetros hiperbólicos existentes, los gradientes y los momentos (momentum), lo que provoca valores NaN y el colapso del modelo.
• Sobreajuste (Overfitting): La alta capacidad representacional de los espacios hiperbólicos los hace propensos al sobreajuste, especialmente en escenarios con pocos datos.
• Complejidad Computacional e Inestabilidad Numérica: Las operaciones en el espacio hiperbólico son costosas. Además, los vectores pueden alejarse del radio de representación precisa de la precisión de punto flotante (como FP16), causando errores de aproximación y divergencia.

2. Metodología Propuesta

Para resolver estos problemas, los autores proponen un marco de optimización integral que incluye:

A. Esquema de Optimización Consciente de la Curvatura (Curvature-Aware Optimization)

En lugar de actualizar todos los parámetros simultáneamente, proponen un proceso escalonado. Cuando la curvatura cambia de $K_{t-1}$ a $K_t$, los parámetros hiperbólicos se mapean utilizando una técnica basada en el espacio tangente en el origen. Este método utiliza el mapa logarítmico para proyectar los parámetros al espacio tangente y luego el mapa exponencial para re-proyectarlos en la nueva variedad, preservando las distancias y ángulos relativos, lo que garantiza la estabilidad matemática.

B. Optimizador Riemannian AdamW (RAdamW)

Los autores derivan una versión de AdamW para la variedad de Lorentz. A diferencia de Adam estándar, RAdamW aplica la regularización de peso (weight decay) directamente durante el paso de actualización del parámetro, utilizando un centroide lorentziano pesado en lugar de una resta euclidiana simple. Esto mejora la capacidad de generalización y combate el sobreajuste.

C. Reescalado de Distancia Máxima (Maximum Distance Rescaling)

Para evitar que los vectores salgan del radio de estabilidad numérica (evitando que la componente temporal $x_t$ sea inválida), introducen una función de escalado flexible basada en tanh. Esta función permite controlar tanto el valor máximo permitido como la pendiente de la curva, asegurando que los embeddings permanezcan dentro de un rango representable incluso en precisión de media precisión (fp16).

D. Eficiencia mediante "Trucos" de Implementación

Para reducir el costo computacional, proponen parametrizar las convoluciones para que utilicen implementaciones de CUDA optimizadas, transformando la operación hiperbólica en una combinación de rotaciones de Lorentz y "boosts" que aprovechan el hardware existente.

3. Contribuciones Clave

1. Nuevo esquema de optimización riemanniana que estabiliza el aprendizaje de la curvatura mediante mapeos en el espacio tangente.
2. Derivación de Riemannian AdamW, mejorando la regularización en espacios de curvatura negativa.
3. Función de escalado suave y flexible que reemplaza el recorte de pesos (clipping) tradicional, permitiendo un entrenamiento más estable y en baja precisión.
4. Implementación eficiente de capas convolucionales hiperbólicas que reduce drásticamente el tiempo de ejecución y el uso de memoria.

4. Resultados Experimentales

El método fue validado en cinco dominios distintos, demostrando mejoras consistentes:

• Aprendizaje Métrico Jerárquico (LHIER): Mejoró el Recall@1 entre un 1.49% y 4.71% en comparación con modelos previos.
• Clasificación de EEG (HyperMAtt): Logró resultados de vanguardia (SOTA) en conjuntos de datos pequeños (SSVEP y ERN) y obtuvo una aceleración de velocidad de 42 veces respecto al modelo base.
• Visión Artificial (HCNN+): En la clasificación de imágenes (CIFAR-100 y Tiny-ImageNet), el modelo superó a los enfoques híbridos y euclidianos, reduciendo el uso de VRAM en un 48% y el tiempo de ejecución en un 66%.
• Generación de Imágenes (VAE): El VAE hiperbólico propuesto superó a los modelos euclidianos y de Poincaré en métricas FID (menor error de reconstrucción y generación).
• Embeddings de Grafos: Confirmó que la combinación de curvatura aprendible, RAdamW y el mapeo de escala es la configuración más efectiva.

5. Significancia

Este trabajo es significativo porque transforma el aprendizaje hiperbólico de una técnica teórica y computacionalmente costosa a una herramienta práctica, robusta y escalable. Al resolver la inestabilidad del aprendizaje de la curvatura y optimizar el uso de hardware (CUDA), los autores permiten que las redes neuronales hiperbólicas se apliquen a problemas de gran escala en visión artificial y procesamiento de señales con una eficiencia comparable a los modelos euclidianos tradicionales.