🤖 machine learning

Sphere Retraction Normalizations

Este artículo generaliza la Normalización Geodésica al demostrar que todos los mapas de retracción para flujos residuales esféricos se reducen a un único parámetro escalar que controla el ángulo de rotación, lo que conduce a la familia propuesta $p$ -SpheretNorm que supera a los métodos existentes en nanoGPT al identificar que el mapa exponencial es meramente un caso límite en lugar de la elección óptima.

Autores originales: Jie Zhang, Cheng-Fang Su, Yi-Jui Huang, Min-Te Sun

Publicado 2026-08-05

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jie Zhang, Cheng-Fang Su, Yi-Jui Huang, Min-Te Sun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir un rascacielos con piezas de LEGO, pero cada vez que añades un nuevo piso, toda la torre empieza a tambalearse, retorcerse o colapsar. Este es el lucha diaria de los científicos que construyen "redes neuronales profundas": los cerebros informáticos superinteligentes que impulsan todo, desde chatbots hasta generadores de imágenes. Estas redes están hechas de capas apiladas una sobre otra, como los pisos de un edificio. Para hacerlas funcionar, los ingenieros utilizan un truco especial llamado "conexión residual", que es como un tobogán que permite que la información se salte de un piso al siguiente, evitando que la torre se vuelva demasiado inestable.

Durante mucho tiempo, la mejor forma de mantener estas torres estables fue utilizar un método llamado "LayerNorm", que actúa como un arquitecto estricto, comprobando constantemente el tamaño de los ladrillos para asegurarse de que no sean ni demasiado grandes ni demasiado pequeños. Pero incluso este arquitecto estricto tiene fallos: a veces la torre se vuelve demasiado alta y los pisos superiores dejan de aprender, o los pisos inferiores se emocionan demasiado y hacen que todo se desmorone. Recientemente, una nueva idea llamada "Normalización Geodésica" (o GeoNorm) intentó solucionar esto imaginando que la torre no está construida sobre un terreno plano, sino sobre la superficie de una esfera gigante e invisible. En esta esfera, la información viaja por la ruta más corta, como un avión volando sobre la Tierra, lo que mantiene el tamaño de los datos perfectamente constante. Fue una idea brillante, pero los científicos que la inventaron utilizaron una herramienta matemática muy específica y compleja para dibujar ese camino, asumiendo que era la única forma de hacerlo.

Este artículo, titulado "Sphere Retraction Normalizations", plantea una pregunta simple pero revolucionaria: "¿Es esa herramienta específica la única forma de caminar sobre la esfera, o existen otros caminos mejores?". Los autores, Jie Zhang, Cheng-Fang Su y su equipo, decidieron dejar de tratar la esfera como una pista rígida de un solo camino y, en su lugar, observaron toda la familia de formas en las que se puede mover uno a través de una superficie curva. Descubrieron que la compleja herramienta que todos usaban (el mapa exponencial) es en realidad solo un extremo extremo de un espectro. Al explorar el punto medio, encontraron dos formas nuevas y más sencillas de moverse por la esfera que son igual de buenas para mantener la estabilidad de la torre, pero mucho más fáciles de calcular.

El equipo introdujo tres nuevos métodos, que colectivamente llaman "SpheretNorms". Piensa en la esfera como un globo gigante y en la información como un viajero. El método antiguo (GeoNorm) era como un viajero que tenía que seguir un camino muy específico y sinuoso que requería herramientas de navegación complejas. Los autores demostraron que, en realidad, puedes tomar un atajo. Encontraron dos nuevas "retracciones" (atajos matemáticos para moverse en una esfera): una llamada Proj-SpheretNorm, que es como proyectar una sombra directamente hacia el suelo y luego volver a subir a la superficie, y otra llamada Cay-SpheretNorm, que utiliza un ingenioso truco geométrico para rotar al viajero hacia el siguiente punto.

Para demostrar que estas ideas funcionan, los investigadores no se limitaron a hacer matemáticas sobre el papel; construyeron torres digitales utilizando un modelo de IA ligero y popular llamado "nanoGPT". Probaron sus nuevos métodos en dos conjuntos de datos masivos de texto: OpenWebText y FineWeb-Edu. Construyeron modelos con diferentes alturas, que iban desde las 12 capas hasta las 36 capas, y los entrenaron con unos 6.55 mil millones de tokens (un token es un fragmento de texto, como una palabra o parte de una palabra).

Los resultados fueron sorprendentes. Aunque el método antiguo "GeoNorm" era bueno, no era el mejor. De hecho, los autores descubrieron que el camino "perfecto" no está en el extremo del espectro donde vive el método antiguo, sino en algún lugar intermedio. Crearon una familia flexible de métodos llamados p-SpheretNorm, donde un solo número, p, controla cómo se mueve el viajero.

Cuando p = 1, obtienes el método de "proyección de sombra" (Proj-SpheretNorm).
Cuando p = 2, obtienes el método del "truco geométrico" (Cay-SpheretNorm).
Cuando p se vuelve muy grande, obtienes el antiguo método GeoNorm.
Cuando p se vuelve muy pequeño, obtienes el método estándar de terreno plano.

En sus experimentos, el Proj-SpheretNorm (donde p = 1) resultó ser el campeón. En los modelos medianos y grandes, logró las pérdidas de entrenamiento y validación más bajas, superando no solo al antiguo GeoNorm, sino también a otros métodos populares como Pre-LN, Peri-LN y Keel. Por ejemplo, en el conjunto de datos FineWeb-Edu con un modelo de 24 capas, el nuevo método alcanzó una perplejidad de validación (una puntuación donde cuanto menor es, mejor) de 16.81, comparado con los 19.09 del mejor método anterior, Peri-LN. En el conjunto de datos OpenWebText, también superó a la competencia de manera similar.

Quizás lo más importante es que los nuevos métodos fueron increíblemente estables. En algunas pruebas, los métodos más antiguos como Pre-LN y Keel fallaron por completo, con sus puntuaciones de validación explotando a números como 111.70 o incluso 2081.50, lo que significa que la IA dejó de aprender y empezó a adivinar al azar. En contraste, los tres métodos SpheretNorm convergieron suavemente en todos los entornos, incluso en los modelos más profundos de 36 capas.

Los autores también probaron estos modelos en "tareas downstream", que son como darle a la IA una serie de cuestionarios para ver qué tan inteligente es realmente. Utilizaron 11 diferentes benchmarks que cubren temas como comprensión lectora, acertijos lógicos y preguntas científicas. El modelo 1-SpheretNorm (la versión p=1) obtuvo la puntuación más alta en 11 de los 12 indicadores en los datos de entrenamiento de FineWeb-Edu y en 10 de los 12 en los de OpenWebText. Destacó particularmente en las pruebas de "perplejidad", donde redujo la puntuación de confusión en el conjunto de datos LAMBADA de 59.55 (el mejor baseline) a 46.74, una mejora masiva.

El artículo concluye que el mapa exponencial utilizado en GeoNorm no es el "santo grial" del movimiento esférico; es simplemente un extremo de un espectro. Al elegir un punto diferente en ese espectro (específicamente p=1), podemos construir modelos de IA más profundos, estables y precisos sin necesidad de cálculos complejos. Los autores sugieren que esto abre una nueva forma de pensar sobre cómo conectar las capas en las redes neuronales, alejándose de soluciones geométricas rígidas de un solo camino hacia una familia flexible de elecciones geométricas. Aunque señalan que estos métodos podrían no funcionar para cada tipo de arquitectura de IA (como aquellas que necesitan preservar simetrías específicas), han demostrado con éxito que en la hiperesfera, hay todo un mundo de mejores caminos esperando ser explorados.

Resumen Técnico: Normalizaciones de Retracción Esférica

Planteamiento del Problema
Entrenar redes neuronales profundas de manera estable sigue siendo un desafío significativo. Las metodologías existentes, que se basan principalmente en conexiones residuales combinadas con normalización (por ejemplo, Pre-LN y Post-LN en Transformers), exhiben limitaciones inherentes. Las arquitecturas Pre-LN sufren de la "maldición de la profundidad", donde las capas más profundas contribuyen de forma decreciente al aprendizaje, y permiten flujos residuales ilimitados que acumulan activaciones masivas, lo que conduce a sumideros de atención (attention sinks). Por el contrario, las arquitectas Post-LN enfrentan gradientes grandes cerca de la capa de salida durante la inicialización, lo que requiere esquemas cuidadosos de calentamiento de la tasa de aprendizaje (learning-rate warm-up) que ralentizan la optimización. Aunque trabajos recientes como la Normalización Geodésica (GeoNorm) intentan estabilizar el entrenamiento confinando los estados ocultos a una hiperesfera mediante geometría riemanniana, dependen exclusivamente del mapa exponencial para las actualizaciones. Los autores postulan que el mapa exponencial es simplemente un miembro de una familia más amplia de mapas de retracción, lo que plantea la cuestión de si otras retracciones en la hiperesfera podrían ofrecer un rendimiento o estabilidad superiores.

Metodología
El artículo propone un marco unificado para conexiones profundas basado en mapas de retracción en una hiperesfera, denominado Normalizaciones de Retracción Esférica (SpheretNorms).

Marco Unificado: Los autores recategorizan las Conexiones Residuales (RC) estándar y GeoNorm dentro de un único esqueleto computacional definido sobre una variedad $\mathcal{M}$ . La regla de actualización se abstrae como:
$h_l = R_{h_{l-1}}\left[ \alpha_l \cdot \text{proj}_{T_{h_{l-1}}\mathcal{M}}(F_l(h_{l-1})) \right]$
donde $R$ es un mapa de retracción. Mientras que GeoNorm selecciona la hiperesfera ( $S^{d-1}$ ) y el mapa exponencial, este marco permite otras retracciones.
Instanciaciones Específicas:
- Proj-SpheretNorm: Instancia el marco utilizando la retracción de proyección métrica (también conocida como retracción gnomónica). Esto implica normalizar la suma vectorial del estado actual y la actualización para que resida en la hiperesfera.
- Cay-SpheretNorm: Utiliza la retracción de Cayley (retracción estereográfica), derivada mediante la transformación de Cayley de una matriz antisimétrica generada por el estado actual y el vector de actualización. Esto produce una actualización algebraica de forma cerrada.
Generalización (p-SpheretNorm): Los autores observan que tanto Proj-SpheretNorm como Cay-SpheretNorm comparten una estructura de rotación planar donde la magnitud de la actualización se convierte en un ángulo de rotación. Introducen una familia de un solo parámetro, p-SpheretNorm, definida por un ángulo de rotación $\theta_l = p \arctan(\beta_l / p)$ , donde $\beta_l$ es el tamaño del paso normalizado.
- $p=1$ recupera Proj-SpheretNorm.
- $p=2$ recupera Cay-SpheretNorm.
- $p \to \infty$ converge a GeoNorm (mapa exponencial).
- $p \to 0^+$ converge al mapeo de identidad.
- Crucialmente, para un $p$ finito, el ángulo de rotación se satura, evitando el crecimiento ilimitado, a diferencia del mapa exponencial.
Detalles de Implementación: Para asegurar la estabilidad, los autores emplean un factor de decaimiento $\lambda_l = 1/\sqrt{l}$ para el tamaño de paso aprendible $\alpha_l$ y aplican un ScaleNorm modificado en la primera capa para inicializar el radio del estado oculto.

Contribuciones Clave

Unificación Teórica: El artículo unifica las conexiones residuales euclidianas y GeoNorm como actualizaciones basadas en retracción, demostrando que GeoNorm es un caso específico de una conexión residual riemanniana impulsada por el mapa exponencial.
Nuevas Capas de Normalización: Introduce dos nuevas capas de normalización que preservan la norma (Proj-SpheretNorm y Cay-SpheretNorm) que dependen únicamente de operaciones algebraicas, evitando el costo computacional de las funciones trigonométricas requeridas por el mapa exponencial.
Familia Paramétrica: Generaliza estos métodos en p-SpheretNorm, una familia de un solo parámetro que tiende un puente entre el mapa de identidad, las retracciones algebraicas y el mapa exponencial. Los autores demuestran que todos los miembros de esta familia son retracciones de segundo orden con dinámicas de tangente de primer orden idénticas.
Superioridad Empírica: Experimentos extensos en nanoGPT (hasta 36 capas, 6.55B tokens) muestran que 1-SpheretNorm (correspondiente a $p=1$ ) logra las menores pérdidas de pre-entrenamiento y validación, así como la mayor precisión zero-shot a través de los conjuntos de datos OpenWebText y FineWeb-Edu, superando a Pre-LN, Pre-DyT, Peri-LN, Keel y GeoNorm. Notablemente, 1-SpheretNorm converge en configuraciones donde Pre-LN y Keel divergen.

Resultados

Pre-entrenamiento: En modelos de escala media (24 capas) y grande (36 capas), 1-SpheretNorm alcanzó la mejor perplejidad de validación. Por ejemplo, en FineWeb-Edu con 24 capas, redujo la perplejidad de validación de 19.09 (Peri-LN) a 16.81.
Estabilidad: A diferencia de Pre-LN (que divergió en OpenWebText a escala media) y Keel (que divergió en FineWeb-Edu a escala pequeña), todas las variantes de SpheretNorm convergieron en todos los entornos probados.
Tareas de Aval (Downstream Tasks): En los modelos de gran tamaño entrenados en FineWeb-Edu, las variantes de SpheretNorm obtuvieron la mejor puntuación en 11 de de 12 métricas; en OpenWebText, obtuvieron la mejor puntuación en 10 de 12 métricas. Las ganancias fueron más pronunciadas en las métricas de perplejidad (por ejemplo, LAMBADA y WikiText-2), donde 1-SpheretNorm superó significativamente a GeoNorm y otros baselines.
Sensibilidad de Parámetros: Los resultados indican que el rendimiento óptimo se alcanza con un $p$ finito (específicamente $p=1$ ), sugiriendo que el mapa exponencial (el límite cuando $p \to \infty$ ) no es la retracción preferida para flujos residuales esféricos, sino simplemente un extremo de un espectro.

Significancia y Reivindicaciones
El artículo sostiene que la elección del mapa de retracción es una decisión de diseño crítica para las conexiones profundas en hiperesferas. Al ir más allá del mapa exponencial hacia las retracciones algebraicas (específicamente la proyección métrica), los autores demuestran que es posible lograr la preservación de la norma y la estabilidad del entrenamiento con un rendimiento superior. El trabajo sugiere que el "mapa exponencial" no es una necesidad fundamental para el aprendizaje profundo estable en variedades, sino meramente un punto específico en un espectro más amplio de actualizaciones geométricas válidas. Los autores concluyen que el diseño de mecanismos de conexión profunda es un problema matemático en la intersección de la teoría de grafos, la optimización y los sistemas dinámicos, y que identificar el equilibrio óptimo entre la propagación de información y el condicionamiento del Jacobiano sigue siendo una dirección abierta para trabajos futuros. Reconocen limitaciones respecto a arquitecturas especializadas (por ejemplo, Redes Neuronales Equivariantes) y la necesidad de evaluaciones en modelos de mayor escala más allá de su alcance actual.

Más como este