🤖 machine learning

The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks

Este artículo demuestra teórica y empíricamente que la normalización por capas (LayerNorm) reduce la complejidad bayesiana de las redes neuronales en $m/2$ al forzar a los datos a un hiperplano afín, mientras que la normalización RMS mantiene dicha complejidad al proyectar sobre una esfera, revelando un umbral geométrico donde la curvatura no nula preserva la complejidad y solo la planitud afín provoca su disminución.

Autores originales: Sungbae Chun

Publicado 2026-03-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sungbae Chun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo una casa (un modelo de inteligencia artificial) y tienes un equipo de albañiles (los datos) que deben trabajar en un espacio específico. La forma en que organizas ese espacio determina cuántos albañiles realmente necesitas y cuántos movimientos pueden hacer.

Este artículo científico, escrito por Sungbae Chun, descubre un secreto geométrico sobre dos herramientas muy populares en la inteligencia artificial: LayerNorm y RMSNorm. Aunque parecen hacer lo mismo (ayudar a que la red neuronal aprenda mejor), en realidad cambian la "geometría" de los datos de manera fundamental, y eso tiene un costo o beneficio exacto en la complejidad del modelo.

Aquí te lo explico con analogías sencillas:

1. El Problema: ¿Cuántos "movimientos" tiene tu equipo?

En el mundo de las redes neuronales, la "complejidad" (llamada Coeficiente de Aprendizaje Local o LLC) es como contar cuántas direcciones diferentes puede moverse tu equipo de albañiles para arreglar la casa.

Si tienes mucho espacio libre, el equipo tiene muchas opciones (alta complejidad).
Si el espacio está restringido, el equipo tiene menos opciones (baja complejidad).

El autor demuestra que LayerNorm y RMSNorm restringen el espacio de forma diferente.

2. La Analogía de la Mesa vs. La Esfera

Imagina que los datos son una bola de arcilla que debes colocar en una mesa antes de que los albañiles trabajen.

LayerNorm (La Mesa Plana):
LayerNorm toma la arcilla y la aplana obligatoriamente sobre una mesa plana que pasa por el centro.
- La trampa: Al forzar los datos a estar en una mesa plana (un plano lineal), eliminas una dirección de movimiento. Imagina que antes podías mover la arcilla hacia arriba y abajo, pero ahora la mesa te lo prohíbe.
- El resultado: Como hay una dirección menos disponible, el "costo" de la complejidad del modelo baja exactamente a la mitad de la dimensión de salida ( $m/2$ ). Es como si el modelo tuviera menos "libertad" para equivocarse, lo cual es bueno, pero significa que ha perdido capacidad de expresión.
RMSNorm (La Esfera):
RMSNorm toma la arcilla y la coloca sobre la superficie de una esfera (como una pelota).
- La magia: Aunque la superficie es curva, la esfera se extiende en todas direcciones (izquierda, derecha, arriba, abajo, adelante, atrás). No hay ninguna dirección que esté "bloqueada" permanentemente.
- El resultado: La complejidad del modelo no cambia. El equipo sigue teniendo todas sus direcciones de movimiento disponibles.

3. La Regla de Oro: ¿Plano o Curvo?

El descubrimiento más interesante es un umbral geométrico:

Si la superficie es perfectamente plana (como la mesa de LayerNorm): La complejidad baja.
Si la superficie tiene cualquier curvatura (por pequeña que sea, como la esfera de RMSNorm o incluso una silla de montar): La complejidad se mantiene intacta.

No importa si la curva es muy pronunciada o muy suave; mientras no sea una línea recta infinita, el modelo conserva su complejidad. Es un interruptor de "sí/no": o es plano (pierdes complejidad) o es curvo (no pierdes nada).

4. El Truco de la "Salsa Secreta" (El Sesgo Oculto)

El artículo también habla de una situación especial llamada Softmax (usado mucho en chatbots). Softmax empuja los datos a una forma geométrica llamada "símplex" (como un triángulo en 3D).

Si usas una capa lineal simple, no pasa nada.
Pero si añades un "sesgo" (un ajuste manual, como un condimento extra), ocurre un truco geométrico. La curvatura del triángulo, combinada con ese ajuste, crea una ilusión de redundancia.
Es como si dos albañiles hicieran exactamente el mismo trabajo sin que te des cuenta. Esto reduce la complejidad del modelo en la mitad ( $m/2$ ), igual que la mesa plana. El autor llama a esto "sesgo contrabandeado" (smuggled bias).

5. ¿Por qué importa esto? (La Conclusión)

En resumen:

LayerNorm es como poner una valla que obliga a los datos a caminar por un camino plano. Esto simplifica el modelo (reduce su complejidad) de forma predecible y estructurada.
RMSNorm es como dejar que los datos caminen por un terreno ondulado. El modelo mantiene toda su complejidad original.

¿Por qué es útil saberlo?
Si quieres un modelo más simple y eficiente, LayerNorm te ayuda a reducir la "carga" matemática automáticamente. Si necesitas que el modelo mantenga toda su capacidad de expresión y flexibilidad, RMSNorm es mejor porque no "rompe" la geometría de los datos.

El autor también advierte que, aunque la teoría dice que es un interruptor de "sí/no", en la práctica (con datos finitos), si la curvatura es muy pequeña o muy concentrada, los métodos de medición actuales a veces no la detectan, dando la falsa impresión de que el modelo es más simple de lo que realmente es.

En una frase: La forma geométrica en que organizas tus datos (plana vs. curva) decide si tu red neuronal pierde o conserva su "fuerza" matemática, y LayerNorm y RMSNorm eligen caminos opuestos.

Resumen Técnico: El Costo Geométrico de la Normalización

1. El Problema

Las capas de normalización, específicamente LayerNorm y RMSNorm, se consideran a menudo opciones de diseño intercambiables en el aprendizaje profundo. Sin embargo, el artículo identifica una diferencia estructural fundamental que no ha sido cuantificada previamente: LayerNorm reduce el conteo efectivo de parámetros (complejidad bayesiana) de la matriz de pesos subsiguiente, mientras que RMSNorm no lo hace.

El problema central es entender cómo las restricciones geométricas impuestas por estas capas de normalización sobre la variedad de datos (data manifold) afectan la Coeficiente de Aprendizaje Local (LLC, por sus siglas en inglés), una medida de la complejidad bayesiana de un modelo. La pregunta clave es: ¿bajo qué condiciones geométricas la normalización introduce simetrías continuas que reducen la LLC?

2. Metodología

Los autores utilizan la Teoría del Aprendizaje Singular (SLT) y el marco wrLLC (Weight-reduced Local Learning Coefficient) para aislar y medir el costo geométrico de la normalización.

Marco Teórico: Se basa en la teoría de que si los datos están confinados a una subvariedad de dimensión inferior dentro del espacio de entrada, las direcciones de la matriz de pesos ortogonales a esa variedad se vuelven "invisibles" para la función de pérdida. Esto crea simetrías continuas que reducen el LLC.
Configuración Experimental:
- Se utiliza una arquitectura de capa lineal única ( $W \in \mathbb{R}^{m \times d}$ ) con pérdida cuadrática (MSE) en un escenario de "Maestro-Alumno" (Teacher-Student) para garantizar un mínimo global alcanzable.
- Se eliminan otras fuentes de degeneración (como simetrías de escala $GL(r)$ en redes profundas) aislando la capa de normalización.
- Se estima el LLC utilizando SGLD (Stochastic Gradient Langevin Dynamics) con el paquete devinterp.
Experimentos de Control:
- Bloque A: Prueba de umbrales de curvatura utilizando variedades con curvatura positiva (paraboloide, hiperboloide), negativa (silla) y cero (hiperplano plano).
- Bloque B: Análisis de la transición de fase en muestras finitas perturbando un hiperplano con "bump" gaussianos de diferentes anchos y amplitudes.
- Aplicación: Comparación directa entre LayerNorm, RMSNorm y datos de simplex (Softmax) con y sin sesgo explícito.

3. Contribuciones Clave

Umbral Geométrico para la Reducción de LLC:
- Se demuestra teóricamente que la reducción de LLC es binaria y depende de si la variedad de datos es afinamente plana.
- Si los datos están en un hiperplano lineal que pasa por el origen (como en LayerNorm), la LLC se reduce exactamente en $m/2$ (donde $m$ es la dimensión de salida).
- Si la variedad tiene cualquier curvatura no nula (positiva o negativa), la variedad tiene un rango lineal completo y la LLC se mantiene intacta (RMSNorm proyecta sobre una esfera, que tiene rango completo).
Transición de Fase en Muestras Finitas:
- Aunque la teoría predice un umbral binario, experimentalmente se observa una transición suave en tamaños de muestra finitos.
- El ancho de esta transición depende de cuánto de la distribución de datos experimenta realmente la curvatura, no solo de si la curvatura existe en algún lugar. Una curvatura concentrada requiere mayor amplitud para ser detectada por el estimador SGLD que una curvatura distribuida.
Predicciones Exactas para Normalización:
- LayerNorm: Al centrar la media ( $1^\top x = 0$ ), proyecta los datos en un hiperplano lineal de dimensión $d-1$ . Esto reduce la LLC en $\Delta\lambda = m/2$ .
- RMSNorm: Proyecta los datos sobre una esfera (sin centrar la media). La esfera tiene rango lineal completo ( $d$ ), por lo que no hay reducción de LLC ( $\Delta\lambda = 0$ ).
Dualidad Simplex-Sesgo (Proposición 1):
- Los datos de Softmax (simplex) tienen una restricción afín ( $1^\top x = 1$ ).
- En una capa estrictamente lineal, no hay reducción de LLC.
- Sin embargo, si la capa incluye un sesgo explícito ($y = Wx + b$), el sesgo "contrabandeado" ( $b_{smuggled} = \frac{1}{d}W\mathbf{1}$ ) se vuelve indistinguible del sesgo explícito para la función de pérdida. Esto activa una simetría de dimensión $m$ y reduce la LLC en $m/2$ .

4. Resultados Experimentales

Validación de LayerNorm vs. RMSNorm:
- En experimentos de escalado variando la dimensión de salida ( $m$ ), LayerNorm mostró una reducción de LLC consistente con la predicción teórica de $m/2$ (ej. para $m=4$ , $\Delta\lambda \approx 2.0$ ).
- RMSNorm mostró $\Delta\lambda \approx 0$ en todos los casos, confirmando que preserva la complejidad efectiva de los parámetros.
- La reducción de LLC es independiente de la dimensión de entrada ( $d$ ), dependiendo solo de la dimensión perdida por la restricción.
Curvatura vs. Planitud:
- Todas las variedades curvas (paraboloide, hiperboloide, silla) mantuvieron la LLC cerca de la línea base gaussiana.
- Solo el hiperplano plano causó la caída de $m/2$ , confirmando que la curvatura, por pequeña que sea, es suficiente para preservar la LLC.
Efecto del Sesgo en Softmax:
- Con una capa lineal pura, los datos de simplex no redujeron la LLC.
- Al añadir un sesgo explícito, la LLC cayó a $\approx 2.26$ (cerca de $m/2 = 2.0$ ), validando la teoría de la "dualidad simplex-sesgo".
Caso Post-LayerNorm:
- La conjetura de que LayerNorm posterior a una capa lineal también reduce la LLC no se pudo validar empíricamente con SGLD debido a la mala calibración del estimador en paisajes de pérdida no afines, aunque el mecanismo teórico se considera plausible.

5. Significado e Implicaciones

Diferenciación Estructural: El trabajo establece que LayerNorm y RMSNorm no son intercambiables desde la perspectiva de la complejidad bayesiana. LayerNorm introduce una reducción estructural de la complejidad antes de cualquier entrenamiento, mientras que RMSNorm no.
Interpretación Geométrica: La reducción de parámetros efectivos no es un artefacto del entrenamiento, sino una consecuencia directa de la geometría de la variedad de datos restringida por la normalización.
Implicaciones para la Arquitectura:
- Atención Sinks: La reducción de LLC en las matrices de valor ( $W_V$ ) bajo LayerNorm podría sesgar estructuralmente al modelo hacia soluciones de bajo rango, lo que podría estar relacionado con la formación de "tokens sumidero" (attention sinks), aunque esto requiere más investigación.
- Grokking: La reducción de grados de libertad asociada a la memorización en LayerNorm podría hacer que los circuitos de generalización sean más accesibles durante el entrenamiento, potencialmente acelerando la transición de "grokking" en comparación con RMSNorm.
Herramienta de Medición: El uso de wrLLC en arquitecturas de capa única permite medir costos geométricos puros, separándolos de otras simetrías inherentes a las redes profundas.

En conclusión, el artículo demuestra que la planitud afín es el criterio determinante para la reducción de la complejidad bayesiana en redes neuronales, proporcionando una justificación teórica y empírica precisa para las diferencias entre LayerNorm y RMSNorm.