🤖 machine learning

The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold

Este artículo explica el fenómeno de la generalización tardía conocido como grokking al demostrar que, en el límite de tasas de aprendizaje y decaimiento de pesos pequeños, el descenso de gradiente minimiza la norma del peso en la variedad de pérdida cero, un mecanismo validado a través de una expresión de forma cerrada derivada para la dinámica post-memorización y simulaciones experimentales.

Autores originales: Tiberiu Musat

Publicado 2026-06-02

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tiberiu Musat

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Misterio: ¿Qué es el "Grokking"?

Imagina que le estás enseñando matemáticas a un robot. Le muestras un ejemplo: $1 + 1 = 2$ .

Fase 1 (Memorización): El robot aprende rápidamente a decir "2" cada vez que ve "1 + 1". Ha memorizado la respuesta. Si le pides que resuelva un problema nuevo, como $2 + 2$ , falla. Es solo un loro repitiendo lo que escuchó.
La larga espera: Sigues entrenando al robot. Durante mucho tiempo, parece que no pasa nada. Sigue conociendo únicamente ese único ejemplo.
Fase 2 (Grokking): De repente, después de cientos o miles de pasos adicionales, el robot tiene un "momento de iluminación". Descubre la regla de la suma. Ahora, puede resolver $2 + 2$ , $5 + 3$ y cualquier otro problema de suma perfectamente.

Este extraño retraso —donde el robot pasa de "memorizar" a "entender" mucho tiempo después de haber dominado ya los datos de entrenamiento— se llama Grokking.

La idea principal del artículo: El colector de "Error Cero" (Zero-Loss Manifold)

Los autores de este artículo quieren explicar por qué sucede esto. Proponen una nueva forma de ver cómo aprende el robot durante ese largo periodo de espera.

Imagina el cerebro del robot como un paisaje gigante de múltiples dimensiones.

El Objetivo: El robot quiere llegar a un valle donde el "error" (qué tan equivocado está) sea cero.
El Valle de Error Cero: Una vez que el robot memoriza el único ejemplo ( $1+1=2$ ), ha llegado al fondo de un valle muy específico y plano. En este valle, el robot comete cero errores en los datos de entrenamiento.
El Problema: Este valle es enorme. Hay millones de formas diferentes de organizar las perillas internas (pesos) del robot para obtener un error cero. Algunas de estas configuraciones son "inteligentes" (generalizan a nuevas matemáticas) y otras son "torpes" (solo funcionan para el único ejemplo).

El Mecanismo Secreto: Minimización de la Norma

El artículo argumenta que, una vez que el robot está en este "Valle de Error Cero", el proceso de entrenamiento cambia su objetivo. Deja de intentar reducir el error (porque el error ya es cero) y comienza a simplificarse a sí mismo.

La Analogía: El Funambulista
Imagina que el robot es un funambulista sobre un cable muy largo y sinuoso (el Valle de Error Cero).

El Cable: El cable representa todas las formas posibles en las que el robot puede acertar la respuesta.
El Empujón: El proceso de entrenamiento incluye un "decaimiento de pesos" (weight decay), una pequeña fuerza que empuja constantemente al robot a usar menos energía.
El Resultado: Debido a que el robot ya está sobre el cable (error cero), lo único que puede hacer es deslizarse a lo largo del cable. La fuerza de "ahorro de energía" lo empuja hacia la parte del cable que es la más corta y simple.

Los autores demuestran matemáticamente que el robot está esencialmente deslizándose a lo largo de este cable, buscando la solución más simple. Eventualmente, encuentra el camino "más simple", que resulta ser el que entiende la regla general de la suma. Por eso la generalización ocurre después de la memorización: el robot tiene que completar su largo y lento deslizamiento por el cable para encontrar la solución simple.

La Prueba del "Modelo de Juguete"

Para demostrar que esto no es solo una casualidad, los autores construyeron un robot diminuto y simple (un modelo lineal) con solo dos perillas.

Lo entrenaron con $1+1=2$ .
Observación: El robot encontró rápidamente una solución que funcionaba para los datos de entrenamiento pero que era extraña (por ejemplo, usando un número positivo enorme y un número negativo enorme que se cancelaban entre sí).
El Deslizamiento: Luego, lentamente, el "decaimiento de pesos" empujó las perillas hacia una solución mucho más simple y equilibrada (1 y 1).
El Resultado: Tan pronto como las perillas alcanzaron ese punto simple y equilibrado, el robot de repente se volvió excelente para resolver cualquier problema de suma, no solo $1+1$ .

La Visión "Aislada": Centrándose en la Capa de Embedding

El artículo también aborda una segunda pregunta: ¿Podemos entender solo una parte del cerebro del robot sin modelar todo el conjunto?

En el caso específico de la suma modular (matemáticas con un reloj, como $11 + 2 = 1$ ), investigaciones previas mostraron que el robot organiza los números en un círculo.

La Analogía: Imagina que la primera capa del robot es un cartógrafo. Toma los números y los coloca en un mapa.
El Descubrimiento: Los autores crearon un atajo matemático. Demostraron que si asumes que la segunda capa del robot siempre está "perfectamente ajustada" a la primera, puedes escribir una fórmula simple que predice exactamente cómo se moverá el cartógrafo (la primera capa).
La Simulación: Cuando ejecutaron esta fórmula en una computadora, recreó perfectamente el efecto de "Grokking". El cartógrafo reorganizó lentamente los números de una masa desordenada a un círculo perfecto, y entonces el robot comenzó a entender las matemáticas.

Resumen de Hallazgos

El Grokking es Geometría: El retraso en el aprendizaje no es un error; es una característica de la geometría. El robot tiene que recorrer una larga distancia a lo largo de un camino de "error cero" para encontrar la solución más simple.
El Decaimiento de Pesos es el Motor: La pequeña fuerza que intenta hacer que los números del robot sean más pequeños (decaimiento de pesos) es lo que lo empuja a lo largo de este camino. Sin ella, el robot se quedaría atrapado en el punto de "memorización" para siempre.
La Simplificación Funciona: Puedes predecir cómo aprende una red compleja mirando solo una parte de ella (la capa de embedding) y asumiendo que el resto de la red se adapta instantáneamente.

Lo que el artículo NO afirma

No afirma que esto funcione para todo tipo de IA o para todo tipo de datos (se centra en problemas matemáticos específicos y redes simples).
No sugiere usar esto para construir mejores IA médicas o coches autónos todavía.
No afirma haber resuelto el misterio de todas las redes neuronales, solo el fenómeno específico del "grokking" en estos entornos.

En resumen, el artículo nos dice que el Grokking es el robot dando un largo y lento paseo por una línea recta para encontrar la forma más simple y elegante de resolver un problema.

Resumen Técnico: La Geometría del Grokking

Planteamiento del Problema
El artículo aborda el fenómeno del "grokking" en las redes neuronales, donde un modelo logra una generalización perfecta en los datos de prueba solo después de un retraso sustancial tras la memorización completa del conjunto de entrenamiento. Si bien investigaciones previas han vinculado esta generalización tardía con el aprendizaje de representaciones impulsado por el decaimiento de pesos (weight decay), la dinámica subyacente precisa sigue siendo incierta. Específicamente, los autores buscan responder: (1) ¿Cuál es el papel exacto del decaimiento de pesos en el aprendizaje post-memorización? y (2) ¿Se pueden aislar las dinámicas de aprendizaje de componentes específicos de la red (como las capas de embedding) del resto de la red?

Metodología y Marco Teórico
Los autores abordan el problema a través de la lente de la optimización restringida y el flujo de gradiente, analizando el sistema en el límite de tasas de aprendizaje y coeficientes de decaimiento de pesos infinitesimalmente pequeños ( $\lambda \to 0$ ).

Dinámica Post-Memorización: El artículo demuestra formalmente que, una vez que una red alcanza una pérdida de entrenamiento de cero (memorización), la dinámica de aprendizaje subsiguiente está restringida a la variedad de pérdida cero ( $Z$ ). En este régimen, el descenso de gradiente minimiza efectivamente la norma de los pesos ( $\|\theta\|^2$ ) mientras permanece en $Z$ . Los autores establecen que el gradiente de la pérdida se vuelve ortogonal al espacio tangente de la variedad de pérdida cero a medida que los parámetros se aproximan a $Z$ , lo que significa que la función de pérdida ya no impulsa las actualizaciones de los parámetros; en su lugar, el decaimiento de pesos impulsa los parámetros hacia la solución de norma mínima dentro del conjunto de pérdida cero.
Dinámica de Componentes Aislados: Para analizar capas específicas, los autores proponen una aproximación donde la dinámica de un subconjunto de parámetros ( $\theta_1$ ) se desacopla del resto ( $\theta_2$ ). Al asumir que $\theta_2$ se adapta instantáneamente al valor óptimo para cualquier $\theta_1$ dado (tratando efectivamente a $\theta_2$ como una variable rápida), derivan una función de costo efectiva $R(\theta_1) = \min_{\theta_2} L_\lambda(\theta_1, \theta_2)$ .
Derivación de Red de Dos Capas: Aplicando este marco a una red de dos capas con pérdida de error cuadrático medio, los autores derivan una expresión de forma cerrada para la dinámica de aprendizaje de la primera capa (la capa de embedding). En el límite de sobre-parametrización de pérdida cero, se muestra que la dinámica de los pesos de la primera capa $W_1$ sigue el flujo de gradiente de una función de costo específica que equilibra el decaimiento de pesos contra el ajuste de la segunda capa.

Resultos Clave

Prueba Teórica: El artículo demuestra que, para casi cualquier conjunto de datos, el conjunto de pérdida cero es una variedad suave libre de singularidades durante el entrenamiento estándar. Además, demuestra que el gradiente de la pérdida es ortogonal a esta variedad cerca de la solución, confirmando que el aprendizaje post-memorización es impulsado enteramente por la minimización de la norma.
Validación con Modelos de Juguete: Utilizando modelos lineales en tareas de adición, los autores demuestran que los modelos convergen inicialmente a una solución de pérdida cero (memorización) y luego derivan lentamente a lo largo de la variedad de pérdida cero hacia la solución de norma mínima (generalización). La velocidad de esta deriva es inversamente proporcional al coeficiente de decaimiento de pesos.
Simulación de Grokking: Los autores simulan las dinámicas de forma cerrada derivadas para la primera capa de una red entrenada en adición modular. La simulación reproduce con éxito el característico retraso en la generalización: el modelo mantiene una pérdida de entrenamiento de cero mientras la precisión de prueba permanece en el nivel del azar durante cientos de pasos, para finalmente saltar a una generalización perfecta.
Aprendizaje de Representaciones: La simulación revela que, durante la fase de generalización, los vectores de embedding se organizan en estructuras circulares en el dominio de Fourier. Específicamente, las normas de las características de Fourier se igualan y las características se vuelven ortogonales, reflejando las "representaciones circulares" observadas en estudios de interpretabilidad previos del grokking.

Significancia y Reivindicaciones
El artículo afirma proporcionar una explicación geométrica formal para el grokking, identificándolo como un proceso de dos fases: una fase rápida de memorización seguida de una fase lenta de minimización de la norma en la variedad de pérdida cero. Al derivar una expresión de forma cerrada para la dinámica de la capa de embedding, los autores ofrecen una base teórica para comprender cómo componentes específicos de la red aprenden representaciones.

Los autores posicionan este trabajo como un paso hacia la desmitificación del funcionamiento interno de las redes neuronales, lo cual es crucial para desarrollar sistemas de IA más seguros y fiables. Señalan que sus hallazgos se alinean con el trabajo concurrente de Boursier et al. (2026) respecto al flujo de gradiente regularizado. El artículo reconoce modestamente sus limitaciones, señalando que se centra en la pérdida de error cuadrático medio en lugar de la entropía cruzada y que actualmente está restringido a redes de dos capas, dejando la dinámica de arquitecturas más profundas como un desafío abierto.