📊 statistics

To Grok Grokking: Provable Grokking in Ridge Regression

Este artículo proporciona los primeros límites cuantitativos rigurosos sobre el "tiempo de grokking" al demostrar que los modelos de regresión lineal sobreparametrizados entrenados con descenso de gradiente y decaimiento de pesos transitan inevitablemente del sobreajuste a la generalización perfecta, demostrando que este fenómeno es una consecuencia controlable de las condiciones de entrenamiento en lugar de un fallo inherente del aprendizaje profundo.

Autores originales: Mingyue Xu, Gal Vardi, Itay Safran

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mingyue Xu, Gal Vardi, Itay Safran

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante a resolver problemas matemáticos. Le das un conjunto específico de preguntas de práctica (los datos de entrenamiento) y un libro de reglas (el algoritmo de aprendizaje).

Normalmente, esperamos que un estudiante mejore al resolver nuevos problemas (generalización) a medida que practica más. Pero a veces, sucede algo extraño. El estudiante memoriza las preguntas de práctica perfectamente, obtiene una puntuación del 100%, y luego... no pasa nada. Sigue obteniendo un 100% en la hoja de práctica, pero si le das un examen nuevo, fracasa estrepitosamente. Se mantiene atrapado en este estado de "memorizado pero sin idea" durante mucho tiempo.

Entonces, de repente, tras lo que parece un estancamiento interminable, el estudiante tiene un momento de "¡eureka!". Deja de simplemente memorizar y comienza a entender la lógica subyacente. De repente, saca una nota excelente en el nuevo examen.

Este fenómeno se llama "Grokking". Es como si el estudiante estuviera durmiendo durante la lección, memorizara las respuestas de memoria y luego despertara años después para finalmente comprender el concepto.

El gran descubrimiento del artículo

Durante mucho tiempo, los científicos pensaron que este "Grokking" solo ocurría en sistemas de IA súper complejos y misteriosos (como las redes neuronales profundas). Pensaban que era un error extraño de la tecnología moderna.

Este artículo, sin embargo, dice: "Un momento. No necesitas una supercomputadora para que esto suceda".

Los autores demostraron que el Grokking puede ocurrir en el problema matemático más simple e imaginario: la Regresión Ridge. Piensa en esto como una forma lineal muy básica de trazar una línea a través de una nube de puntos. Es el "Hola Mundo" del aprendizaje automático.

Demostraron que incluso con esta herramienta simple, si ajustas los parámetros de forma precisa, puedes forzar al modelo a:

Memorizar los datos rápidamente (Sobreajuste/Overfitting).
Atascarse durante mucho tiempo, fallando al entender nuevos datos (El "Tiempo de Grokking").
Comprender de repente y generalizar perfectamente.

La receta secreta: El mando de "Weight Decay" (Decaimiento de pesos)

El artículo identifica al principal culpable de este retraso como un ajuste llamado Weight Decay.

Imagina que estás conduciendo un coche (el modelo) hacia un destino (la respuesta correcta).

Los Datos de Entrenamiento son un mapa de una ruta específica que ya has recorrido antes.
El Weight Decay es como una mano suave sobre el volante que intenta constantemente empujar el coche de vuelta hacia el centro del camino, evitando que se desvíe demasiado de su curso.

Aquí está la analogía de lo que el artículo encontró:

El Carril Rápido (Error de Entrenamiento): Cuando el coche está en el camino familiar (los datos de entrenamiento), avanza muy rápido. Incluso con la mano suave en el volante (un pequeño weight decay), el coche se ajusta perfectamente a la carretera. El conductor piensa: "¡Lo estoy haciendo genial!".
La Fase de Atascamiento (El Tiempo de Grokking): Pero cuando el conductor intenta salir de la carretera familiar y conducir por una carretera nueva (generalización), el coche se queda atascado. La "mano en el volante" (weight decay) es demasiado débil para sacar al coche de los surcos profundos del camino viejo. El coche técnicamente se mueve, pero solo está haciendo girar sus ruedas en el barro del camino antiguo. Toma mucho tiempo para que el coche se desplace lentamente fuera de esos surcos.
El Gran Avance: Eventualmente, la mano suave (weight decay) hace su trabajo. Lentamente saca al coche de los surcos profundos y lo coloca en el centro del camino. Una vez que el coche está centrado, finalmente puede conducir suavemente por cualquier carretera nueva.

Lo que el artículo demuestra

Los autores no solo observaron que esto sucediera; escribieron una receta matemática para predecir exactamente cuánto tiempo estará el coche atascado en el barro.

Cuanto más pequeño sea el Weight Decay: Más tiempo permanecerá el coche atascado. Si apagas casi por completo la "mano en el volante" (el weight decay), el coche podría quedarse en los surcos durante un tiempo increíblemente largo antes de finalmente generalizar.
Cuantos más Datos: Si tienes un mapa enorme (muchos datos de entrenamiento), el coche se queda atascado más rápido porque los surcos son más profundos.
Cuantas más Dimensiones: Si el camino es muy ancho y complejo, el coche tarda más en encontrar el centro.

Por qué esto es importante

El artículo argumenta que el Grokking no es un fallo mágico del "Aprendizaje Profundo" (Deep Learning) ni una señal de que la IA esté rota. No es un error; es una característica de cómo funcionan ciertas condiciones de entrenamiento.

Es como decir: "Si enseñas a un estudiante a memorizar respuestas sin dejarle pensar, eventualmente lo entenderá, pero le tomará mucho tiempo". El artículo muestra que, al ajustar el "estilo de enseñanza" (los hiperparámetros como el weight decay), puedes controlar exactamente cuánto dura ese retraso. Puedes hacer que el estudiante comprenda instantáneamente, o hacer que espere durante años, todo con la misma matemática simple.

En resumen: El artículo demuestra que este extraño comportamiento de "memorizar primero, entender después" es una propiedad fundamental de los algoritmos de aprendizaje, no un misterio de la IA compleja. Ocurre incluso en las clases de matemáticas más simples, y ahora podemos calcular exactamente cuánto tiempo se retrasará esa "comprensión".

Resumen Técnico: To Grok Grokking: Provable Grokking in Ridge Regression

Planteamiento del Problema

El artículo investiga el fenómeno de grokking, definido como el inicio de la generalización mucho después de que un modelo haya alcanzado un rendimiento de entrenamiento perfecto (sobreajuste o overfitting). Aunque se ha observado previamente de forma principal en redes neuronales no lineales complejas y conjuntos de datos algorítmicos, los autores pretenden establecer garantías teóricas rigurosas de extremo a extremo para este fenómeno en un entorno clásico y lineal. Específicamente, el artículo aborda la brecha en la literatura existente donde los trabajos previos o carecen de pruebas formales del "retraso" entre el sobreajuste y la generalización, o dependen de estructuras de problemas específicas y no generalizables (por ejemplo, la suma modular). La pregunta central es si el grokking puede demostrarse de forma demostrable en la regresión de ridge sobreparametrizada utilizando el descenso de gradiente (GD) con decaimiento de pesos (weight decay), y si es así, cómo los hiperparámetros controlan cuantitativamente el "tiempo de grokking".

Metodología

Los autores formulan el problema dentro de un marco de profesor-estudiante (teacher-student framework):

Configuración: Regresión lineal sobreparametrizada donde el modelo estudiante $N(x; \theta) = \langle \theta, \phi(x) \rangle$ aprende una función de profesor realizable $N^*(x) = \langle \theta^*, \phi(x) \rangle$ .
Optimización: El estudiante es entrenado utilizando Descenso de Gradiente (GD) con un tamaño de paso fijo $\eta$ y un término de regularización $\ell_2$ (decaimiento de pesos) $\lambda$ . El objetivo es el error cuadrático medio regularizado:
$L_n(\theta; \lambda) = \frac{1}{2n}\sum_{i=1}^n (N(x_i; \theta) - N^*(x_i))^2 + \frac{\lambda}{2}\|\theta\|_2^2$
Estrategia de Análisis: Los autores descomponen el vector de parámetros $\theta$ $θ$ en dos componentes ortogonales respecto al espacio generado por los datos:
1. $\theta_{\parallel}$ : El componente en el espacio de filas de la matriz de características $\Phi$ (subespacio que abarca los datos).
2. $\theta_{\perp}$ : El componente en el espacio nulo de $\Phi$ (subespacio complementario).
Enfoque Teórico: La prueba analiza las tasas de convergencia del error de entrenamiento (error empírico) y del error de generalización (error poblacional) por separado. El mecanismo central se basa en demostrar que $\theta_{\parallel}$ converge rápidamente para ajustar los datos de entrenamiento, mientras que $\theta_{\perp}$ decae lentamente debido al decaimiento de pesos, causando un periodo prolongado de mala generalización.

Contribuciones Clave

Primer Grokking Demostrable de Extremo a Extremo: El artículo proporciona los primeros límites cuantitativos rigurosos que demuestran los tres estadios distintos del grokking:
- (i) Sobreajuste rápido de los datos de entrenamiento.
- (ii) Un retraso persistente donde el error de generalización permanece alto a pesar de tener un error de entrenamiento de cero.
- (iii) Convergencia eventual hacia un modelo con un error de generalización arbitrariamente pequeño.
Límites Cuantitativos sobre el Tiempo de Grokking: Los autores derivan límites inferiores explícitos para el "tiempo de grokking" ( $t_2 - t_1$ $t_{2} - t_{1}$ ), donde $t_1$ $t_{1}$ es el tiempo para el sobreajuste y $t_2$ $t_{2}$ es el tiempo para la generalización. Estos límites se expresan en términos de los hiperparámetros del modelo:
- Decaimiento de Pesos ( $\lambda$ ): El tiempo de grokking escala inversamente con $\lambda$ ( $t_2 \propto 1/\lambda$ ). Un $\lambda$ más pequeño retrasa significativamente la generalización.
- Escala de Inicialización ( $\nu^2$ ): Aumentar la escala de inicialización amplifica el grokking logarítmicamente ( $t_1, t_2 \propto \ln(\nu^2)$ ).
- Sobreparametrización: Se demuestra que el fenómeno requiere un entorno de alta dimensión ( $m \gg n$ ).
Control de Hiperparámetros: El artículo establece condiciones suficientes sobre los hiperparámetros (tamaño de muestra $n$ , dimensión de características $m$ , decaimiento de pesos $\lambda$ y escala de inicialización $\nu^2$ ) para inducir o eliminar el grokking.
Validación Empírica en Modelos No Lineales: Aunque la teoría se deriva para la regresión lineal, los autores demuestran empíricamente que las dependencias cuantitativas de los hiperparámetros (por ejemplo, el efecto de $\lambda$ en el retraso) coinciden cualitativamente con el comportamiento observado en redes neuronales ReLU de dos capas no lineales.

Resultados Clave

Tasas de Convergencia: El error de entrenamiento converge a una tasa dominada por el autovalor más pequeño no nulo de la covarianza de características empírica ( $\lambda^+_{\min}(\Phi^\top \Phi)$ ), lo cual es rápido. En contraste, el error de generalización está limitado inferiormente por un término que decae a la tasa de $(1 - \eta\lambda)^t$ , lo cual es arbitrariamente lento para un $\lambda$ pequeño.
El Mecanismo de Grokking: El retraso surge porque el GD con un pequeño decaimiento de pesos actualiza eficazmente solo la proyección de los pesos sobre el espacio de los datos para minimizar el error de entrenamiento, mientras que el componente ortogonal (que contribuye al error de generalización) decae únicamente mediante el lento término de decaimiento de pesos.
Teoremas:
- Teorema 4.1: Establece el grokking para el profesor cero, proporcionando límites superiores e inferiores coincidentes sobre la convergencia de la pérdida.
- Teorema 4.2: Generaliza el resultado a cualquier profesor realizable, proporcionando límites explícitos para $t_1$ y $t_2$ (Ecuaciones 6 y 7).
- Teorema 4.4 y 4.5: Prueban la convergencia rápida de la pérdida de entrenamiento y la persistencia de la mala generalización, respectivamente.
- Teorema 4.6: Prueba que el GD eventualmente converge a un mínimo global con buenas garantías de generalización.

Significado y Reivindicaciones

El artículo afirma proporcionar un marco teórico fundacional para comprender el grokking. Al aislar el fenómeno en el entorno simple y transparente de la regresión lineal, los autores argumentan que:

El grokking no es un modo de fallo inherente de las arquitecturas de aprendizaje profundo o de las no linealidades, sino que es una consecuencia de condiciones de entrenamiento específicas (específicamente, la interacción entre la sobreparametrización y un pequeño decaimiento de pesos).
El fenómeno no requiere cambios fundamentales en la arquitectura del modelo o en los algoritmos de aprendizaje para evitarse; puede controlarse mediante el ajuste de hiperparámetros.
Los resultados ofrecen los primeros límites cuantitativos rigurosos sobre el retraso de la generalización, yendo más allá de las observaciones empíricas o las explicaciones heurísticas (como las transiciones de régimen "perezoso-a-rico" / lazy-to-rich) encontradas en la literatura previa.
Los hallazgos sugieren que la "meseta de error de prueba" observada a menudo en la clasificación (un artefacto de métricas discretas) también existe en la regresión cuando se evalúa mediante métricas de precisión basadas en umbrales, confirmando la universalidad del fenómeno a través de distintos tipos de pérdida.

Los autores mantienen la modestia respecto al alcance, señalando que, si bien su análisis lineal proporciona pruebas rigurosas, extender estos resultados a entornos no realizables o probar la transición "perezoso-a-rico" en redes neuronales profundas sigue siendo un desafío abierto que requiere nuevas herramientas teóricas.