📊 statistics

Algebraic Representability as the Limiting Regime of Grokking: An Exactly Solvable Model with Holomorphic Activations

Este artículo demuestra que en redes neuronales de dos capas con activaciones de monomios holomorfos entrenadas en aritmética modular, la clase de funciones expresables colapsa en una variedad algebraica de dimensión finita, causando que la red exhiba un resultado binario de ya sea generalización instantánea o fallo de entrenamiento garantizado —eliminando así el fenómeno del grokking por completo a medida que la relación de capacidad-grokking alcanza su régimen límite.

Autores originales: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Publicado 2026-07-16

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a resolver acertijos matemáticos. Normalmente, cuando entrenamos a estos robots (llamados redes neuronales), esperamos que mejoren cuanto más practiquen. Pero a veces, sucede algo extraño: el robot memoriza las respuestas perfectamente, obtiene una puntuación perfecta en su tarea, pero luego fracasa estrepitosamente cuando le das un problema nuevo pero similar. Se queda ahí, atrapado en un "modo de memorización", durante miles de pasos. Luego, de repente, sin previo aviso, despierta en un nuevo modo y empieza a resolver los nuevos problemas correctamente. Este extraño despertar tardío se llama grokking. Es como un estudiante que estudia intensamente para un examen, olvida todo al día siguiente y luego, de repente, comprende el concepto una semana después.

Los científicos han estado tratando de averiguar por qué ocurre este retraso. Saben que el tamaño del cerebro del robot (su "capacidad") importa. Si el cerebro es demasiado pequeño, es posible que nunca aprenda. Si es enorme, aprende instantáneamente. Pero, ¿qué pasa en el medio? ¿El retraso simplemente se acorta a medida que el cerebro se hace más grande? ¿O existe un punto en el que el cerebro del robot es tan extrañamente construido que no puede aprender la respuesta, sin importar cuánto esperes? Este artículo profundiza en esa pregunta construyendo un robot matemáticamente perfecto y muy específico para ver qué sucede cuando las reglas del aprendizaje se llevan a su límite absoluto.

El robot con un cerebro de talla única

Los autores de este artículo decidieron dejar de suponer y empezar a construir. En lugar de usar un cerebro de robot estándar y desordenado, construyeron un tipo especial de red con una regla muy estricta: solo puede pensar en un tipo específico de patrón matemático llamado "monomio holomorfo".

Piensa en el cerebro de este robot como un cerrajero con un conjunto de llaves muy específico.

Robots Estándar (Aproximadores Universales): La mayoría de los modelos de IA son como un cerrajero con una caja de herramientas gigante. No importa qué cerradura le des, eventualmente podrá abrirla si tiene suficiente tiempo y suficientes herramientas. Pueden tardar mucho tiempo en encontrar la combinación correcta (memorización), y luego de repente lo logran (generalización), pero siempre pueden abrir la puerta.
El Robot de este Artículo: Este robot solo tiene una forma de llave específica. Solo puede abrir cerraduras que coincidan exactamente con esa forma. Si le das una cerradura que no encaja con esa forma, no es que tarde mucho en abrirla; es que no puede abrirla en absoluto. No es una cuestión de "no tener suficiente práctica"; es una cuestión de "herramienta incorrecta".

Los investigadores probaron este robot en tareas de aritmética modular (básicamente, problemas matemáticos donde los números dan la vuelta, como un reloj). Preguntaron: Si el cerebro del robot es tan limitado que ni siquiera puede representar la respuesta, ¿sigue haciendo "grokking"?

El gran descubrimiento: El interruptor de "todo o nada"

La respuesta que encontraron es sorprendentemente simple y binaria. No hay término medio, no hay un retraso lento y no hay grokking.

El Caso "Sí": Si el problema matemático que se le pide resolver al robot resulta coincidir con la forma específica de su llave, el robot lo resuelve instantáneamente. Aprende los datos de entrenamiento y los nuevos datos al mismo tiempo. No hay periodo de espera. Es como entregarle al cerrajero la llave exacta para la que nació; la puerta se abre de inmediato.
El Caso "No": Si el problema no coincide con la forma de la llave, el robot fracasa por completo. No memoriza las respuestas. No se queda atrapado en un bucle. Simplemente se mantiene en el nivel de adivinación aleatoria para siempre. La pérdida de entrenamiento (una medida de qué tan equivocado está) alcanza un suelo duro y se niega a bajar más, sin importar cuán ancho sea el cerebro del robot o cuánto tiempo lo entrenes.

Los autores demostraron esto matemáticamente. Mostraron que, para este tipo específico de robot, el conjunto de problemas que puede resolver es una pequeña y fija porción de todos los problemas posibles. Si tu problema no está en esa porción, el robot es matemáticamente incapaz de ajustar los datos. No es un problema de optimización; es una imposibilidad estructural.

El experimento: 585 ensayos de la verdad

Para demostrar que esto no era solo una teoría, el equipo realizó 585 experimentos. Probaron al robot en 39 problemas matemáticos diferentes con 5 "formas de llave" (grados de activación) diferentes.

El Resultado: El comportamiento del robot coincidió con las predicciones matemáticas con una preciedad del 99.8%.
El Patrón: Los resultados formaron una "escalera" perfecta. Si la suma de los números del problema era la correcta, el robot tenía éxito instantáneamente. Si no, fallaba instantáneamente.
El Medio Ausente: En 585 ejecuciones, hubo cero casos de "grokking" (éxito tardío) y cero casos de "memorización sin generalización" (acertar la tarea pero fallar el examen). El robot o ganaba inmediatamente o perdía inmediatamente.

La comparación: El robot "normal"

Para asegurarse de que esto no era solo una peculiaridad extraña de su robot especial, realizaron las mismas pruebas en un robot estándar y "normal" (usando una activación ReLU, que es el estándar de la industria).

El Robot Normal: Este robot podía resolver cada problema. Memorizaba todo. Pero en los problemas difíciles, exhibía el comportamiento clásico de grokking: memorizaba el conjunto de entrenamiento, se quedaba allí durante miles de pasos y luego de repente generalizaba.
El Contraste: Los problemas que causaron que el robot especial fallara por completo fueron exactamente los mismos problemas que causaron que el robot normal hiciera grokking. Esto demuestra que el "retraso" en el grokking no se debe solo a que el problema sea difícil; se trata de que el cerebro del robot es casi lo suficientemente grande, pero no quite. El robot especial nos mostró qué sucede cuando el cerebro es demasiado pequeño para siquiera empezar la carrera.

La prueba del "Cuello de Botella": Cerrando la brecha

Los investigadores querían ver si había un camino suave entre el "fallo instantáneo" y el "éxito instantáneo". Tomaron un robot normal y comprimieron su cerebro a través de un "cuello de botella", haciéndolo cada vez más estrecho.

Cuello de botella ancho: El robot hace grok (éxito tardío).
Cuello de botella medio: El robot memoriza pero nunca generaliza (se queda estancado).
Cuello de botella diminuto: El robot falla incluso al memorizar (fallo instantáneo).

Este experimento conectó los puntos. Mostró que el régimen de "fallo instantáneo" del robot especial es simplemente el extremo de la misma escala donde ocurre el grokking. A medida que reduces la capacidad de un robot, el retraso se vuelve cada vez más largo, hasta que finalmente el retraso se vuelve infinito porque el robot no puede ni siquiera memorizar los datos en primer lugar.

¿Y qué hay de aprender las llaves?

Uno podría preguntarse: "¿Qué pasaría si el robot pudiera aprender sus propias llaves?". Los autores probaron esto permitiendo que el robot aprendiera su propia codificación de entrada (en lugar de recibir la codificación fija de "raíces de la unidad").

El Resultado: La "escalera" de éxito y fallo instantáneos desapareció. El robot ahora podía resolver casi todos los problemas lineales instantáneamente.
La Excepción: Todavía había un problema que no podía resolver: la tarea de multiplicación ( $a \times b$ ). Incluso con un cerebro aprendido, la estructura del robot era demasiado simple para capturar la complejidad de la multiplicación. Esto confirmó que el fallo no era solo sobre la matemática específica que usaron para alimentar al robot; era un límite fundamental de la arquitectura del robot.

La conclusión

Este artículo revela una verdad fundamental sobre el entrenamiento de la IA: El grokking es una carrera entre la memorización y la generalización. Pero para que esa carrera ocurra, el corredor primero debe ser capaz de atarse los cordones de los zapatos.

Si el cerebro de una red neuronal es demasiado pequeño o rígido para siquiera representar la respuesta (para "atarse los cordones"), la carrera nunca comienza. No hay retraso, no hay lucha y no hay un despertar repentino. Solo hay un alto total. La pregunta de "¿cuándo hará grok?" se disuelve en la pregunta más simple y primitiva: "¿Puede representar el objetivo en absoluto?".

Los autores han demostrado que cuando llevas una red a sus límites matemáticos, el comportamiento desordenado y confuso del grokking desaparece, reemplazado por una realidad limpia y binaria: o bien la matemática encaja y ganas instantáneamente; o no encaja, y pierdes instantáneamente. Es un recordatorio de que, antes de que podamos hablar de cómo aprende la IA, tenemos que asegurarnos de que realmente es capaz de aprender lo que le estamos pidiendo que haga.

Resumen Técnico: La representabilidad algebraica como el régimen límite del grokking

Planteamiento del problema
La literatura reciente sobre el "grokking" —el fenómeno en el que las redes neuronales entrenadas en tareas de aritmética modular transicionan de la memorización a la generalización tras un retraso significativo— ha establecido que la capacidad del modelo gobierna el tiempo de esta transición. Sin embargo, los marcos existentes (por ejemplo, Song y Ye 2026) asumen que la red es lo suficientemente grande como para eventualmente memorizar los datos de entrenamiento. Este artículo investiga el régimen límite donde la clase de funciones expresables por la red está tan restringida estructuralmente que no puede representar la función objetivo en absoluto, incluso en principio. La pregunta central es: ¿Qué sucede con la dinámica de memorización-generalización cuando la capacidad de la arquitectura es estructuralmente insuficiente para ajustar el conjunto de entrenamiento, en lugar de ser simplemente lenta para hacerlo?

Metodología
Los autores estudian una arquitectura específica y exactamente resoluble: una red neuronal de dos capas con valores complejos y una activación de monomio holomorfo $\sigma(z) = z^k$ . La red se entrena en tareas de aritmética modular $f: \mathbb{Z}_p \times \mathbb{Z}_p \to \mathbb{Z}_p$ (donde $p$ es primo) utilizando una codificación de raíces de la unidad, donde los inputs $(a, b)$ se mapean a $(\omega^a, \omega^b)$ con $\omega = e^{2\pi i/p}$ .

Las decisiones metodológicas clave incluyen:

Tractabilidad algebraica: La elección de $\sigma(z) = z^k$ asegura que la salida de la red sea un polinomio de grado $k$ . En la codificación de raíces de la unidad, esto restringe la salida de la red a un subespacio específico de caracteres del grupo $(\mathbb{Z}_p)^2$ .
Análisis de Fourier: Los autores utilizan el análisis armónico en grupos abelianos finitos para caracterizar la "clase expresable" $\mathcal{F}_k$ . Demuestran que, independientemente del ancho oculto $H$ , la salida de la red está confinada a un subespacio de dimensión $(k+1)$ generado por caracteres con etiquetas de frecuencia $(\ell, k-\ell)$ para $0 \le \ell \le k$ .
Límites teóricos: El artículo deriva un límite inferior para la pérdida de entrenamiento en objetivos no representables, demostrando que la pérdida permanece estrictamente positiva e independiente del ancho oculto.
Validación experimental: La teoría se prueba a través de 585 ejecuciones experimentales que involucran 39 tareas (35 de fase lineal, 4 de fase no lineal) y 5 grados de activación ( $k=2$ a $6$).
Ablaciones comparativas: El estudio incluye una línea base de ReLU (un aproximador universal) y una ablación de "cuello de botella" (bottleneck) en redes ReLU para rastrear la transición desde el fallo de representación hacia el grokking.

Contribuciones clave

Caracterización algebraica exacta de la representabilidad:
El artículo proporciona una caracterización completa de qué tareas modulares yacen dentro de la clase expresable $\mathcal{F}_k$ .
- Objetivos de fase lineal ( $f(a,b) = ma + nb \mod p$ ): Una tarea es representable si y solo si $m + n = k$ (asumiendo que $m+n \le k$ ). Si esta condición no se cumple, el objetivo es ortogonal al subespacio expresable completo.
- Objetivos de fase no lineal (ej. $ab$, $a^2+b^2$ ): Estas tareas tienen un soporte de Fourier que se extiende más allá de la diagonal $u+v \equiv k \pmod p$ . El artículo demuestra que estas son irrepresentables para cualquier $k < p$ finito.
- Independencia de la codificación: A través de la Proposición 1, los autores muestran que incluso con embeddings aprendidos, la representabilidad de una tarea está constreñida por el rango de la matriz objetivo. Específicamente, la tarea $ab$ (que corresponde a una matriz DFT de rango completo) sigue siendo irrepresentable para cualquier $k < p-1$ , independientemente de la codificación de entrada.
El régimen de "No Memorización":
El artículo demuestra que, para objetivos no representables, la red no puede memorizar el conjunto de entrenamiento. Debido a que la salida está algebraicamente confinada a un subespacio que no contiene al objetivo, la pérdida de entrenamiento está acotada inferiormente por una constante positiva (la brecha espectral). Consecuentmente, no hay fase de "memorización", no hay retraso de "grokking" y no hay una mejora gradual; la red simplemente falla en ajustar los datos, permaneciendo en una precisión de nivel de azar.
Validación empírica de resultados binarios:
A través de 585 ejecuciones, la predicción algebraica coincidió con el resultado observado con una precisión del 99.8%. Los resultados fueron estrictamente binarios:
- Tareas representables: Aprendieron casi instantáneamente (Generalización Instantánea, o INST) sin brecha entre la precisión de entrenamiento y de prueba.
- Tareas no representables: Fallo total (FAIL) con la precisión de entrenamiento estancada en niveles de azar.
- Hubo cero instancias de grokking o de memorización sin generalización para la red holomorfa.
Conexión con el espectro de capacidad:
El artículo cierra la brecha entre el "extremo algebraico" (redes holomorfas) y los aproximadores universales estándar (redes ReLU).
- Línea base ReLU: Las redes ReLU estándar memorizan todas las tareas y exhiben grokking en tareas no lineales difíciles, con retrasos que escalan con la complejidad de la tarea.
- Ablación de cuello de botella: Al comprimir una red ReLU mediante un cuello de botella lineal, los autores trazan un camino continuo desde el FALLO (cuando el cuello de botella es demasiado estrecho para ajustar los datos) hacia la MEMORIZACIÓN (sin generalización) y hacia el GROKKING (con una brecha que se reduce a medida que aumenta la capacidad). Esto demuestra que el régimen de "FALLO" observado en el modelo holomorfo es el límite estructural del espectro de capacidad-grokking.

Significado y afirmaciones
El artículo argumenta que la pregunta de "cuándo hará grokking una red" es una pregunta secundaria que presupone la condición primaria de representabilidad.

Régimen límite: La red holomorfa representa el caso límite donde la clase expresable colapsa en un objeto algebraico fijo. En este régimen, la competencia entre las velocidades de memorización y generalización (el mecanismo del grokking) nunca comienza porque la fase de memorización es estructuralmente imposible.
Restricciones estructurales vs. de optimización: Los resultados distinguen entre dificultades de optimización (que causan retrasos de grokking en redes estándar) e imposibilidad de representación (que causan un fallo inmediato en redes restringidas).
Universalidad de la obstrucción: Se muestra que el fallo de la tarea $ab$ es una propiedad intrínseca de las restricciones de rango de la arquitectura, no un artefacto de la codificación fija de raíces de la unidad.

Los autores concluyen que su trabajo define un régimen donde la dinámica del grokking se disuelve en una pregunta binaria de representabilidad. Si bien los resultados algebraicos específicos se aplican a este entorno holomorfo, los experimentos de cuello de botella sugieren que la estructura de tres regímenes (Fallo $\to$ Memorización $\to$ Grokking) es una característica general del espectro de capacidad, con el modelo holomorfo proporcionando una condición de contorno analíticamente resoluble y rigurosa para el extremo de "Fallo" de dicho espectro.