Grokking as a Phase Transition between Competing Basins: a Singular Learning Theory Approach

Este artículo utiliza la Teoría del Aprendizaje Singular para interpretar el fenómeno de "grokking" en redes cuadráticas como una transición de fase entre cuencas de solución competitivas, derivando expresiones analíticas para el coeficiente de aprendizaje local y validando empíricamente su utilidad para rastrear la dinámica de generalización.

Lo esencial

Imagina que estás enseñando a un robot a resolver un acertijo matemático muy específico: la suma de números módulo un número primo (por ejemplo, sumar horas en un reloj de 13 horas).

Este artículo cuenta la historia de un fenómeno extraño llamado "Grokking" (que podríamos traducir como "iluminación repentina" o "comprensión súbita").

La Historia del Robot "Memorizador" vs. el Robot "Entendedor"

Imagina que entrenas a tu robot durante mucho tiempo.

1. La fase de memorización: Al principio, el robot aprende de memoria. Si le preguntas "¿cuánto es 3 + 4?", responde "7" porque lo ha visto mil veces en sus ejercicios. Pero si le preguntas "¿cuánto es 100 + 100?", falla estrepitosamente. Ha memorizado el libro de ejercicios, pero no entiende la lógica. En este momento, su error en los ejercicios es cero, pero su capacidad para resolver problemas nuevos es pésima.
2. El estancamiento: Pasan miles de horas de entrenamiento. El robot sigue respondiendo mal a los problemas nuevos, aunque sigue acertando los ejercicios de memoria. Parece que no hay progreso.
3. La "Grokking" (La iluminación): De repente, sin previo aviso, el robot da un salto cuántico. De la nada, empieza a acertar el 100% de los problemas nuevos. Ha dejado de memorizar y ha empezado a entender la regla matemática subyacente.

La pregunta clave del artículo es: ¿Por qué ocurre este cambio tan brusco? ¿Qué pasa dentro de la "mente" del robot en ese momento?

La Teoría: Un Mapa de Terrenos (Singular Learning Theory)

Los autores utilizan una herramienta matemática avanzada llamada Teoría del Aprendizaje Singular (SLT). Para explicarlo de forma sencilla, imagina que el entrenamiento del robot es como un viajero que camina por un paisaje montañoso lleno de valles.

• El objetivo: Encontrar el valle más profundo (donde el error es cero).
• El problema: Hay dos tipos de valles con la misma profundidad (ambos tienen error cero en los ejercicios):
  1. El Valle del Memorizador: Es un valle estrecho y agudo, como una grieta en la roca. Es muy fácil caer ahí, pero es inestable. Si te mueves un poquito, te sales. Representa la memorización.
  2. El Valle del Entendedor: Es un valle ancho, plano y enorme, como una llanura. Es más difícil de encontrar al principio, pero una vez que estás ahí, es muy estable. Puedes moverte un poco y sigues estando en el valle. Representa la generalización (entender la regla).

El "Coeficiente de Aprendizaje Local" (LLC): El Medidor de Planicie

Aquí es donde entra la magia del artículo. Los autores proponen una medida llamada Coeficiente de Aprendizaje Local (LLC).

• Piensa en el LLC como un medidor de "planicie" o "amplitud".
• Un LLC alto significa que estás en un valle estrecho (memorización).
• Un LLC bajo significa que estás en un valle ancho y plano (generalización).

¿Qué descubrieron?

El artículo demuestra matemáticamente y con experimentos que:

1. La competencia: Durante el entrenamiento, el robot está "saltando" entre estos dos tipos de valles. Al principio, cae en el valle estrecho (memoriza) porque es más fácil de alcanzar.
2. El cambio de fase: Con el tiempo, el algoritmo de entrenamiento (el "viento" que empuja al robot) empieza a favorecer los valles más anchos. Aunque ambos valles tienen la misma puntuación en los ejercicios, el valle ancho tiene más "volumen" o espacio.
3. La predicción: Lo más sorprendente es que los autores pueden predecir cuándo ocurrirá la "iluminación" (Grokking) simplemente midiendo el LLC mientras el robot entrena.
   • Cuando la curva del LLC empieza a bajar drásticamente, es una señal de que el robot está abandonando el valle estrecho (memoria) y entrando en el valle ancho (entendimiento).
   • Es como si pudieras ver el humo antes de que ocurra la explosión de comprensión.

Analogía Final: El Laberinto

Imagina que estás en un laberinto oscuro buscando la salida.

• Memorización: Encuentras un camino que te lleva a una pequeña habitación vacía. Crees que has llegado a la meta porque no hay paredes, pero es una trampa. Te quedas ahí atrapado.
• Grokking: De repente, te das cuenta de que hay una puerta oculta que lleva a un gran patio abierto y soleado. Una vez que sales al patio, puedes ir a cualquier parte del mundo sin perderte.

El papel de los autores es decirnos: "No esperes a salir al patio para saber que estás cerca. Si miras el tamaño de la habitación en la que estás (el LLC), verás que cuando la habitación se vuelve enorme y plana, la salida está a la vuelta de la esquina."

¿Por qué es importante?

Esto nos ayuda a entender que el aprendizaje profundo no es solo "ajustar números". Es un viaje geométrico donde el sistema busca, de forma natural, soluciones que sean robustas y estables (valles anchos), incluso si eso tarda mucho más en aparecer. Además, nos da una herramienta para saber cuándo un modelo está a punto de "iluminarse" y cuándo debemos cambiar los ajustes (como la velocidad de aprendizaje) para acelerar ese proceso.

Resumen técnico

Resumen Técnico: Grokking como una Transición de Fase entre Cuencas Competitivas

1. El Problema: El Fenómeno de "Grokking"

El grokking (o "comprensión repentina") es un fenómeno observado en el entrenamiento de redes neuronales, particularmente en tareas algorítmicas como la aritmética modular. Se caracteriza por:

• Una convergencia temprana a una pérdida empírica cercana a cero (memorización de los datos de entrenamiento).
• Un periodo prolongado de pobre generalización (alto error de prueba).
• Una mejora abrupta y repentina en el rendimiento de prueba después de un entrenamiento continuo, mucho después de que la precisión de entrenamiento se haya saturado.

La pregunta central es: ¿Qué determina qué solución (o "cuenca" de mínimos) es estadísticamente preferida cuando múltiples soluciones tienen una pérdida de entrenamiento similar? Tradicionalmente, se ha hipotetizado que las regiones "más planas" del paisaje de pérdida generalizan mejor, pero las bases teóricas rigurosas para explicar esta transición de fase han sido incompletas.

2. Metodología: Teoría del Aprendizaje Singular (SLT)

Los autores abordan el problema utilizando la Teoría del Aprendizaje Singular (Singular Learning Theory - SLT), un marco bayesiano desarrollado por Sumio Watanabe. La metodología se basa en los siguientes pilares:

• Coeficiente de Aprendizaje Local (LLC - Local Learning Coefficient): En lugar de asumir modelos regulares (donde la matriz de información de Fisher es definida positiva), la SLT maneja modelos singulares (como las redes neuronales) que tienen simetrías y redundancias. El LLC ($\lambda$) cuantifica la degeneración local de la superficie de pérdida.
  • Un LLC más bajo implica una mayor concentración de masa posterior y un menor error de generalización esperado.
  • Un LLC más alto corresponde a regiones más "agudas" o menos degeneradas.
• Transición de Fase Bayesiana: El grokking se interpreta como una transición de fase de primer orden. A medida que aumenta el tamaño de la muestra ($n$), la energía libre local de una cuenca con menor LLC eventualmente supera a la de una cuenca con mayor LLC (aunque ambas tengan pérdida de entrenamiento similar), provocando un cambio abrupto en la distribución posterior hacia la solución que generaliza.
• Entorno Experimental: Para obtener soluciones analíticas cerradas, los autores estudian redes cuadráticas (QNN) entrenadas en tareas de aritmética modular ($a + b \mod p$). Este entorno simplificado permite derivar expresiones exactas para el LLC, algo que rara vez es posible en arquitecturas complejas.

3. Contribuciones Clave

1. Derivación de Expresiones Cerradas para el LLC:
   Los autores derivan fórmulas analíticas exactas para el LLC en redes cuadráticas bajo dos regímenes:

   • Sobre-parametrizado ($K \geq d(d+1)/2$): El LLC depende de la dimensión del espacio de parámetros identificables.
     $$\lambda = p \cdot \frac{d(d+1)}{4}$$
   • Sub-parametrizado ($K < d(d+1)/2$): El LLC depende del ancho efectivo de la red y la estructura de las características.
     $$\lambda = K \cdot \frac{d + p - 1}{2}$$
     Donde $d$ es la dimensión de entrada, $p$ es el número de salidas (clases) y $K$ es el ancho de la capa oculta.

2. Análisis de la Dinámica de Aprendizaje (Lazy vs. Feature Learning):

   • Fase I (Memorización/Lazy): Inicialmente, la red opera en un régimen de "aprendizaje perezoso" (similar al Kernel Neuronal - NTK), donde la capa superior ajusta los datos mientras la representación interna permanece casi fija. En esta fase, el LLC es alto, correspondiente a una solución de memorización.
   • Fase II (Aprendizaje de Características): Con el tiempo, el gradiente retropropagado se alinea con la tarea, permitiendo que la red descubra una estructura generalizable. Esto reduce el LLC efectivo, ya que la solución generalizante reside en una cuenca con mayor degeneración (menor LLC).

3. Herramienta Empírica para el Seguimiento:
   Demuestran que las trayectorias del LLC (calculadas únicamente con datos de entrenamiento) son un predictor fiable de la generalización. La disminución del LLC precede y coincide con la caída del error de validación, actuando como un indicador temprano del inicio del grokking.

4. Resultados Principales

• Validación de Leyes de Escalamiento: Los experimentos confirman las predicciones teóricas de que el LLC final escala linealmente con la dimensión de la capa oculta ($K$) y el tamaño del grupo modular ($p$).
• Correlación LLC-Generalización: Se observa que la curva del LLC durante el entrenamiento refleja fielmente la curva de pérdida de validación. Cuando el optimizador encuentra una cuenca de menor LLC, la generalización mejora abruptamente.
• Efecto de la Tasa de Aprendizaje (Learning Rate):
  • Existe una correlación negativa entre la tasa de aprendizaje y la "severidad del grokking" (el retraso entre memorización y generalización).
  • Tasas de aprendizaje más altas tienden a evitar valles agudos y dirigen al optimizador directamente hacia cuencas de alta degeneración (bajo LLC), reduciendo el tiempo necesario para alcanzar la generalización.
• Independencia del Ancho: Se encontró que las soluciones generalizantes no son simplemente "sub-redes" de modelos más pequeños; el LLC aumenta con el ancho de la red incluso cuando todas las configuraciones generalizan, lo que sugiere que la estructura de la solución cambia cualitativamente con el tamaño del modelo.

5. Significado e Impacto

• Fundamentación Teórica del Grokking: El trabajo proporciona una explicación rigurosa basada en la geometría del paisaje de pérdida y la teoría bayesiana, validando la hipótesis de que el grokking es una transición de fase entre cuencas competitivas con diferentes complejidades estadísticas (LLC).
• Más allá de la "Planitud": Refina la noción de "mínimos planos". En lugar de medir solo la curvatura (Hessiano), el LLC captura la degeneración y la invariancia de reparametrización, ofreciendo una medida más robusta de la complejidad del modelo en entornos singulares.
• Diagnóstico de Entrenamiento: Propone el LLC como una métrica práctica y teóricamente fundamentada para monitorear la dinámica de entrenamiento en modelos sobre-parametrizados, permitiendo predecir cuándo un modelo pasará de memorizar a generalizar sin necesidad de datos de validación.
• Puente entre Teoría y Práctica: Al derivar resultados cerrados en redes cuadráticas y verificarlos empíricamente, el artículo cierra la brecha entre la teoría abstracta de la SLT y el comportamiento observado en redes neuronales modernas.

En conclusión, el artículo establece que el grokking no es un artefacto misterioso, sino una consecuencia natural de la competencia entre cuencas de solución con diferentes coeficientes de aprendizaje local, donde la dinámica de optimización (influenciada por hiperparámetros como la tasa de aprendizaje) determina cuándo y cómo se produce la transición hacia la solución que generaliza.