🤖 machine learning

The Grokked Illusion: True Equilibrium Mitigates Catastrophic Forgetting

Este artículo revela que las redes neuronales de alta entropía, a diferencia de los modelos entrenados convencionalmente con AdamW, mantienen la robustez frente al olvido catastrófico a pesar de tener un rendimiento de generalización idéntico, un fenómeno denominado "ilusión del grokking" que se atribuye a representaciones de características más ricas indicadas por un mayor rango efectivo en los pesos de la red.

Autores originales: Xiaotian Zhang, Lai Shun Chan, Yue Shang, Entao Yang, Ge Zhang

Publicado 2026-08-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xiaotian Zhang, Lai Shun Chan, Yue Shang, Entao Yang, Ge Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a resolver acertijos matemáticos. Quieres que sea inteligente, pero también quieres que sea resistente. En el mundo de la inteligencia artificial, ser "inteligente" suele significar que el robot puede observar un problema que nunca ha visto antes y resolverlo correctamente. Esto se llama generalización. Pero hay una trampa oculta: un robot puede ser increíblemente inteligente en un momento y, sin embargo, increíblemente frágil. Si le pides que aprenda una nueva habilidad inmediatamente después de dominar la primera, es posible que de repente olvide todo lo que acaba de aprender. Esto se llama olvido catastrófico.

Los científicos se han preguntado durante mucho tiempo: ¿Qué hace que el cerebro de un robot sea verdaderamente robusto? ¿Se trata solo de obtener las respuestas correctas o hay algo más profundo sobre cómo el robot almacena esas respuestas? Piensa en ello como una biblioteca. Puedes tener una biblioteca con los libros perfectos (alta generalización), pero si los estantes son endebles y los libros están apilados precariamente, añadir un solo libro nuevo podría hacer que toda la torre colapse. Este artículo explora si la "forma" del cerebro del robot —específicamente, cuánto "margen de maniobra" tiene en su memoria— determina si puede manejar nueva información sin perder la antigua.

La ilusión del "Grokked": Cuando las puntuaciones perfectas ocultan una debilidad

Los investigadores detrás de este estudio decidieron probar una idea fascinante: ¿Garantiza una puntuación perfecta una memoria fuerte? Para averiguarlo, organizaron un experimento controlado utilizando un juego matemático simple: aritmética modular (básicamente, sumar números y encontrar el resto, como un reloj que se reinicia después de 67 horas).

Entrenaron dos tipos diferentes de modelos de IA en este juego hasta que ambos obtuvieron una puntuación perfecta del 100%:

El Modelo "Estándar": Este fue entrenado usando un método común y estándar (llamado AdamW). Aprendió la tarea rápidamente y obtuvo una puntuación perfecta.
El Modelo de "Alta Entropía": Este fue entrenado usando un método especial inspirado en la física (llamado Dinámica Molecular de Wang-Landau). También obtuvo una puntuación perfecta del 100%, pero se encontró en un área "más grande" del espacio matemático donde viven las soluciones. Piensa en el modelo estándar como alguien que encuentra un valle pequeño y estrecho para sentarse, mientras que el modelo de alta entropía encontró una meseta masiva y amplia.

Ambos modelos parecían idénticos en el papel: ambos eran un 100% perfectos en el juego matemático. Pero los investigadores sospechaban que ocultaban una diferencia secreta.

La prueba de inyección de ruido: Olvidar a propósito

Para probar su resistencia, los investigadores le jugaron una broma a los modelos. Les dijeron: "Está bien, son excelentes en matemáticas. Ahora, memoricen esta nueva lista de datos sin sentido". Inyectaron "ruido" —números aleatorios y sin sentido con etiquetas aleatorias— en la mezcla de entrenamiento. Obligaron a los modelos a aprender este desorden perfectamente (obteniendo un 99.8% de precisión en lo nuevo) mientras seguían intentando recordar el juego matemático original.

Los resultados fueron impactantes y revelaron lo que los autores llaman la "Ilusión del Grokked".

El Modelo Estándar (AdamW): Tan pronto como comenzó a memorizar el nuevo sinsentido, empezó a desmoronarse. Su capacidad para resolver el juego matemático original cayó estrepitosamente del 100% a menos del 75%. Había "olvidado" su habilidad original para hacer espacio para la nueva. Era como un estudiante que, al intentar memorizar una lista de números de teléfono aleatorios, de repente olvidó cómo hacer sumas básicas.
El Modelo de Alta Entropía: Este modelo fue un tanque. Incluso después de memorizar los mismos datos sin sentido perfectamente, mantuvo sus habilidades matemáticas originales casi intactas, manteniéndose entre el 95% y el 98% de precisión. Podía contener la nueva información sin perder la antigua.

El artículo sugiere que la puntuación "perfecta" del modelo estándar era una ilusión. Parecía fuerte, pero en realidad era frágil. El modelo de alta entropía, sin embargo, era genuinamente robusto.

¿Por qué uno falló y el otro tuvo éxito?

Los investigadores profundizaron en los "cerebros" de estos modelos para ver qué era diferente. Utilizaron una herramienta matemática llamada Descomposición de Valores Singulares (piensa en ello como una radiografía que muestra cuántas diferentes "direcciones" utiliza un modelo para almacenar información).

Descubrieron que el Modelo de Alta Entropía tenía un "rango efectivo" mucho mayor. En lenguaje sencillo, esto significa que su cerebro utilizaba un conjunto de herramientas más amplio y diverso para resolver el problema. No dependía de solo unos pocos caminos estrechos y frágiles. En su lugar, tenía una red de características rica y distribuida.

Cuando llegó el ruido:

El Modelo Estándar tuvo que reconfigurar sus pocos y estrechos caminos para ajustar los nuevos datos, lo que rompió los caminos antiguos.
El Modelo de Alta Entropía tenía tanto "espacio extra" y tantos caminos diferentes que podía absorber el nuevo ruido sin perturbar las habilidades matemáticas originales. Era como un puente ancho y resistente que podía soportar un camión pesado (los nuevos datos) sin sacudir los cimientos, mientras que el puente estrecho (el modelo estándar) colapsó bajo el mismo peso.

Qué significa esto para el futuro

El estudio concluye que la generalización perfecta no equivale a una robustez perfecta. El hecho de que un modelo obtenga un sobresaliente en un examen no significa que no fallará cuando la vida le lance un giro inesperado.

Los autores sugieren que la "forma" de la memoria de un modelo importa. Los modelos que ocupan espacios matemáticos más grandes y de "alta entropía" son naturalmente mejores para recordar cosas cuando tienen que aprender cosas nuevas. Esto insinúa que, en el futuro, podríamos necesitar entrenar a la IA no solo para obtener la respuesta correcta, sino para encontrar los "valles más anchos" en el espacio de soluciones. Esto podría ayudar a construir una IA que no olvide su pasado cuando aprenda su futuro, haciéndola mucho más fiable para tareas del mundo real donde las cosas siempre están cambiando.

Aunque estos resultados se basan actualmente en simulaciones con acertijos matemáticos, los autores creen que este principio podría aplicarse a sistemas de IA mucho más grandes y complejos, resolviendo potencialmente el viejo problema de las máquinas que olvidan lo que aprendieron ayer.

Resumen Técnico: La Ilusión del Grokking: El Equilibrio Verdadero Mitiga el Olvido Catastrófico

Planteamiento del Problema
Aunque el rendimiento de las redes neuronales (NN) se evalúa tradicionalmente mediante métricas de entrenamiento y de prueba, estas no capturan plenamente la robustez de una representación aprendida. Un modelo puede generalizar perfectamente a un conjunto de prueba pero seguir siendo frágil; las actualizaciones posteriores de los parámetros requeridas para aprender nueva información pueden conducir al olvido catastrófico, donde el conocimiento adquirido previamente colapsa. Esta desconexión entre la generalización y la robustez plantea una pregunta fundamental: ¿qué propiedades de una red neuronal determinan su resiliencia a la interferencia? Trabajos recientes han establecido una "ventaja de alta entropía", donde las soluciones que ocupan volúmenes más grandes en el espacio de parámetros (cuantificados por la entropía de Boltzmann) exhiben una capacidad de generalización superior en comparación con las soluciones optimizadas convencionalmente. Este artículo investiga si esta ventaja de alta entropía se extiende más allá de la generalización hacia la robustez contra el olvido catastrófico.

Metodología
Los autores utilizan la aritmética modular ( $x + y \mod 67$ ) como un entorno experimental controlado, aprovechando específicamente el fenómeno del "grokking" donde los modelos eventualmente logran una generalización perfecta. Para aislar el efecto de la entropía del rendimiento de la generalización, el estudio compara dos tipos de modelos que alcanzan una identidad de precisión de prueba perfecta (100%) y pérdidas de entrenamiento similares bajo la misma restricción de norma de peso ( $\|w\|=30$ ):

AdamW-goldilocks: Un Transformer estándar entrenado con el optimizador AdamW.
WLMD-equilibrium: Un Transformer muestreado desde el paisaje de la entropía de Boltzmann mediante la Dinámica Molecular de Wang-Landau (WLMD), que representa un estado de alta entropía.

Experimento de Inyección de Ruido:
Para evaluar la robustez, los autores diseñan un protocolo de inyección de ruido. Se expande el vocabulario de los modelos entrenados y se ajustan finamente (fine-tuning) en un conjunto de datos mixto que contiene los datos de entrenamiento originales y nuevos datos con etiquetas aleatorias o estructuradas. El objetivo es forzar a los modelos a memorizar completamente los nuevos datos (logrando una precisión de entrenamiento >99.8% en el conjunto combinado) mientras se monitorea la retención de la precisión de prueba de la tarea original. Se prueban tres tipos de ruido:

Ruido aleatorio.
Ruido estructurado con similitud parcial ( $x^2 + y \mod 37$ ).
Ruido estructurado con alta similitud ( $x + y \mod 37$ ).

Análisis Mecanístico:
El estudio emplea la Descomposición en Valores Singulares (SVD) en las matrices de pesos de las capas de atención y MLP para analizar el Rango Efectivo (ER). El ER cuantifica el número de direcciones singulares significativas, sirviendo como una medida de la riqueza representacional. Además, se calcula la similitud de coseno entre los vectores de parámetros antes y después de la inyección de ruido para medir el desplazamiento global de los parámetros.

Resultados Clave

La "Ilusión del Grokking": A pesar de lograr una generalización perfecta inicialmente, los modelos entrenados con AdamW sufren de olvido catastrófico cuando se ven forzados a memorizar nuevos datos. En la condición más desafiante (ruido aleatorio), su precisión de prueba de la tarea original cae de 100% a menos del 75%. En contraste, los modelos WLMD-equilibrium (de alta entropía) mantienen aproximadamente un 95% de precisión de prueba bajo las mismas condiciones.
Entropía y Robustez: La brecha de robustez persiste en todos los tipos de ruido y se reduce a medida que los nuevos datos son estructuralmente más similares a la tarea original. Los modelos de alta entropía superan consistentemente a los modelos AdamW en la retención del conocimiento previo.
El Rango Efectivo como Amortiguador: El análisis SVD revela que los modelos WLMD-equilibrium poseen un rango efectivo significativamente mayor en las capas de atención y MLP tanto antes como después de la inyección de ruido en comparación con los modelos AdamW. Aunque ambos modelos experimentan una reducción en el rango efectivo tras aprender nuevos datos, los modelos de alta entropía retienen una representación de características mucho más rica. Esto sugiere que la abundancia de capacidad representacional en los estados de alta entropía actúa como un amortiguador contra el olvido.
Desplazamiento de Parámetros: La similitud de coseno entre los parámetros pre y post-inyección es menor para los modelos WLMD, lo que indica desplazamientos de parámetros más grandes. Sin embargo, debido a que estos modelos residen en una cuenca de alto volumen y alta entropía, permanecen dentro de la misma región funcional a pesar del desplazamiento, mientras que los modelos AdamW, que residen en cuencas de baja entropía más estrechas, caen fuera de la región funcional.

Significado y Reivindicaciones
El artículo afirma identificar un fenómeno denominado "ilusión del grokking", donde las soluciones que parecen haber "grokeado" (alcanzado una precisión de prueba saturada) mediante el entrenamiento convencional pueden seguir siendo altamente frágiles ante nueva información. La contribución principal es demostrar que la generalización perfecta no implica una igualdad en la robustez.

Los autores argumentan que el marco de la física estadística, específicamente el concepto de entropía de Boltzmann, proporciona una lente fundamentada para comprender la resiliencia del modelo. Postulan que los estados de alta entropía, al ocupar volúmenes más grandes en el espacio de parámetros, poseen inherentemente una ventaja de robustez. Además, el estudio vincula esta robustez con un rango efectivo más alto, sugiriendo que las representaciones de características más ricas y distribuidas sirven como un amortiguador contra la interferencia. Este hallazgo desafía la visión prevalente de que las estructuras de bajo rango están siempre asociadas con la robustez (como se ve en el entrenamiento adversarial), proponiendo en su lugar un tercer régimen donde el muestreo de alta entropía produce representaciones de alto rango e intrínsecamente robustas.

El artículo concluye que estos hallazgos ofrecen una nueva perspectiva sobre el olvido catastrófico en el aprendizaje continuo, sugiriendo que las estrategias guiadas por la entropía podrían posicionar a los modelos en regiones del espacio de parámetros que son intrínsecamente más robustas al olvido, en lugar de simplemente regularizar las actualizaciones.

La ilusión del "Grokked": Cuando las puntuaciones perfectas ocultan una debilidad

La prueba de inyección de ruido: Olvidar a propósito

¿Por qué uno falló y el otro tuvo éxito?

Qué significa esto para el futuro

Más como este