📊 statistics

Unveiling Memorization-Generalization Coexistence: A Case Study on Arithmetic Tasks with Label Noise

Este artículo investiga cómo las redes neuronales sobreparametrizadas memorizan simultáneamente etiquetas ruidosas y generalizan en tareas aritméticas, revelando que, aunque el ruido suprime la salida de una estructura interna de generalización, dicha estructura puede recuperarse eficazmente mediante métodos basados en la frecuencia incluso bajo un ruido de etiquetas intenso.

Autores originales: Linyu Liu, Pinyan Lu

Publicado 2026-05-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Linyu Liu, Pinyan Lu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante muy inteligente, pero ligeramente caótico, a hacer matemáticas. Le das un montón de problemas de práctica, pero accidentalmente mezclas algunos problemas con respuestas incorrectas (ruido).

Por lo general, pensamos que un estudiante que memoriza las respuestas incorrectas suspenderá el examen real. Pero este artículo descubre algo sorprendente: El estudiante en realidad puede aprender las reglas matemáticas correctas y memorizar las respuestas incorrectas al mismo tiempo. Solo oculta las reglas correctas dentro de su cerebro mientras su boca sigue diciendo las cosas incorrectas.

Aquí hay un desglose de lo que descubrieron los investigadores, usando analogías simples:

1. La sorpresa del "Doble Descenso"

En los viejos tiempos del aprendizaje automático, pensábamos que los modelos más grandes eran solo "esponjas más grandes" que absorberían cada error y suspenderían.

La analogía: Imagina un estudiante que es demasiado pequeño para entender las matemáticas. Adivina al azar. A medida que se hace más grande (más neuronas), comienza a memorizar las respuestas incorrectas específicas que le diste, por lo que le va peor en el examen real.
El giro: Pero si haces al estudiante enorme (sobredimensionado), ocurre algo mágico. Se vuelve tan grande que puede sostener dos cosas a la vez: una comprensión perfecta de las reglas matemáticas y una lista de todas las respuestas incorrectas.
El resultado: Cuanto más grande es el modelo, mejor le va en el examen real, incluso si los datos de entrenamiento están llenos de mentiras. Solo necesitan los "hábitos de estudio" correctos (configuraciones de optimización) para desbloquear esta capacidad.

2. El fenómeno de "Las malas noticias viajan más rápido"

Uno de los hallazgos más contraintuitivos se refiere a cuándo el estudiante aprende las cosas.

La analogía: Podrías esperar que un estudiante aprenda primero las reglas correctas y lógicas, y luego memorice lentamente los errores extraños y aleatorios.
La realidad: El artículo descubrió que el estudiante memoriza las respuestas incorrectas primero. Es como si el estudiante escuchara un grito fuerte y confuso (el ruido) y lo escribiera inmediatamente porque es fácil de agarrar. Las reglas lógicas y silenciosas (los datos limpios) tardan más en asentar.
Por qué importa: Esto significa que si detienes el entrenamiento del estudiante demasiado pronto, solo conocerá las mentiras. Necesitan seguir entrenando el tiempo suficiente para que la "lógica" se ponga al día y supere la "memorización".

3. La "Biblioteca Oculta" frente a la "Boca Ruidosa"

Incluso cuando el modelo se entrena con datos que son 80% incorrectos, aún aprende las reglas matemáticas correctas dentro de su cerebro. El problema es que el "ruido" es tan fuerte que ahoga la respuesta correcta cuando el modelo habla.

La analogía: Imagina una biblioteca donde los libros correctos están ordenados cuidadosamente en los estantes (la estructura interna), pero alguien ha pegado notas adhesivas con sinsentidos aleatorios por todas las portadas (el ruido). Si solo miras las portadas, parece un desastre.
El descubrimiento: Los investigadores encontraron una manera de "pelar" las notas adhesivas. Al usar un filtro de frecuencia (una herramienta que busca patrones repetitivos, como un afinador musical), pudieron aislar la "biblioteca correcta" de las "portadas de sinsentidos".
El resultado: Incluso con un 80% de ruido, pudieron extraer la biblioteca oculta y obtener puntuaciones casi perfectas en el examen. Las reglas estaban allí todo el tiempo; solo estaban enterradas bajo el ruido.

4. Por qué no puedes simplemente "Cortar" las partes malas

Los investigadores probaron un método más simple: intentaron encontrar las neuronas específicas (células cerebrales) responsables de las buenas matemáticas y eliminar las responsables del mal ruido.

La analogía: Imagina intentar arreglar una habitación desordenada tirando los artículos "malos" y guardando solo los "buenos".
El fracaso: Esto no funcionó muy bien. ¿Por qué? Porque las matemáticas "buenas" y el ruido "malo" no se almacenan en habitaciones separadas. Están mezclados en las mismas neuronas, como ingredientes en un batido. No puedes simplemente sacar las fresas sin perder el plátano.
La conclusión: Para sacar lo bueno, necesitas una herramienta sofisticada (como el filtro de frecuencia mencionado anteriormente) que pueda separar los ingredientes basándose en su "sabor" (estructura matemática), no solo intentando eliminar neuronas específicas.

Resumen

Este artículo muestra que los modelos de IA enormes son increíblemente robustos. Incluso cuando se les alimenta con una dieta de mentiras, aún pueden aprender la verdad. Aprenden la verdad lentamente y la ocultan profundamente dentro, mientras memorizan rápidamente las mentiras en la superficie. Con las herramientas adecuadas, podemos excavar esa verdad oculta, demostrando que el modelo no solo memorizó el ruido; en realidad aprendió las reglas.

Resumen Técnico: Revelando la Coexistencia de Memorización y Generalización

Declaración del Problema

Los modelos altamente sobreparametrizados, como los Modelos de Lenguaje Grandes, demuestran la capacidad de memorizar simultáneamente etiquetas ruidosas y generalizar bien a datos no vistos. Sin embargo, los mecanismos internos que gobiernan cómo coexisten estos dos comportamientos distintos permanecen poco comprendidos. En escenarios realistas, los datos de entrenamiento a menudo están contaminados con ruido (por ejemplo, muestras mal etiquetadas), lo que crea una competencia interna entre la generalización (descubrir reglas estructurales aplicables a datos no vistos) y la memorización (ajustar etiquetas ruidosas específicas que no reflejan reglas subyacentes).

Diagnosticar esta interacción en tareas complejas del mundo real es difícil porque una alta precisión de prueba no distingue inherentemente entre aprender reglas verdaderas y explotar patrones locales o atajos. Para abordar esto, los autores investigan tareas de aritmética modular (específicamente suma y multiplicación módulo $P$ ) como un entorno experimental controlado. Estas tareas se eligen por su clara distinción entre generalización basada en reglas y memorización punto a punto, su exhibición de "grokking" (generalización que ocurre mucho después de la memorización) y la disponibilidad de soluciones analíticas conocidas para configuraciones específicas de modelos.

Metodología

El estudio emplea una red neuronal de dos capas parametrizada por $\theta = \{W, U, V, \mu\}$ entrenada en tareas de aritmética modular con ruido de etiquetas introducido. La relación de ruido $\alpha$ se varía, donde un subconjunto de los datos de entrenamiento se asigna con etiquetas aleatorias uniformes distintas del resultado verdadero.

La investigación aborda tres preguntas clave a través de experimentos extensos que cubren diversas funciones de activación (ReLU, Cuadrática, GeLU, LeakyReLU), optimizadores (Adam, AdamW, Muon, SGD) y fuerzas de regularización:

P1: ¿Bajo qué condiciones el aumento del tamaño del modelo mejora la generalización con etiquetas ruidosas?
P2: ¿Pueden los modelos recuperar reglas estructurales internas bajo ruido de etiquetas extremo?
P3: ¿Pueden separarse las neuronas responsables de la generalización de aquellas utilizadas para la memorización?

La metodología implica:

Análisis de la Dinámica de Entrenamiento: Rastrear la precisión en subconjuntos limpios frente a ruidosos durante el entrenamiento para observar el orden de aprendizaje.
Filtrado de Frecuencia (FF): Aprovechar la solución analítica conocida para activaciones cuadráticas (que exhiben estructuras periódicas) para descomponer los pesos de la red ReLU. Los autores hipotetizan que la señal de generalización es transportada por el componente de frecuencia dominante de los pesos, mientras que la memorización se codifica en frecuencias residuales.
Particionamiento de la Red: Intentar separar la red en subredes de generalización y memorización utilizando puntuaciones de importancia de neuronas agnósticas a la tarea (Relación de Participación Inversa y Fuerza de Neurona) frente a priores de frecuencia específicos de la tarea.

Hallazgos Clave

1. Escalamiento y Doble Descenso

Los autores observan robustamente el fenómeno de doble descenso en presencia de ruido de etiquetas.

Sobreparametrización: Dentro del régimen sobreparametrizado, aumentar el tamaño del modelo mejora consistentemente la precisión de prueba, siempre que la optimización y la regularización estén configuradas adecuadamente.
Regularización: Una regularización más fuerte desplaza el modelo desde el régimen sobreparametrizado hacia el régimen subparametrizado, retrasando el segundo descenso.
Funciones de Activación: Los modelos ReLU muestran una precisión de prueba no decreciente en el régimen sobreparametrizado. En contraste, los modelos con activaciones Cuadráticas o GeLU exhiben techos en la precisión de prueba a medida que aumenta el tamaño del modelo, posiblemente debido a restricciones de simetría sobre cómo se absorbe el ruido.

2. Dinámicas de Aprendizaje Contraintuitivas

Un hallazgo significativo es que las etiquetas ruidosas se memorizan más rápido que las etiquetas limpias durante las primeras épocas de entrenamiento, independientemente del optimizador (AdamW, Adam, Muon) o la relación de ruido.

Esta inversión del orden típico de aprendizaje se atribuye a la dinámica de entrenamiento con lotes completos. El subconjunto ruidoso, al ser más pequeño, recibe una señal de optimización por muestra más fuerte desde el gradiente del lote completo en comparación con el subconjunto limpio más grande, lo que hace que su precisión aumente antes.
Este fenómeno también se observó en experimentos con MNIST, lo que sugiere que es una propiedad más amplia de la optimización temprana con lotes completos bajo corrupción explícita de etiquetas.

3. Coexistencia de Reglas y Ruido

Incluso bajo ruido de etiquetas extremo (hasta un 80%), los modelos aprenden internamente la regla algebraica correcta, aunque esta regla está suprimida en la salida cruda por la necesidad de interpolar etiquetas ruidosas.

Filtrado de Frecuencia: Al aislar el componente de frecuencia dominante de los pesos (alineado con la solución analítica para activaciones cuadráticas), los autores pueden extraer una subred que logra una precisión de prueba casi perfecta, incluso cuando la salida del modelo completo está fuertemente corrompida.
Residuales: Los componentes de frecuencia residual retienen principalmente la capacidad de ajustar etiquetas ruidosas pero contribuyen poco a la generalización.
Independencia de la Activación: Reemplazar la activación ReLU con Cuadrática o ReLU Inversa en una red entrenada preserva o mejora la generalización, lo que indica que los pesos aprendidos ya codifican una representación de regla simétrica compatible con estas funciones.

4. Límites de la Separación Agnóstica a la Tarea

El artículo investiga si la generalización y la memorización pueden separarse a nivel de neurona sin depender de priores específicos de la tarea (como la estructura de Fourier).

Selección de Neuronas: Utilizando métricas como la Relación de Participación Inversa (IPR) o la Fuerza de Neurona (Str.), los autores podan la red para seleccionar neuronas para la generalización. Aunque esto mejora ligeramente la generalización, la ganancia es significativamente más débil que la lograda por el Filtrado de Frecuencia.
Entrelazamiento: Los resultados sugieren que la estructura generalizable no está localizada en un pequeño subconjunto de neuronas, sino que está difusamente codificada a través de la red y profundamente entrelazada con los componentes utilizados para la memorización de ruido. La poda agnóstica a la tarea no puede extraer completamente la estructura de reglas aprendida por el modelo.

Significado y Afirmaciones

El artículo afirma proporcionar un límite riguroso y verificable entre la generalización estructural y la memorización no estructurada en el aprendizaje sobreparametrizado. Sus contribuciones principales son:

Perspectiva Mecanística: Demuestra que los modelos sobreparametrizados pueden aprender internamente reglas subyacentes incluso bajo ruido de etiquetas explícito, pero estas reglas están enmascaradas por la necesidad de ajustar el ruido.
Desacoplamiento Basado en Frecuencia: Introduce un método (Filtrado de Frecuencia) que desacopla exitosamente la generalización de la memorización en tareas de aritmética modular explotando los priores estructurales de la tarea, recuperando una precisión casi perfecta a partir de un entrenamiento fuertemente corrompido.
Limitación de la Poda Post Hoc: Destaca una limitación fundamental de las herramientas actuales a nivel de neurona. Aunque la selección de neuronas agnóstica a la tarea ofrece mejoras marginales, falla en extraer completamente la estructura generalizable porque la regla está distribuida y entrelazada a través de la red.
Implicaciones Más Amplias: Los autores sugieren que los paradigmas de aprendizaje futuros podrían necesitar aislar explícitamente la memorización de la inferencia lógica durante el entrenamiento, y que la extracción efectiva de conocimiento post hoc podría requerir priores estructurales específicos del dominio en lugar de puntuaciones de importancia genéricas.

Los autores reconocen que su configuración abstrae la variabilidad compleja de las tareas de visión o lenguaje naturales. Sin embargo, argumentan que este entorno controlado es necesario para estudiar rigurosamente la coexistencia de la memorización y la generalización, proporcionando evidencia fundamental de que estos procesos están profundamente entrelazados en redes sobreparametrizadas.