🤖 machine learning

(How) Learning Rates Regulate Catastrophic Overtraining

El artículo demuestra que la tasa de aprendizaje regula el sobreentrenamiento catastrófico en los LLM durante el ajuste fino, ya que su decadencia aumenta la agudeza del modelo preentrenado, lo que exacerba el olvido catastrófico y conduce a modelos cualitativamente diferentes.

Autores originales: Mark Rofin, Aditya Varre, Nicolas Flammarion

Publicado 2026-04-16

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mark Rofin, Aditya Varre, Nicolas Flammarion

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chef experto (el modelo de Inteligencia Artificial) que ha pasado años cocinando en una gran cocina internacional (el entrenamiento previo o pretraining). Este chef sabe hacer de todo: desde sushi hasta pizza, desde postres hasta sopas. Es un genio general.

Sin embargo, para que este chef trabaje en un restaurante específico que solo sirve hamburguesas (la ajuste fino o SFT), necesitas darle un curso intensivo sobre cómo hacer la hamburguesa perfecta.

El problema que descubren los autores de este paper es algo llamado "Olvido Catastrófico". A veces, al intentar enseñarle al chef a hacer la hamburguesa perfecta, ¡se le olvida cómo hacer sushi! O peor aún, si el chef ya ha estado cocinando hamburguesas durante demasiado tiempo (sobre-entrenamiento), pierde la capacidad de hacer cualquier otra cosa y se vuelve un robot de una sola tarea, perdiendo su creatividad original.

Aquí está la explicación sencilla de lo que descubrieron, usando analogías:

1. El problema: El "Golpe de Estado" del Aprendizaje

Cuando entrenas al modelo para que siga instrucciones (haga hamburguesas), usas una herramienta llamada Tasa de Aprendizaje (Learning Rate).

Tasa Alta (Pasos Gigantes): Imagina que le dices al chef: "¡Cambia todo tu estilo de cocina AHORA MISMO con pasos gigantes!". El chef aprende a hacer la hamburguesa muy rápido, pero en su entusiasmo, destruye sus recetas antiguas. Se olvida de cómo hacer sushi.
Tasa Baja (Pasos Pequeños): Ahora imagina que le dices: "Ajusta tu receta de hamburguesa con pasos muy pequeños y delicados". El chef aprende a hacer la hamburguesa, pero como los cambios son tan sutiles, no destruye sus otras habilidades. Sigue sabiendo hacer sushi, pero ahora también sabe hacer hamburguesas.

El hallazgo clave: Si usas pasos pequeños (tasa de aprendizaje baja) durante el ajuste fino, el modelo olvida menos.

2. La causa oculta: La "Rigidez" del Chef (Sharpness)

Aquí es donde entra la parte más interesante del paper. ¿Por qué pasa esto?

Imagina que el "estilo de cocina" del chef es un terreno montañoso.

Un terreno suave (poco "afilado" o sharp) es como una colina verde: puedes caminar por ella sin caer.
Un terreno afilado (muy sharp) es como un pico de montaña muy estrecho y peligroso. Si das un paso grande, te caes al vacío.

Los autores descubrieron que:

El entrenamiento previo largo hace al modelo "más afilado": Cuanto más tiempo pasa el chef cocinando en la cocina internacional, más "afilado" se vuelve su terreno mental. Se vuelve extremadamente experto, pero su terreno es inestable.
La reducción de la tasa de aprendizaje durante el entrenamiento previo es la culpable: A medida que el chef entrena, los dueños de la cocina reducen la velocidad de sus pasos (bajan la tasa de aprendizaje) para perfeccionar los detalles. Esto hace que el terreno se vuelva más afilado y peligroso.

3. La Trampa del "Sobre-entrenamiento"

Aquí está la paradoja que explica el "Olvido Catastrófico":

Si tomas a un chef que ha entrenado muy poco, su terreno es suave. Puedes darle pasos grandes para enseñarle hamburguesas y no se cae.
Si tomas a un chef que ha entrenado muchísimo (sobre-entrenado), su terreno es un pico afilado. Si intentas enseñarle hamburguesas (incluso con pasos normales), el terreno es tan inestable que cualquier ajuste lo hace "resbalar" y perder sus habilidades anteriores.

La analogía final:
Imagina que el entrenamiento previo es como afilar un cuchillo.

Si lo afilas un poco, es útil y seguro.
Si lo afilas demasiado (sobre-entrenamiento), la hoja se vuelve tan fina y frágil que, si intentas cortarle una hamburguesa (hacer el ajuste fino), la hoja se rompe o se dobla. El cuchillo ya no sirve para nada más que para cortar ese tipo específico de carne, y pierde su utilidad general.

¿Qué nos dicen los autores que hagamos?

Para evitar que nuestros modelos de IA se vuelvan "tontos" o pierdan sus habilidades generales:

Usa pasos muy pequeños al ajustar: Cuando estés enseñando al modelo una nueva tarea (hamburguesas), usa una tasa de aprendizaje muy baja. No le des "patadas" al modelo; guíalo suavemente.
No afiles demasiado el cuchillo antes de tiempo: Evita reducir la velocidad de aprendizaje (la tasa) demasiado rápido durante el entrenamiento inicial. Mantén el terreno "suave" para que el modelo sea más flexible y resistente cuando llegue el momento de especializarse.

En resumen:
El "sobre-entrenamiento" no es solo un problema de tener demasiados datos, sino de cómo se ajustan esos datos. Si el modelo se vuelve demasiado "afilado" y rígido durante su educación inicial, cualquier intento de especializarlo después lo hará olvidar todo lo que sabía. La solución es ser más suave y cuidadoso al enseñarle nuevas cosas.

Resumen Técnico: Cómo las Tasas de Aprendizaje Regulan el Sobreentrenamiento Catastrófico

1. Planteamiento del Problema

El artículo aborda un fenómeno crítico en el entrenamiento de Modelos de Lenguaje Grandes (LLMs) conocido como sobreentrenamiento catastrófico (catastrophic overtraining).

Contexto: El paradigma estándar de los LLMs implica un preentrenamiento masivo seguido de un Fine-Tuning Supervisado (SFT) para alinear el modelo con instrucciones.
El Problema: Se ha observado que, paradójicamente, aumentar el presupuesto de preentrenamiento (entrenar más tiempo o con más datos) puede degradar el rendimiento del modelo después del SFT. Un modelo preentrenado "mejor" (con menor pérdida en el preentrenamiento) puede resultar en un modelo ajustado (finetuned) con un rendimiento inferior en tareas fuera de distribución (OOD), perdiendo capacidades fundamentales adquiridas durante el preentrenamiento.
Hipótesis Previas: Trabajos anteriores sugerían que esto se debía a una mayor sensibilidad al ruido o a limitaciones de capacidad del modelo. Sin embargo, la causa mecánica exacta de esta sensibilidad progresiva permanecía poco clara.

2. Metodología y Enfoque

Los autores adoptan una perspectiva de optimización para entender el olvido catastrófico, centrándose en la dinámica de las tasas de aprendizaje (Learning Rates - LR) y la geometría del paisaje de pérdida.

Experimentos Empíricos:
- Se utilizaron múltiples modelos (OLMo 1/2, Hubble, Gemma 3, SmolLM) con tamaños de 1B a 3B parámetros.
- Se realizó un SFT en el dataset Anthropic-HH (y Tulu 3) utilizando diferentes tasas de aprendizaje (desde $10^{-6}$ hasta $10^{-4}$ ).
- Métricas Clave:
  - Pérdida de SFT: Para medir el ajuste a la tarea de ajuste.
  - Puntuación OOD: Promedio de precisión en 6 tareas generales (ARC, PIQA, HellaSwag, etc.) para medir la retención de capacidades generales.
  - Ángulo Principal Medio (MPA): Una métrica para cuantificar la divergencia de las representaciones internas (residual stream) entre el modelo base y el ajustado. Un MPA mayor indica una mayor "deriva" de características.
  - Estimación de "Sharpness" (Nitidez): Se utilizó un proxy basado en la divergencia KL de las predicciones tras añadir ruido gaussiano a los parámetros, ya que calcular el Hessiano completo es inviable en modelos grandes.
Análisis Teórico y Simplificado:
- Se empleó un modelo de red diagonal de dos capas (sparse regression) para aislar y demostrar teóricamente cómo la LR afecta la retención de características preentrenadas frente a las nuevas.
- Se analizó la relación entre la LR, la nitidez del paisaje de pérdida y el régimen de optimización (perezoso vs. rico).

3. Contribuciones Clave

El paper identifica tres mecanismos fundamentales que explican el sobreentrenamiento:

Regularización Implícita de la Tasa de Aprendizaje Baja:
- Se descubrió que un LR bajo durante el SFT actúa como una regularización implícita que preserva las características del modelo base.
- Modelos ajustados con LR baja sufren menos olvido catastrófico y mantienen un MPA bajo (las representaciones internas no se desvían mucho del estado inicial).
- Por el contrario, un LR alto empuja al modelo hacia un régimen "rico" (feature-learning), donde se aprenden características específicas de la tarea nueva a costa de sobrescribir las características preentrenadas, resultando en un MPA alto y mayor olvido.
La Deriva de Características y la Nitidez (Sharpness):
- La deriva de características (feature drift) no depende solo de la magnitud de la actualización de parámetros, sino de la nitidez del paisaje de pérdida en la que se encuentra el modelo.
- En regiones más "nítidas" (sharp), el mismo tamaño de paso (LR) causa una mayor divergencia en las características y una mayor pérdida de estabilidad.
- Se demostró en modelos simplificados que un LR alto en un paisaje nítido es equivalente a un LR bajo en un paisaje plano en términos de inestabilidad, pero el LR alto en un paisaje nítido acelera drásticamente el olvido.
El Origen del Sobreentrenamiento: Decaimiento de LR en el Preentrenamiento:
- La causa raíz del sobreentrenamiento catastrófico no es solo el volumen de tokens, sino el decaimiento de la tasa de aprendizaje (LR decay) durante el preentrenamiento.
- Según la teoría del "Edge of Stability", a medida que la LR disminuye durante el preentrenamiento, el umbral de estabilidad ( $2/\eta$ ) aumenta, permitiendo que la nitidez (sharpness) del modelo base crezca.
- Un modelo base más nítido (obtenido tras un preentrenamiento largo con LR decreciente) es intrínsecamente más propenso a sufrir una deriva de características severa y olvido catastrófico cuando se le aplica un SFT, incluso con una LR fija.

4. Resultados Principales

Efecto de la LR en SFT: Para un mismo nivel de pérdida de entrenamiento (SFT loss), los modelos ajustados con LR alta muestran un rendimiento OOD significativamente peor y un MPA mucho mayor que los ajustados con LR baja.
Correlación con el Preentrenamiento: Al ajustar modelos desde diferentes checkpoints de preentrenamiento (donde los checkpoints tardíos tienen mayor nitidez debido al decaimiento de LR), se observa que el olvido catastrófico aumenta drásticamente en los checkpoints más avanzados.
Momento Crítico: En modelos que utilizan calendarios de LR tipo Warmup-Stable-Decay (WSD), el aumento en el olvido y la deriva de características coincide exactamente con la fase de decaimiento de la LR, donde la nitidez del modelo aumenta rápidamente.
Validación en Modelos Pequeños: Los resultados se replicaron consistentemente en modelos de 1B a 3B parámetros, sugiriendo que el fenómeno es mecánico y no emergente solo a gran escala.

5. Significado e Implicaciones

Este trabajo ofrece una explicación mecanicista unificada para el olvido catastrófico y el sobreentrenamiento en LLMs:

Reinterpretación del Escalamiento: Sugiere que simplemente aumentar el presupuesto de preentrenamiento sin ajustar la estrategia de optimización puede ser contraproducente, ya que el decaimiento de LR natural en el preentrenamiento endurece el modelo (aumenta su nitidez), haciéndolo más frágil ante el SFT.
Recomendaciones Prácticas:
1. SFT: Utilizar las tasas de aprendizaje más bajas posibles que aún permitan un rendimiento aceptable en la tarea objetivo para preservar las capacidades generales.
2. Preentrenamiento: Evitar el decaimiento agresivo de la LR durante el preentrenamiento si se planea un SFT posterior. Se sugiere mantener la LR estable durante el preentrenamiento y aplicar el decaimiento (annealing) solo durante la fase de post-entrenamiento (SFT/RL).
Teoría de Optimización: Conecta la teoría de la nitidez (sharpness) y el Edge of Stability con la práctica de la transferencia de aprendizaje en LLMs, demostrando que la dinámica de optimización del preentrenamiento dicta la plasticidad del modelo para el ajuste fino.

En conclusión, el artículo establece que el sobreentrenamiento catastrófico es un fenómeno inducido por la optimización, donde la interacción entre la nitidez del modelo base (causada por el decaimiento de LR en preentrenamiento) y la tasa de aprendizaje utilizada en el SFT determina la magnitud del olvido de capacidades fundamentales.