💬 NLP

Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning

Este artículo demuestra que utilizar un programa de tasa de aprendizaje constante sin decaimiento (WSO) durante el pre-entrenamiento de modelos de lenguaje grandes mejora su rendimiento y adaptabilidad posterior al ajuste fino supervisado, en comparación con los métodos tradicionales basados en decaimiento que, aunque reducen la pérdida inicial, conducen a mínimos más agudos que limitan la flexibilidad del modelo.

Autores originales: Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

Publicado 2026-03-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

🚀 El Gran Descubrimiento: ¿Por qué dejar de "frenar" hace a la IA más inteligente?

Imagina que estás entrenando a un atleta de élite (en este caso, un modelo de lenguaje gigante como los que usan en ChatGPT) para que sea el mejor posible.

1. La vieja costumbre: "El frenado suave"

Durante años, los entrenadores de estas IAs han seguido una regla de oro: el "frenado" (Learning Rate Decay).

La analogía: Imagina que el aprendizaje es como conducir un coche en una carrera. Al principio, aceleras a fondo (calentamiento). Luego, mantienes una velocidad constante. Pero justo antes de llegar a la meta, vas frenando poco a poco hasta casi detenerte.
La lógica: Se pensaba que frenar al final ayudaba al coche a "asentar" las ruedas perfectamente en el camino, minimizando el error y quedando quieto en el punto exacto donde estaba el camino más plano. Funcionaba muy bien para que el coche pareciera perfecto durante la carrera de entrenamiento.

2. El problema: "El atleta rígido"

Los autores de este paper (de la Universidad de Tohoku) se dieron cuenta de algo curioso:

Aunque el coche que frenó al final parecía perfecto en la carrera de entrenamiento, cuando le pedían que hiciera algo nuevo (como aprender un deporte diferente o seguir instrucciones humanas, lo que llamamos "Ajuste Supervisado" o SFT), se quedaba rígido y no se adaptaba bien.
Era como un atleta que ha memorizado una pista de carreras perfecta, pero si le pones un terreno de barro o una montaña, no sabe cómo moverse porque sus músculos se han "congelado" en una posición muy específica.

3. La nueva propuesta: "Mantener la velocidad" (WSO)

El paper propone una idea radical: No frenar al final.

La analogía: En lugar de frenar, mantienes el coche a una velocidad constante y estable hasta el último segundo. A esto lo llaman WSO (Warmup-Stable-Only).
El resultado: Aunque el coche no llega a la meta con el "error" más bajo posible durante el entrenamiento, cuando lo sacas a la carretera real (para tareas nuevas), ¡es mucho más ágil! Se adapta mejor a los baches, a las curvas y a los nuevos terrenos.

🌄 La explicación visual: El paisaje de montañas

Para entender por qué pasa esto, los autores usan una metáfora de montañas y valles:

El método antiguo (con frenado): Al frenar al final, el modelo se queda atrapado en un valle muy estrecho y profundo. Es como un agujero de gusano. Si el modelo cae ahí, está muy bien en ese punto exacto, pero si el terreno cambia un milímetro (una nueva tarea), el modelo se cae y no sabe cómo subir. Es un "mínimo agudo" (sharp minimum).
El método nuevo (sin frenado): Al mantener la velocidad, el modelo se queda en un valle ancho y plano. Es como una gran llanura. Si el terreno cambia un poco, el modelo sigue estando en la llanura, no se cae. Es un "mínimo plano" (flat minimum).
La conclusión: Estar en una llanura (WSO) te da mucha más libertad para moverte y adaptarte a nuevas situaciones que estar atrapado en un agujero estrecho.

📊 ¿Qué demostraron con sus experimentos?

Probaron esto con modelos de diferentes tamaños (1 mil millones y 8 mil millones de parámetros) y en diferentes escenarios:

Entrenamiento normal: El método antiguo ganaba en la prueba de entrenamiento, pero el método nuevo ganaba en la prueba final (SFT).
Entrenamiento intermedio (Mid-training): Incluso si añadían una etapa extra de entrenamiento, el método "sin frenar" seguía siendo el mejor para el resultado final.
Sobre-entrenamiento: Incluso entrenando con una cantidad de datos gigantesca (trillones de palabras), el resultado fue el mismo: no frenar = mejor adaptación.

💡 ¿Por qué es importante esto para el futuro?

Hasta ahora, las empresas entrenaban sus IAs pensando en "¿cuál es el error más bajo posible?". Este paper dice: "¡Esperen! Eso no es lo más importante".

Lo importante es: "¿Qué tan bien se adaptará esta IA cuando la usemos en el mundo real?".

La lección práctica:
Si quieres crear una IA que sea flexible, inteligente y capaz de aprender cosas nuevas rápidamente, no la fuerces a "frenar" al final del entrenamiento. Déjala rodar con una velocidad constante. Esto crea modelos más "portátiles" y adaptables, listos para cualquier desafío que les pongas.

En resumen: Dejar de frenar al final hace que la IA sea menos rígida y más lista para lo que venga. 🏎️💨

1. El Problema

En el entrenamiento de Grandes Modelos de Lenguaje (LLM), la programación de la tasa de aprendizaje (Learning Rate - LR) es un componente crítico. Tradicionalmente, se utilizan schedulers basados en decaimiento (como Cosine Decay, Linear Decay o Warmup-Stable-Decay - WSD) que reducen la LR al final del pre-entrenamiento. El objetivo de estas estrategias es minimizar la pérdida (loss) durante el pre-entrenamiento.

Sin embargo, el artículo identifica una brecha fundamental: optimizar la métrica de pre-entrenamiento no garantiza un mejor rendimiento en tareas posteriores, específicamente después del Ajuste Fino Supervisado (SFT). Estudios recientes sugieren que un modelo con mejor pérdida pre-entrenada no necesariamente se adapta mejor a tareas específicas. La pregunta central es: ¿Es el decaimiento de la LR, elegido para optimizar el pre-entrenamiento, la mejor opción cuando el modelo está destinado a sufrir un SFT?

2. Metodología

Los autores proponen y evalúan una estrategia llamada Warmup-Stable-Only (WSO). A diferencia de los schedulers convencionales que incluyen una fase de decaimiento al final, WSO mantiene la tasa de aprendizaje constante después de la fase de warmup hasta el final del entrenamiento, sin reducirla.

El estudio se estructura en tres experimentos principales para probar la generalidad de los hallazgos:

Configuración de dos etapas: Pre-entrenamiento seguido de SFT.
Configuración de tres etapas: Pre-entrenamiento, Mid-training (entrenamiento intermedio) y SFT.
Configuración de sobre-entrenamiento (Over-training): Entrenamiento con un presupuesto de tokens masivo (2 billones de tokens), muy por encima del óptimo de Chinchilla.

Configuraciones Experimentales:

Modelos: Se entrenaron modelos de 1B y 8B parámetros siguiendo la arquitectura Llama 3.
Schedulers Comparados: WSO, WSD (Warmup-Stable-Decay), Cosine y Linear.
Variables: Se varió el factor de LR mínima ( $\alpha_{pre}$ ) para los schedulers de decaimiento (0.0, 0.1) y se comparó con WSO ( $\alpha_{pre} = 1.0$ ).
Evaluación: Se midió el rendimiento en el pre-entrenamiento (pérdida de validación y tareas zero-shot) y, crucialmente, después del SFT (seguimiento de instrucciones, razonamiento, verdad, etc.).

3. Contribuciones Clave

Demostración Empírica Sistemática: Se demuestra que WSO supera consistentemente a los schedulers basados en decaimiento en tareas de downstream después del SFT, tanto en modelos de 1B como de 8B, y a través de diversos benchmarks.
Generalización en Paradigmas Modernos: Se valida que WSO es efectivo no solo en pre-entrenamiento estándar, sino también en escenarios de mid-training y over-training.
Análisis del Paisaje de Pérdida (Loss Landscape): Se revela que el decaimiento de la LR conduce a mínimos más agudos (sharp minima), mientras que WSO preserva mínimos más planos (flat minima). Esto explica teóricamente por qué WSO ofrece una mejor adaptabilidad.

4. Resultados Principales

A. Inversión de Rendimiento (Pre-entrenamiento vs. SFT)

Existe una clara inversión en el rendimiento según la etapa:

Pre-entrenamiento: Los schedulers con decaimiento (especialmente Linear y WSD con $\alpha_{pre}=0$ ) logran la menor pérdida de validación y mejores puntuaciones en tareas zero-shot iniciales.
Post-SFT: WSO logra consistentemente el mejor rendimiento en tareas de downstream (seguimiento de instrucciones, MMLU, TruthfulQA), superando a los modelos pre-entrenados con decaimiento, a pesar de que estos últimos tenían una pérdida inicial menor.

B. Robustez en Escenarios Complejos

Mid-training: En configuraciones de tres etapas, aplicar decaimiento en cualquier fase (pre o mid) reduce el rendimiento final en SFT. WSO aplicado en ambas etapas (pre y mid) ofrece el mejor resultado.
Over-training: Incluso con un entrenamiento masivo (2T tokens), donde los modelos suelen volverse más difíciles de ajustar, WSO mantiene su ventaja, demostrando que sus beneficios no son un artefacto de un presupuesto de entrenamiento limitado.

C. Análisis Geométrico (Sharpness)

El análisis del paisaje de pérdida muestra que:

Los modelos entrenados con decaimiento convergen a regiones con alta agudeza (sharpness), lo que indica mínimos estrechos y sensibles a los cambios de parámetros.
Los modelos WSO convergen a mínimos más planos (flat minima).
Correlación: Existe una correlación negativa fuerte ( $r = -0.709$ ) entre la agudeza del mínimo y el rendimiento en SFT. Los mínimos planos permiten una adaptación más estable y flexible durante el ajuste fino, ya que las actualizaciones de parámetros no provocan fluctuaciones drásticas en la pérdida.

5. Significado e Impacto

Este trabajo desafía la práctica estándar de la industria de utilizar schedulers con decaimiento agresivo para maximizar las métricas de pre-entrenamiento.

Cambio de Paradigma: Sugiere que el objetivo de la programación de la LR debería ser maximizar la adaptabilidad para el SFT, no solo minimizar la pérdida de pre-entrenamiento.
Simplicidad y Eficacia: WSO es una estrategia simple (sin decaimiento) que no requiere hiperparámetros complejos adicionales y mejora el rendimiento final.
Recomendación Práctica: Los autores recomiendan liberar modelos pre-entrenados con WSO, ya que ofrecen una base más robusta y adaptable para desarrolladores que realizan SFT o alineación posterior.

En resumen, el artículo establece que evitar el decaimiento de la tasa de aprendizaje durante el pre-entrenamiento preserva la geometría plana del paisaje de pérdida, lo cual es esencial para que los LLMs puedan adaptarse eficazmente a tareas específicas mediante ajuste fino.