📊 statistics

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

Este artículo presenta ScheduleFree+, un método libre de tasa de aprendizaje y libre de programación que escala con éxito el Aprendizaje Libre de Programación a modelos de lenguaje grandes, superando significativamente a las programaciones de entrenamiento más avanzadas como Warmup-Stable-Decay, particularmente en escenarios de entrenamiento de larga duración.

Autores originales: Aaron Defazio

Publicado 2026-05-20

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aaron Defazio

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot gigante y superinteligente (un Modelo de Lenguaje Grande) a hablar el lenguaje humano. Para lograrlo, le muestras miles de millones de oraciones y le permites adivinar la siguiente palabra, corrigiendo sus errores una y otra vez.

Durante mucho tiempo, la forma estándar de enseñar a este robot fue utilizar un Programa de Tasa de Aprendizaje. Piensa en esto como un profesor estricto que comienza la clase con una voz muy fuerte y enérgica (tasa de aprendizaje alta) para captar la atención del robot, pero luego susurra lentamente y se desvanece (tasa de aprendizaje baja) a medida que termina la clase. ¿El problema? Tienes que adivinar exactamente cuándo empezar a susurrar y qué tan rápido desvanecerse. Si adivinas mal, el robot aprende deficientemente.

Este artículo introduce un nuevo método llamado ScheduleFree+. En lugar de un profesor que cambia el volumen de su voz con el tiempo, este método utiliza una técnica de "promedio inteligente" que permite al robot aprender a un ritmo constante y seguro sin necesidad de un programa complejo.

Así es como el artículo explica la magia detrás de ScheduleFree+, utilizando analogías simples:

1. El Truco del "Promedio Inteligente" (La Idea Central)

En el entrenamiento tradicional, el robot actualiza su cerebro basándose en lo último que vio. Esto es como un estudiante que solo recuerda la última pregunta hecha en clase.

Schedule-Free cambia esto. Mantiene dos versiones del cerebro del robot:

El Cerebro "Activo" ( $z$ ): Este es el robot actualizándose en tiempo real, aprendiendo de los errores más recientes.
El Cerebro "Promedio" ( $x$ ): Esta es una versión tranquila y constante que recuerda el promedio de todo lo que el robot ha aprendido hasta ahora.

La magia ocurre porque el robot no solo mira el cerebro "Activo" para decidir qué hacer a continuación. Mira una mezcla del cerebro "Activo" y el cerebro "Promedio".

Analogía: Imagina que estás navegando un barco. El cerebro "Activo" es el capitán mirando las olas en este momento (muy reactivo). El cerebro "Promedio" es el navegante mirando el mapa de todo el viaje hasta ahora (muy estable). El nuevo método le dice al capitán que dirija basándose en una mezcla de ambos. Esto evita que el barco se desvíe salvajemente cuando golpea una ola pequeña, conduciendo a un viaje mucho más suave y rápido.

2. Por Qué Falló Antes (El Problema del "Lote Grande")

Los autores descubrieron que, aunque este "Promedio Inteligente" funcionaba muy bien para robots pequeños, fallaba cuando intentaban entrenar robots gigantes con lotes enormes de datos.

El Problema: Cuando le das al robot demasiados datos a la vez (un "lote" grande), el cerebro "Activo" se confunde y comienza a tambalearse, provocando que el entrenamiento se estrelle.
La Solución: Agregaron Momento Interno. Piensa en esto como darle al robot un poco de "inercia" o "momento". Al igual que un camión pesado es más difícil de detener y girar que una bicicleta, agregar momento ayuda al robot a mantenerse en curso incluso cuando los datos son enormes y ruidosos. Esto les permitió escalar el método hasta modelos masivos.

3. La Velocidad "Autoajustable" (Sin Más Adivinanzas)

Por lo general, los humanos deben ajustar manualmente qué tan rápido aprende el robot. El artículo introduce un Tamaño de Paso Polyak, que es como un velocímetro de conducción autónoma.

Cómo funciona: En lugar de que un humano establezca la velocidad, el robot mira qué tan "confundido" está (el tamaño de sus errores) y ajusta automáticamente su velocidad. Si los errores son grandes, se ralentiza para pensar con cuidado. Si los errores son pequeños, acelera.
El Resultado: Ya no necesitas adivinar la tasa de aprendizaje. El método es "libre de tasa de aprendizaje", lo que significa que descubre la velocidad perfecta por sí mismo.

4. Arreglando los Pesos "Desviados"

El artículo descubrió un efecto secundario extraño: al usar este nuevo método, los "pesos" internos del robot (la fuerza de sus conexiones) a veces crecían demasiado o se encogían demasiado, volviendo al robot inestable.

La Analogía: Imagina que las células cerebrales del robot se vuelven demasiado grandes, estirando los cables hasta que se rompen.
La Solución: Aplicaron una corrección especial de "gradiente inverso". Piensa en esto como un regulador inteligente que aprieta los tornillos cada vez que las células cerebrales del robot intentan hacerse demasiado grandes, manteniendo todo estable y evitando que los cables se rompan. Esto permite que el robot se entrena durante mucho más tiempo sin romperse.

5. Los Ajustes de "Calentamiento" y "Enfriamiento"

Para que esto funcione perfectamente en sesiones de entrenamiento largas, agregaron dos toques finales:

Inicio Cálido: Al principio, permitieron que el robot aprendiera normalmente sin el truco de "promedio" durante un corto tiempo. Esto es como dejar que un corredor haga unas cuantas vueltas trotando antes de comenzar la carrera, para que no tropiece en la línea de salida.
Recocido Beta: A medida que avanza el entrenamiento, cambian lentamente la "mezcla" entre los cerebros Activo y Promedio. Al principio, escuchan más al cerebro Activo (para aprender rápido). Más tarde, escuchan más al cerebro Promedio (para ser precisos). Esto es como un estudiante que comienza tomando notas frenéticamente, pero al final del semestre, confía más en su guía de estudio bien organizada.

El Gran Resultado

Cuando probaron ScheduleFree+ en modelos de lenguaje masivos:

Fue más rápido: Para alcanzar el mismo nivel de inteligencia, tomó un 31% menos de tiempo que los mejores métodos existentes.
Fue más estable: La curva de aprendizaje fue suave y predecible, a diferencia de las curvas dentadas y accidentadas de los métodos antiguos.
Funciona para el entrenamiento "En Cualquier Momento": Puedes detener el entrenamiento en cualquier segundo, y el robot estará en su mejor estado posible para ese momento. No tienes que esperar a un "final de programa" específico para obtener un buen modelo.

En resumen: El artículo muestra que al mezclar los pensamientos actuales del robot con sus pensamientos promedio, agregando un poco de momento para la estabilidad y permitiendo que el robot ajuste su propia velocidad, podemos entrenar modelos de IA gigantes más rápido, más suavemente y sin necesidad de que los humanos ajusten constantemente la configuración.

Resumen Técnico: Escalar el Aprendizaje sin Tasa de Aprendizaje y sin Programación (Schedule-Free) a Modelos de Lenguaje Grandes con ScheduleFree+

1. Declaración del Problema

La optimización tradicional en aprendizaje automático depende en gran medida de programas de tasa de aprendizaje (por ejemplo, Decaimiento Lineal, Coseno, Calentamiento-Estabilidad-Decaimiento) para garantizar la convergencia. Aunque efectivas, estas métodos requieren un ajuste significativo y a menudo resultan en curvas de entrenamiento inestables o impredecibles. Los métodos recientes de aprendizaje "sin programación" (Schedule-Free), que reemplazan los programas con un promediado agresivo de iteraciones, han mostrado promesa en benchmarks a pequeña escala, pero históricamente han fallado al escalar al entrenamiento de Modelos de Lenguaje Grandes (LLM). Específicamente, las implementaciones anteriores de Schedule-Free sufrieron de:

Divergencia en tamaños de lote grandes: El rendimiento se degradó significativamente a medida que los tamaños de lote aumentaron más allá de los límites de pequeña escala.
Deriva de la norma del gradiente: El método requería valores de decaimiento de peso inusualmente pequeños para funcionar, lo que conducía a normas de peso inestables y un rendimiento deficiente en entrenamientos de larga duración.
Convergencia subóptima en ejecuciones largas: El método no aprovechaba plenamente los beneficios del promediado en horizontes de entrenamiento extendidos (por ejemplo, 1000 tokens por parámetro).

El artículo aborda el desafío de escalar el Aprendizaje sin Programación para igualar o superar el rendimiento de los métodos basados en programas más avanzados (SOTA) para el preentrenamiento de LLM, apuntando a un procedimiento de entrenamiento estable, "en cualquier momento" (anytime), que no requiera ajuste de la tasa de aprendizaje.

2. Metodología: ScheduleFree+

Los autores proponen ScheduleFree+, un método compuesto que integra varias modificaciones específicas al algoritmo base de Schedule-Free para hacerlo robusto para LLMs. Los componentes centrales son:

A. Reintroducción de Momentum Interno

Mientras que el trabajo original de Schedule-Free eliminó el momentum interno (por ejemplo, $\beta_1$ de Adam) para ahorrar memoria, los autores encontraron que esto era perjudicial para tamaños de lote grandes.

Solución: Reintroducir momentum interno (por ejemplo, $\beta_1 = 0.75$ o $0.9$) en el optimizador base.
Efecto: Esto restaura la robustez ante tamaños de lote más grandes y permite tasas de aprendizaje más altas sin divergencia, abordando el "acantilado de escalado" observado en AdamW estándar de Schedule-Free.

B. Ponderación Inversa de la Norma del Gradiente (Tamaño de Paso Polyak)

El aprendizaje Schedule-Free estándar a menudo requería un decaimiento de peso pequeño para compensar el aumento de las normas de gradiente, lo que causaba inestabilidad. Los autores derivan una corrección teórica basada en el tamaño de paso Polyak.

Mecanismo: El tamaño de paso $\gamma_t$ se escala inversamente proporcional a la norma L1 del gradiente ( $\gamma_t \propto 1/\|g_t\|_1$ ).
Implementación: Se utiliza una Media Móvil Exponencial (EMA) de la norma L1 del gradiente para estimar el denominador, aproximando la ponderación óptima derivada de los límites de arrepentimiento convexo.
Resultado: Esta corrección contrarresta la deriva de la tasa de aprendizaje efectiva causada por las capas de normalización, permitiendo el uso de valores de decaimiento de peso estándar y más grandes (por ejemplo, 0.05–0.5), lo que estabiliza las normas de peso y previene el fenómeno de "norma de peso encogida" que desestabiliza las ejecuciones largas.

C. Optimización sin Tasa de Aprendizaje mediante Paso Polyak

Basándose en la ponderación inversa del gradiente, los autores implementan una variante completamente libre de tasa de aprendizaje utilizando un tamaño de paso Polyak modificado:
$\gamma_t = \frac{f(y_t) - f^* + \beta \langle \nabla f(y_t), z_t - x_t \rangle}{\sqrt{\pi/2} \| \nabla f(y_t) \|_1}$

Estabilidad: El numerador utiliza una estimación de la brecha de valor de la función ( $f(z_t) - f^*$ ) en lugar de la iteración actual ruidosa, y el denominador utiliza la norma L1 suavizada. Esto evita los problemas de denominador que desaparecen comunes en los pasos Polyak estocásticos.
Adaptabilidad: Este enfoque escala automáticamente la tasa de aprendizaje con el tamaño del lote (siguiendo la escalado $\sqrt{b}$ para AdamW) y elimina la necesidad de búsquedas manales en la cuadrícula de tasas de aprendizaje.

D. Estrategias de Inicio en Caliente (Warm-Start) y Recocido (Annealing)

C-Calentamiento (C-Warmup): Para evitar que el búfer de promediado diluya las fases tempranas de convergencia rápida, los autores retrasan la actualización de promediado ( $c_t = 1$ ) durante un período inicial (por ejemplo, $2\times$ la duración del calentamiento de la tasa de aprendizaje).
Recocido de Beta: El parámetro de interpolación $\beta$ (que mezcla la iteración actual $z_t$ y el promedio $x_t$ ) se recocida desde un valor más bajo (por ejemplo, 0.9) hasta un valor más alto (por ejemplo, 0.965) a lo largo de la ejecución del entrenamiento. Esto captura la convergencia inicial rápida mientras optimiza la reducción de pérdida a largo plazo.
Promediado Ponderado ( $r=1$ ): Para ejecuciones largas, los pesos de promediado se establecen en $r=1$ (pesos que aumentan linealmente) en lugar del valor predeterminado $r=0$ , lo que acelera la convergencia para problemas no fuertemente convexos.

3. Resultados Clave

Los autores realizaron experimentos de escalado extensos en LLMs que van desde 120M hasta 1B de parámetros, entrenados con hasta 1000 tokens por parámetro.

Entrenamiento de Larga Duración (1000 TPP): A esta escala, ScheduleFree+ supera significativamente tanto a los programas Calentamiento-Estabilidad-Decaimiento (WSD) como a los programas de Decaimiento Lineal.
- Eficiencia: Logra la misma pérdida final que un programa de Decaimiento Lineal en un 31% menos de tiempo de entrenamiento (una reducción del 45% en los tokens requeridos para alcanzar la pérdida objetivo).
- Estabilidad: El método produce curvas de pérdida suaves y predecibles que siguen una tasa de decaimiento teórica de $1/\sqrt{t}$ , permitiendo la predicción precisa de la pérdida final a partir de datos de entrenamiento tempranos.
Entrenamiento de Corta Duración (20–100 TPP): ScheduleFree+ supera a los programas WSD en todos los tamaños de modelo. Frente al Decaimiento Lineal, iguala o supera ligeramente el rendimiento en horizontes muy cortos (20 TPP) debido al tiempo requerido para alcanzar un estado estacionario, pero generalmente se desempeña de manera competitiva.
Escalado de Tamaño de Lote: Con momentum interno, ScheduleFree+ escala de manera robusta a tamaños de lote de 8M, igualando el rendimiento del AdamW estándar con Decaimiento Lineal.
Estabilidad de la Norma de Peso: Al utilizar el tamaño de paso Polyak y un decaimiento de peso más grande, el método mantiene normas de peso estables, evitando la divergencia y los problemas de cuantización asociados con los valores de decaimiento de peso pequeños requeridos por los métodos Schedule-Free no modificados.

4. Significado y Afirmaciones

El artículo afirma que ScheduleFree+ proporciona una base teórica para el promediado de modelos y la fusión de puntos de control durante el preentrenamiento, cerrando la brecha entre la optimización en línea y la fusión de modelos fuera de línea (offline model souping).

Entrenamiento en Cualquier Momento (Anytime): A diferencia de los programas WSD, que requieren una fase de recocido específica al final del entrenamiento para realizar las ganancias, ScheduleFree+ ofrece una verdadera capacidad "en cualquier momento". El modelo es utilizable y óptimo en cualquier punto de parada sin una fase de decaimiento dedicada.
Eliminación del Ajuste: El método elimina la necesidad de búsquedas en cuadrícula de tasas de aprendizaje, confiando en cambio en el tamaño de paso Polyak y la ponderación inversa del gradiente para adaptarse automáticamente al tamaño del lote y a la duración del entrenamiento.
Predecibilidad: Los autores argumentan que las curvas de pérdida del Aprendizaje sin Programación no son solo empíricamente estables, sino que están fundamentadas teóricamente, siguiendo de cerca la tasa de convergencia $1/\sqrt{t}$ predicha por la teoría de optimización convexa, incluso en el entorno no convexo de LLM.

En resumen, el artículo demuestra que con modificaciones específicas—momentum interno, ponderación inversa del gradiente y recocido adaptativo—el Aprendizaje sin Programación puede escalarse para convertirse en una alternativa superior, estable y libre de ajuste a los programas tradicionales de tasa de aprendizaje para el entrenamiento de Modelos de Lenguaje Grandes.