📊 statistics

Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging

Este artículo demuestra que combinar el promedio de pesos con esquemas de tasa de aprendizaje simples y sin horizonte (como la decaimiento polinomial o $1/\sqrt{t}$ ) logra un rendimiento final comparable al de los esquemas de coseno ajustados para modelos de lenguaje de gran tamaño, ofreciendo una alternativa práctica y teóricamente fundamentada para el entrenamiento en entornos de horizonte abierto donde el horizonte total es desconocido.

Autores originales: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

Publicado 2026-08-26

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, los modelos de lenguaje extensos son los motores que impulsan todo, desde asistentes de escritura hasta herramientas de razonamiento complejo. Para hacer que estos motores funcionen, los investigadores deben enseñarles alimentándolos con vastas cantidades de texto, un proceso conocido como preentrenamiento. Esta enseñanza requiere un equilibrio cuidadoso entre velocidad y precisión, controlado por un ajuste llamado tasa de aprendizaje. Piense en esta tasa como el ritmo al que el modelo ajusta su conocimiento interno basado en nueva información. Si el ritmo es demasiado rápido, el modelo sobrepasa la verdad; si es demasiado lento, no aprende nada. Durante años, el método estándar para gestionar este ritmo ha sido un programa conocido como decaimiento de coseno (cosine decay). Este método comienza el modelo a una velocidad moderada, la ralentiza gradualmente en una curva suave y se detiene en un momento preciso. Sin embargo, este enfoque estándar tiene un defecto significativo: requiere saber exactamente cuánto durará el entrenamiento antes de dar el primer paso. En un mundo donde los datos llegan continuamente y la cantidad total de información es desconocida, este requisito es como intentar conducir un coche con un mapa que solo muestra el destino, pero no la distancia para llegar allí.

Investigadores de la Universidad de Harvard y del Instituto Kempner han abordado este problema desarrollando una nueva forma de entrenar estos modelos que no necesita una fecha de finalización preestablecida. Su trabajo, que combina la teoría matemática con experimentos a gran escala, demuestra que los modelos pueden entrenarse eficazmente sin necesidad de saber cuándo terminará el entrenamiento. Descubrieron que, al utilizar un ritmo simple y constante que se ralentiza naturalmente con el tiempo, y al promediar el progreso del modelo a lo largo del viaje, podían lograr resultados tan buenos como el método tradicional. Este descubrimiento sugiere que los programas rígidos y preplanificados del pasado no son necesarios para construir la inteligencia artificial más avanzada, abriendo la puerta a la formación de sistemas que pueden aprender continuamente a medida que la nueva información está disponible.

El núcleo del problema reside en la naturaleza de los datos modernos. A diferencia de los conjuntos de datos fijos del pasado, la información de hoy fluye sin cesar. Un modelo podría entrenarse durante una semana, luego durante un mes, o potencialmente durante años, dependiendo de cuántos datos haya disponibles. El esquema de decaimiento de coseno tradicional es "dependiente del horizonte", lo que significa que debe ajustarse específicamente para una duración conocida. Si un investigador ajusta un programa para una ejecución de un mes pero el proyecto se extiende a tres meses, el rendimiento del modelo sufre porque la tasa de aprendizaje fue diseñada para ralentizarse demasiado pronto. Los investigadores se propusieron encontrar una alternativa "libre de horizonte", un método que funcione bien independientemente de si el entrenamiento termina mañana o el próximo año. Propusieron que, en lugar de una curva compleja, un programa simple que decaiga lentamente con el tiempo, combinado con una técnica llamada promedio de pesos (weight averaging), podría resolver este problema. El promedio de pesos es un proceso donde el modelo final no es solo la última versión creada, sino una mezcla de muchas versiones de todo el proceso de entrenamiento, suavizando el ruido y estabilizando el resultado.

Para probar esta idea, el equipo primero recurrió a la teoría matemática. Analizaron el comportamiento de un modelo simplificado de aprendizaje, utilizando regresión lineal con datos que imitan los patrones complejos encontrados en el lenguaje. Su análisis mostró que, para ciertos tipos de datos, una tasa de aprendizaje que disminuye lentamente con el tiempo, específicamente siguiendo un patrón donde la tasa cae conforme la raíz cuadrada del tiempo aumenta, es teóricamente óptima. Crucialmente, demostraron que cuando este decaimiento específico se combina con el promedio de pesos, el método alcanza la mejor velocidad de aprendizaje posible sin necesidad de conocer el tiempo total de entrenamiento por adelantado. Este hallazgo teórico proporcionó una base sólida, sugiriendo que un enfoque simple y constante podría superar a las curvas complejas y preplanificadas en un entorno abierto.

Luego, los investigadores pasaron de la teoría a la práctica, entrenando modelos de lenguaje extensos con 150 millones y 300 millones de parámetros. Entrenaron estos modelos con un conjunto masivo de datos de texto, impulsándolos a aprender hasta 32 veces la cantidad de datos típicamente utilizada para modelos de su tamaño. Esta escala es significativa porque refleja las condiciones bajo las cuales se construyen los sistemas de IA más avanzados del mundo. Compararon sus nuevos programas libres de horizonte contra el esquema estándar de decaimiento de coseno, el cual había sido cuidadosamente ajustado para cada duración específica de entrenamiento. Los resultados fueron impactantes. Los nuevos métodos, que utilizaban una tasa de aprendizaje constante con promedio o una tasa de decaimiento lento con promedio, siguieron el rendimiento de los mejores esquemas de coseno ajustados casi perfectamente. A lo largo de todo el rango de entrenamiento, desde ejecuciones cortas hasta las duraciones más largas posibles, los métodos libres de horizonte lograron resultados finales virtualmente indistinguibles del enfoque tradicional.

Uno de los aspectos más convincentes de este trabajo es su practicidad. Los investigadores demostraron que un único conjunto de ajustes, elegido al inicio del entrenamiento, podía utilizarse durante toda la duración de un proyecto, incluso si ese proyecto se expandiera repentinamente. Demostraron que si un modelo se ajusta para un punto intermedio específico, como cuatro veces la cantidad de datos estándar, esos mismos ajustes continuarían funcionando bien a medida que el entrenamiento se extendiera a 32 veces esa cantidad. Esto elimina la necesidad de detener y reajustar el modelo cada vez que el horizonte de entrenamiento cambia. Además, probaron un método alternativo popular conocido como calentamiento-estable-decaimiento (warmup-stable-decay), que intenta imitar lo mejor de ambos mundos manteniendo la tasa constante durante la mayor parte del entrenamiento y luego aplicando el decaimiento al final. Aunque este método funcionó bien, todavía requería saber cuándo iniciar la fase de decaimiento, lo que lo hacía menos flexible que el enfoque verdaderamente libre de horizonte propuesto por los autores.

El estudio también exploró cómo se comportan estos métodos cuando los datos de entrenamiento son muy grandes, un escenario donde el ruido en el proceso de aprendizaje es naturalmente menor. En estas condiciones, los investigadores encontraron que la tasa de aprendizaje no necesitaba decaer en absoluto. Una tasa de aprendizaje constante, combinada con el promedio de pesos, era suficiente para lograr un rendimiento superior. Esto concuerda con su predicción teórica de que, cuando la varianza, o el ruido, en los datos es pequeña, el modelo se beneficia más de mantener un ritmo constante para reducir el sesgo, o error, en lugar de ralentizarse. Esta idea sugiere que a medida que la capacidad de cómputo crezca y los modelos puedan procesar lotes de datos más grandes, la necesidad de esquemas de decaimiento complejos puede disminuir por completo, siendo reemplazada por estrategias más simples y robustas.

En última instancia, esta investigación proporciona un camino claro hacia el futuro del entrenamiento de la inteligencia artificial. Sugiere que los programas rígidos y precalculados que han dominado el campo durante años no son la única forma, o quizás ni siquiera la mejor forma, de entrenar modelos en una era de datos continuos. Al demostrar que los esquemas simples, libres de horizonte, combinados con el promedio de pesos pueden igualar el rendimiento de los métodos tradicionales más cuidadosamente ajustados, los autores han ofrecido una solución práctica para el aprendizaje abierto. Este enfoque permite que los modelos se adapten a cualquier cantidad de datos que esté disponible, haciendo que el proceso de entrenamiento sea más flexible y eficiente. Los hallazgos indican que el futuro del entrenamiento de modelos de lenguaje extensos puede no residir en algoritmos de programación más complejos, sino en estrategias más simples y resilientes que puedan aprender continuamente sin un final predeterminado.

Resumen Técnico: Preentrenamiento de Tiempo Continuo con Programas de Tasa de Aprendizaje Libres de Horizonte

Declaración del Problema

Los modelos de lenguaje de gran tamaño (LLMs) se están entrenando cada vez más en entornos continuos o de duración indefinida donde el horizonte total de entrenamiento (el número total de tokens a procesar) no se conoce de antemano. A pesar de este cambio, las recetas de preentrenamiento estándar dependen de programas de tasa de aprendizaje dependientes del horizonte, notablemente la decaimiento de coseno (cosine decay). El decaimiento de coseno requiere conocer la longitud total de entrenamiento $N$ de antemano para definir la curva de decaimiento, lo que lo hace inadecuado para escenarios donde los datos llegan de forma continua o los presupuestos de entrenamiento se extienden dinámicamente.

Las alternativas existentes "casi de tiempo continuo" (nearly-anytime), como el programa Warmup-Stable-Decay (WSD), reducen esta dependencia pero siguen requiriendo una carga adicional (almacenar puntos de control en intervalos específicos) y reajuste o re-decaimiento cuando se extiende el entrenamiento, lo que introduce costos computacionales y rompe la propiedad de "tiempo continuo". El desafío central es identificar un programa de tasa de aprendizaje que:

No dependa del horizonte de entrenamiento $N$ .
Logre un rendimiento competitivo (siguiendo la "envolvente de coseno") en cualquier punto de control intermedio $T < N$ sin conocimiento previo de $N$ .

Metodología

Análisis Teórico

Los autores proporcionan un análisis teórico utilizando regresión lineal sobreparametrizada con datos gaussianos con espectros de ley de potencia. Esto sirve como un sustituto (proxy) para el preentrenamiento de LLMs.

Configuración: El estudio considera el descenso de gradiente estocástico (SGD) con promedio de iteraciones (promedio de pesos) sobre una función de pérdida cuadrática. La matriz de covarianza de los datos $H$ y el vector objetivo $w^*$ siguen distribuciones de ley de potencia caracterizadas por un exponente de capacidad $a$ (decaimiento de autovalores $\lambda_k \sim k^{-a}$ ) y un exponente de fuente $b$ (decaimiento de las coordenadas del objetivo $(w^*_k)^2 \sim k^{-b}$ ).
Perspectiva Clave: Los autores analizan la descomposición sesgo-varianza del riesgo. Demuestran que, si bien las tasas de aprendizaje constantes con promediado pueden ser óptimas en ciertos regímenes ( $b \le a$ ), a menudo requieren un escalado dependiente del horizonte para $b > a$ .
Programa Propuesto: El artículo deriva que un programa de tasa de aprendizaje polinomial de la forma $\eta_t = \eta / t^\gamma$ $η_{t} = η / t^{γ}$ combinado con el promedio de iteraciones (específicamente, el Promedio Móvil Exponencial, EMA) puede lograr tasas de convergencia minimax óptimas sin conocer $N$ $N$ .
- Para el régimen $1 < a < b \le 2a$ , el exponente de decaimiento óptimo se deriva como $\gamma^* = 1 - a/b$ .
- Un caso especial notable es $\gamma = 1/2$ (es decir, $1/\sqrt{t}$ ), que se muestra como óptimo en cualquier momento (anytime-optimal) hasta factores logarítmicos y constantes bajo condiciones espectrales específicas.
Promedio de Pesos: El análisis destaca que el promedio de pesos es central para alcanzar estas tasas. Sin el promediado, el SGD estándar con decaimiento polinomial a menudo falla en alcanzar las tasas óptimas en el entorno de regresión lineal.

Evaluación Empírica

Las prescripciones teóricas se ponen a prueba en el preentrenamiento de LLMs utilizando el código base de OLMo.

Modelos: Se entrenaron dos modelos: 150M y 300M de parámetros.
Escala: El entrenamiento se llevó a cabo hasta 32 $\times$ el conteo de tokens óptimo de Chinchilla para el modelo de 150M y 16 $\times$ para el de 300M.
Líneas Base (Baselines):
- Envolvente de Coseno (Cosine Envelope): Una línea base de "estándar de oro" construida mediante el ajuste independiente de un programa de coseno para cada horizonte de potencia de 2 (1 $\times$ a 32 $\times$ ) y tomando la mejor pérdida de validación en cada punto.
- WSD: El programa Warmup-Stable-Decay, implementado guardando puntos de control al 90% de los horizontes objetivo y aplicando el decaimiento para el 10% final.
Candidatos:
- LR Constante + EMA: Una tasa de aprendizaje fija con una ventana de EMA que crece proporcionalmente al tiempo ( $f=25$ ).
- $1/\sqrt{t}$ + EMA: Un programa de decaimiento polinomial $\eta_t = \eta \sqrt{\alpha/(t+\alpha)}$ con EMA.
Protocolo: Los autores evalúan si una configuración única fija (hiperparámetros elegidos una sola vez) puede seguir la envolvente de coseno en todos los puntos de control intermedios, en lugar de reajustar para cada horizonte.

Contribuciones Clave

Derivación Teórica de Programas de Tiempo Continuo: El artículo demuestra que, para la regresión lineal con datos de ley de potencia, un programa de tasa de aprendizaje de la forma $1/t^\gamma$ combinado con el promedio de iteraciones logra tasas minimax óptimas sin dependencia del horizonte de entrenamiento. Específicamente, establece el $\gamma$ óptimo como una función de los exponentes de fuente y capacidad ( $a$ y $b$ ).
Papel del Promedio de Pesos: El trabajo destaca que el promedio de pesos (model merging) no es solo un heurístico para la generalización, sino una necesidad teórica para lograr tasas de convergencia óptimas con programas libres de horizonte en entornos sobreparametrizados.
Validación Empírica a Escala: Los autores demuestran que programas simples libres de horizonte (Constant LR + EMA y $1/\sqrt{t}$ + EMA) pueden seguir el rendimiento de una envolvente de coseno cuidadosamente ajustada y dependiente del horizonte a través de un rango de entrenamiento masivo (hasta 32 $\times$ Chinchilla) usando una única configuración de hiperparámetros.
Transferencia Prospectiva: El estudio muestra que los hiperparámetros ajustados en un punto de control intermedio (por ejemplo, 4 $\times$ Chinchilla) pueden transferirse con éxito a ejecuciones de entrenamiento significativamente más largas (hasta 32 $\times$ ) sin necesidad de reajuste, ofreciendo un protocolo práctico para el entrenamiento abierto.

Resultados

Rendimiento vs. Coseno: A lo largo de todo el rango de entrenamiento (1 $\times$ a 32 $\times$ ), los programas propuestos de tiempo continuo (Constant + EMA y $1/\sqrt{t}$ + EMA) logran pérdidas de validación comparables a la envolvente de coseno ajustada de forma independiente. La brecha es mínima (a menudo dentro de 0.005 unidades de pérdida de validación).
Éxito de Trayectoria Única: A diferencia del decaimiento de coseno, que requiere reajuste para diferentes horizontes para evitar un rendimiento subóptimo en pasos intermedios, un único programa de los programas de tiempo continuo sigue eficazmente la "envolvente de coseno".
Régimen de Lote Grande (Large Batch): En un experimento de lote grande (Tamaño de Lote 4096), donde el ruido del gradiente se suprime, la tasa de aprendizaje constante con promediado superó al decaimiento de coseno y al programa $1/\sqrt{t}$ . Esto se alinea con la predicción teórica de que cuando la varianza es baja, el decaimiento es innecesario y una tasa constante mayor acelera la reducción del sesgo.
Comparación con WSD: El programa WSD muestra un rendimiento comparable al de coseno y a los programas de tiempo continuo propuestos. Sin embargo, WSD no es estrictamente libre de horizonte, ya que requiere guardar puntos de control al 90% de la ejecución para iniciar la fase de decaimiento, mientras que los métodos propuestos no requieren tal intervención.

Significado y Reivindicaciones

El artículo afirma que el promedio de pesos combinado con tamaños de paso simples y libres de horizonte ofrece una alternativa práctica y efectiva a los programas de decaimiento de tasa de aprendizaje de coseno para el preentrenamiento de modelos de lenguaje de gran tamaño.

Practicidad: El método propuesto elimina la necesidad de conocer el presupuesto total de entrenamiento de antemano, facilitando un entrenamiento verdaderamente continuo y abierto.
Simplicidad: Los programas son computacionalmente más económicos que WSD (sin la carga de checkpointing para iniciar el decaimiento) y más fáciles de implementar que el enfriamiento de coseno dependiente del horizonte.
Fundamentación Teórica: El éxito empírico está respaldado por un análisis teórico riguroso en el régimen de regresión lineal, lo que sugiere que los beneficios de estos programas no son meros artefactos empíricos, sino que derivan de propiedades fundamentales de optimización en entornos sobreparametrizados.

Los autores mantienen la modestia, señalando que sus límites teóricos coinciden con las tasas minimax solo hasta constantes y factores logarítmicos, y que sus conclusiones empíricas están actualmente limitadas a tamaños de modelo específicos (150M/300M) y optimizadores (AdamW sin decaimiento de peso). Identifican como trabajo futuro la comprensión de cómo seleccionar automáticamente el punto de ajuste óptimo (por ejemplo, 4 $\times$ Chinchilla) y extender estos hallazgos a mayores escalas y diferentes optimizadores.