🤖 machine learning

Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting

Este artículo revisa las arquitecturas, las estrategias de preentrenamiento y los métodos de optimización de los modelos fundacionales para la previsión de series temporales de cero disparos (zero-shot) y demuestra que el ajuste fino de estos modelos en conjuntos de datos específicos mejora consistentemente la precisión de la previsión con respecto a los modelos de referencia de cero disparos.

Autores originales: Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

Publicado 2026-07-28

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando predecir el futuro. No el destino del universo, sino algo mucho más práctico: cuánta electricidad necesitará una ciudad mañana, cuántos paraguas debería tener en stock una tienda o cómo fluirá el tráfico por una intersección concurrida dentro de una hora. Este es el mundo de la predicción de series temporales. Durante décadas, los expertos han utilizado recetas matemáticas para adivinar estos números, pero el mundo es caótico y las viejas recetas suelen fallar cuando los datos se vuelven extraños o complicados.

Recientemente, ha llegado un nuevo tipo de "superaprendiz", inspirado en la misma tecnología que permite a las computadoras escribir poesía y charlar como humanos. Estos se llaman Modelos de Fundación. Piensa en ellos como un maestro chef que ha probado todos los platos del mundo. En lugar de aprender a cocinar solo un plato específico (como la sopa de un restaurante individual), este chef aprende las reglas generales del sabor, el calor y los ingredientes de millones de recetas diferentes. Una vez entrenado, este chef puede entrar en una cocina que nunca ha visto y cocinar una comida decente sin necesidad de una receta específica para ese plato exacto. Esto se llama aprendizaje de disparo cero (zero-shot learning): realizar una predicción sobre datos que el modelo nunca ha visto, simplemente utilizando lo que aprendió en su "campamento de entrenamiento".

Pero aquí surge la gran pregunta: ¿Es mejor enviar a este maestro chef a una cocina nueva y dejarlo trabajar solo, o deberíamos darle una lección rápida y específica sobre las peculiaridades de esta cocina antes de que empiece a cocinar? Este es el corazón del nuevo artículo de Morad Laglil y su equipo. Ellos quieren saber si tomar estos gigantescos modelos de series temporales preentrenados y darles un poco de entrenamiento adicional en datos específicos (llamado ajuste fino o fine-tuning) realmente los convierte en mejores pronosticadores, o si simplemente los confunde.

El Gran Experimento del "Ajuste Fino"

Los autores de este artículo decidieron poner a prueba esta idea. Tomaron dos de los modelos "maestro chef" más poderosos disponibles —Chronos 2 y TTM-R3-PT— y los sometieron a un riguroso campamento de entrenamiento. No se limitaron a dejar que adivinaran; probaron diferentes formas de enseñarles tareas específicas.

Probaron tres enfoques principales:

Disparo Cero (Zero-Shot): El modelo intenta predecir el futuro usando solo su entrenamiento general, sin ayuda adicional.
Ajuste Fino Completo (Full Fine-Tuning): Tomaron el modelo completo y lo reentrenaron desde cero con los nuevos datos, actualizando cada uno de los números dentro del cerebro.
Ajuste Fino Eficiente en Parámetros (LoRA): En lugar de reescribir todo el cerebro, añadieron una capa de "adaptador" diminuta y ligera. Es como darle al chef una pequeña hoja de trucos para la nueva cocina sin cambiar sus habilidades culinarias fundamentales.

Probaron estos métodos en una colección masiva de 15 conjuntos de datos diferentes, que van desde patrones climáticos y uso de electricidad hasta ingresos hospitalarios y cifras de ventas. El objetivo era simple: ver qué método realmente reducía la tasa de error y generaba mejores predicciones.

Lo Que Encontraron: El Tamaño y el Contexto Importan

Los resultados fueron sorprendentes y enseñaron a los investigadores una lección valiosa sobre el tamaño del modelo y los datos que enfrenta.

Para el modelo gigante (Chronos 2):
Este modelo es enorme, con 120 millones de parámetros. Cuando los investigadores intentaron realizar un "Ajuste Fino Completo" (reescribir todo el cerebro) en conjuntos de datos más pequeños, esto resultó contraproducente. El modelo se confundió y comenzó a sufrir de "sobreajuste" (overfitting), que es como un estudiante que memoriza tan perfectamente las respuestas del examen de práctica que reprueba el examen real porque no puede manejar una pregunta ligeramente diferente.

El Ganador: El método LoRA (el pequeño adaptador) fue el claro campeón para Chronos 2 en conjuntos de datos medianos y grandes. Al añadir solo una capa pequeña y flexible, el modelo pudo adaptarse a los nuevos datos sin olvidar su conocimiento general. Mejoró la precisión, aunque las ganancias fueron modestas (alrededor del 2-3%) en conjuntos de datos más grandes, y fue crucial para evitar las caídas de rendimiento vistas con el ajuste fino completo.
La Lección: Para modelos masivos, no necesitas reescribir todo el libro; solo necesitas añadir algunas notas adhesivas. Sin embargo, en conjuntos de datos muy pequeños, el modelo gigante a menudo funcionaba mejor sin ningún ajuste fino en absoluto.

Para el modelo más pequeño (TTM-R3-PT):
Este modelo es mucho más compacto, con solo entre 1 millón y 36 millones de parámetros. Ya era lo suficientemente pequeño como para no necesitar un adaptador sofisticado.

El Ganador: El Ajuste Fino Completo funcionó mejor aquí. Debido a que el modelo era más pequeño, podía manejar la actualización de todos sus propios pesos sin confundirse. El método de "adaptador" (LoRA) en realidad no ayudó mucho e incluso llegó a empeorar las cosas.
La Lección: Para modelos más pequeños, un entrenamiento completo suele ser mejor que un estiramiento rápido.

La Regla de "Una Talla No Sirve para Todos"

El artículo también descubrió que la mejor estrategia depende fuertemente del tipo de datos, de cuántos datos tengas y del dominio específico.

Conjuntos de Datos Pequeños: Si solo tienes una cantidad minúscula de datos (como unos pocos días de registros climáticos), el Disparo Cero (dejar que el modelo adivine por su cuenta) suele ser la apuesta más segura. Intentar ajustar un modelo gigante con muy pocos datos es como intentar enseñarle un nuevo tema a un estudiante de doctorado mostrándole solo tres tarjetas de estudio; es probable que se equivoque. De hecho, para Chronos 2 en conjuntos de datos pequeños, el ajuste fino de hecho degradó el rendimiento.
Conjuntos de Datos Grandes: Cuando hay abundancia de datos, el ajuste fino suele superar a la simple suposición, pero no es una victoria garantizada. El artículo mostró que para el modelo TTM más pequeño, la inferencia de disparo cero todavía superaba al ajuste fino en varias configuraciones específicas, incluso en conjuntos de datos más grandes.
Diferentes Dominios: Los modelos se comportaron de manera distinta según el tema. Por ejemplo, en el dominio de la "Naturaleza" (como niveles de ríos o clima), el modelo gigante ya era tan bueno adivinando que el ajuste fino en realidad lo empeoró. Pero en "Transporte" (como el tráfico), el ajuste fino ayudó significamente a ambos modelos.

La Conclusión

El artículo concluye que, si bien los modelos de fundación son herramientas poderosas que pueden predecir el futuro sin entrenamiento específico, el ajuste fino es una herramienta poderosa para hacerlos aún mejores, pero solo si eliges la receta adecuada para la situación adecuada.

Si tienes un modelo gigante, usa el método de "adaptador" (LoRA) para ajustarlo suavemente, especialmente en conjuntos de datos grandes. Si tienes un modelo más pequeño, siéntete libre de darle una sesión de entrenamiento completa. Y si no tienes muchos datos en absoluto, o si los datos son muy específicos (como patrones de la naturaleza), puede ser más seguro simplemente dejar que el modelo haga su mejor suposición sin interferencias.

Esta investigación sugiere que nos dirigimos hacia una nueva generación de predicción donde no necesitamos construir un nuevo modelo para cada problema. En su lugar, podemos usar un modelo gigante y listo para realizar un aprendizaje rápido y personalizado para resolver casi cualquier rompecabezas basado en el tiempo, desde predecir el próximo precio de las acciones hasta planificar la próxima ruta de un autobús de la ciudad. El futuro de la predicción no se trata solo de tener un cerebro más grande; se trata de saber cómo enseñarle las lecciones correctas.

Resumen Técnico: Modelos de Fundación y Ajuste Fino para la Predicción de Series Temporales

Planteamiento del Problema

La predicción de series temporales es una tarea crítica en diversos dominios como la energía, el transporte y las finanzas. Si bien los métodos estadísticos tradicionales (por ejemplo, ARIMA) y los modelos modernos de aprendizaje profundo han avanzado en el campo, estos suelen requerir un entrenamiento desde cero en conjuntos de datos específicos. Este enfoque requiere una gran cantidad de datos y suele ser poco práctico cuando los conjuntos de datos de destino son pequeños o cuando se requiere una adaptación rápida a nuevos contextos.

Inspirados por el éxito de los modelos de fundación en el Procesamiento de Lenguaje Natural (NLP), han surgido los Modelos de Fundación de Series Temporales (TSFMs). Estos son modelos a gran escala pre-entrenados en corpora masivos y diversos para aprender representaciones temporales generalizables. Aunque los TSFMs demuestran sólidas capacidades de cero disparos (zero-shot) —prediciendo en datos no vistos sin reentrenamiento—, la literatura ha explorado insuficientemente el potencial de realizar un ajuste fino (fine-tuning) de estos modelos en conjuntos de datos específicos para mejorar aún más el rendimiento. Este artículo aborda la brecha en la comprensión de cómo adaptar eficazmente los TSFMs pre-entrenados a tareas específicas de downstream, equilibrando las compensaciones entre la generalización zero-shot y la especialización específica del conjunto de datos.

Metodología

1. Revisión de Arquitecturas y Estrategias de Entrenamiento

Los autores proporcionan una revisión exhaustiva del panorama actual de los TSFMs, categorizándolos por arquitectura y objetivos de entrenamiento (resumidos en la Tabla 1 del artículo):

Arquitecturas: La revisión cubre modelos basados en Transformers (por ejemplo, Chronos, Moirai, TimesFM, Timer-S1), redes recurrentes (TiRex basado en sLSTM) y modelos MLP-Mixer (TTM).
Estrategias de Pre-entrenamiento: Los modelos utilizan aprendizaje autosupervisado en vastos corpora (por ejemplo, LOTSA, TimeBench, datos sintéticos). Los objetivos varían desde la predicción de tokens autorregresiva (Chronos) y la predicción de parches enmascarados (Moirai) hasta la minimización de la pérdida de cuantiles (TimesFM, TTM).
Mecanismos de Adaptación: El artículo detalla dos estrategias principales de ajuste fino:
- Ajuste Fino Completo (FFT): Actualización de todos los parámetros del modelo en el conjunto de datos de destino.
- Ajuste Fino Eficiente en Parámetros (PEFT): Específicamente la Adaptación de Bajo Rango (LoRA), que congela los pesos pre-entrenados y entrena matrices de perturbación de bajo rango ( $\Delta W = BA$ ), reduciendo significativamente los parámetros entrenables.
- Eficiencia de Datos: El estudio también considera configuraciones de Pocos Disparos (Few-Shot, utilizando solo el 20% de los datos de destino) frente a configuraciones de Disparo Completo (Full-Shot).

2. Protocolo de Evaluación Empírica

Los autores realizaron un extenso estudio empírico utilizando el benchmark GIFT-Eval, que comprende 23 conjuntos de datos (15 univariantes, 8 multivariantes) que abarcan 7 dominios (por ejemplo, Web/CloudOps, Energía, Transporte, Salud) y 10 frecuencias.

Modelos Seleccionados: Se eligieron dos de los mejores modelos disponibles públicamente para el ajuste fino: Chronos 2 (120 millones de parámetros, Transformer de solo codificador) y TTM-R3-PT (1M–36M de parámetros, MLP-Mixer).
Configuración Experimental:
- Los modelos fueron evaluados en configuraciones de Cero Disparos (Zero-Shot, solo pre-entrenados), Ajuste Fino Completo (FFT), LoRA-FullShot y LoRA-FewShot.
- Los hiperparámetros se fijaron en todos los conjuntos de datos para simular restricciones de despliegue realistas (sin ajuste por cada conjunto de datos).
- Métricas: El rendimiento se midió mediante MAPE (para predicción de puntos) y MWQL (Pérdida de Cuantiles Ponderada Media, que aproxima el CRPS para la predicción probabilística), normalizado frente a una línea base de Naive Estacional.

Resultados Clave

El estudio revela que la eficacia del ajuste fino depende altamente de la escala del modelo, el tamaño del conjunto de datos y las características del dominio:

Impacto del Tamaño del Conjunto de Datos:
- Chronos 2 (Modelo Grande): En conjuntos de datos pequeños, la inferencia zero-shot supera a todas las estrategias de ajuste fino. El ajuste fino completo (FFT) degrada severamente el rendimiento (sobreajuste), mientras que LoRA ofrece ganancias marginales o negativas. En conjuntos de datos medianos y grandes, LoRA-FullShot emerge como la estrategia superior, mejorando el rendimiento zero-shot en un 2–3%.
- TTM-R3-PT (Modelo Compacto): Al ser más pequeño, TTM se beneficia más de las actualizaciones directas de pesos. El Ajuste Fino Completo (FFT) proporciona mejoras modestas en conjuntos de datos grandes, mientras que las variantes de LoRA ofrecen pocas ganancias y ocasionalmente degradan el rendimiento.
Rendimiento por Dominio:
- Transporte: El ajuste fino es generalmente beneficioso. LoRA (específicamente Few-Shot) suele ofrecer los mejores resultados de MAPE, lo que sugiere que la adaptación ligera ayuda a evitar el sobreajuste a dinámicas ruidosas de alta entropía.
- Naturaleza y Energía: El zero-shot de Chronos 2 es notablemente fuerte, particularmente en el dominio de Naturaleza, donde el ajuste fino completo infla significativamente los errores (por ejemplo, +39% de error MAPE en pronósticos a corto plazo).
- Web/CloudOps: LoRA-FullShot es la estrategia más efectiva para Chronos 2, mientras que el zero-shot sigue siendo competitivo para TTM.
Comparación de Estrategias:
- LoRA vs. FFT: Para modelos grandes como Chronos 2, la adaptación eficiente en parámetros (LoRA) es crítica; el ajuste fino completo (FFT) es poco fiable y propenso al sobreajuste. Para modelos compactos como TTM, el ajuste fino completo suele ser suficiente y efectivo.
- Eficiencia de Datos: Aunque LoRA-FewShot es competitivo en escenarios específicos (por ejemplo, el dominio de Energía para Chronos 2), LoRA-FullShot generalmente supera su rendimiento cuando hay suficientes datos disponibles.

Contribuciones Clave

Revisión Exhaustiva: El artículo establece un marco analítico unificado para los Modelos de Fundación de Series Temporales, detallando sus arquitecturas (Transformers, RNNs, MLPs), corpora de pre-entrenamiento y estrategias de optimización.
Estudio Sistemático de Ajuste Fino: Este trabajo presenta lo que los autores afirman es el primer estudio empírico a gran escala de las estrategias de ajuste fino para TSFMs. Compara sistemáticamente Zero-Shot, Ajuste Fino Completo y Ajuste Fino Eficiente en Parámetros (LoRA) a través de un conjunto diverso de 95 configuraciones únicas (conjunto de datos $\times$ frecuencia $\times$ horizonte).
Guías Prácticas: El estudio proporciona información accionable para profesionales:
- Utilice Zero-Shot para conjuntos de datos pequeños o cuando los recursos computacionales sean limitados.
- Utilice LoRA-FullShot para modelos de fundación grandes (por ejemplo, Chronos 2) en conjuntos de datos medianos a grandes para prevenir el sobreajuste.
- Utilice Ajuste Fino Completo para modelos compactos (por ejemplo, TTM) donde el recuento de parámetros es lo suficientemente bajo como para evitar riesgos de sobreajuste.

Significado y Reivindicaciones

El artículo se posiciona como un paso fundacional hacia una "nueva generación" de modelos de predicción de series temporales. Su principal importancia radica en validar que el ajuste fino es un paso viable y a menudo necesario para desbloquear todo el potencial de los modelos de fundación, pero solo cuando la estrategia de adaptación se corresponde con la escala del modelo y el volumen de datos.

Los autores señalan modestamente que, si bien el ajuste fino generalmente mejora el rendimiento, no es una panacea universal; en escenarios de escasez de datos, las capacidades de generalización del modelo pre-entrenado (Zero-Shot) siguen siendo superiores. Además, el artículo destaca las limitaciones actuales del campo, incluyendo la escasez de datos de series temporales públicos y diversos en comparación con el NLP, y la falta de una comprensión teórica sobre cómo estos modelos comprimen y generalizan la información temporal. El trabajo sirve como un referente para futuras investigaciones en mecanismos de adaptación más robustos y eficientes para los modelos de fundación de series temporales.