Foundation vs. Specialized Models: Evaluating Catastrophic Forgetting in Continual Time Series Forecasting

Resumen Técnico: Modelos de Base frente a Modelos Especializados en el Pronóstico Continuo de Series Temporales

Planteamiento del Problema
Si bien los Modelos de Base para Series Temporales (TSFMs, por sus siglas en inglés) han demostrado sólidas capacidades de generalización zero-shot y few-shot, su comportamiento bajo el ajuste fino continuo (continual fine-tuning) sigue sin comprenderse bien. Específicamente, existe una falta de evaluación sistemática respecto al "olvido catastrófico" —la tendencia de los modelos a perder el conocimiento previamente adquirido cuando se someten a un ajuste fino secuencial sobre nuevas tareas—. Este problema es crítico para aplicaciones del mundo real donde las distribuciones de datos son no estacionarias y evolucionan con el tiempo. El artículo investiga si el costo computacional de los grandes TSFMs está justificado sobre los modelos especializados más pequeños cuando ambos se someten a escenarios de aprendizaje continuo (CL), y qué tan eficazmente las estrategias de mitigación del olvido pueden cerrar la brecha de rendimiento.

Metodología
Los autores proponen un marco de evaluación sistemático que compara los TSFMs frente a un modelo especializado y ligero a través de dos escenarios distintos de aprendizaje continuo:

1. Modelos Evaluados:
   • TSFMs: TimesFM-2.0 (500 millones de parámetros, solo decodificador), Chronos-2 (120 millones de parámetros, solo codificador) y Chronos-small (28 millones de parámetros, solo codificador).
   • Línea Base Especializada: SamFormer (100 mil parámetros), un Transformer ligero que utiliza Minimización de Nitidez (SAM) y atención por canales.
2. Escenarios:
   • Sintético ($S_{syn}$): Cuatro conjuntos de datos multisinusoidales ($D_1$ a $D_4$) con complejidad creciente y periodos no armónicos, diseñados para inducir cambios espectrales y de distribución intensos.
   • Mundo Real ($S_{energy}$): Cuatro conjuntos de datos de pronóstico de energía de Enedis (Francia), que incluyen consumo residencial, producción fotovoltaica, un hogar privado (no visto durante el preentrenamiento) y producción eólica. Estos exhiben heterogeneidad en estacionalidad, volatilidad y factores externos.
3. Protocolos de Aprendizaje:
   • Entrenamiento Secuencial: Entrenamiento en los conjuntos de datos $D_1 \to D_N$ sin acceso a datos previos.
   • Entrenamiento Acumulativo: Entrenamiento en $\{D_1, \dots, D_t\}$ en la etapa $t$ (simulando memoria infinita).
   • Independiente/Fuera de Línea (Offline): Líneas base para la dificultad del conjunto de datos y el rendimiento límite superior.
   • Dark Experience Replay (DER): Una estrategia basada en la repetición (replay) que combina la repetición de la experiencia con la destilación de predicción para mitigar el olvido.
4. Métricas:
   • RMSE: Error Cuadrático Medio de la Raíz (Root Mean Square Error) para la precisión del pronóstico.
   • Transferencia Hacia Atrás (BWT - Backward Transfer): Mide el olvido comparando el rendimiento en un conjunto de datos después de entrenar en tareas subsecuentes frente al rendimiento inmediatamente después de entrenar en dicho conjunto de datos.
   • Transferibilidad entre Series Cruzadas (CST - Cross-Series Transferability): Una métrica novedosa y consciente del modelo propuesta para cuantificar cómo el entrenamiento en el conjunto de datos $D_i$ impacta el rendimiento en $D_j$, definida como la relación entre el RMSE tras el entrenamiento en $D_i$ y el RMSE desde una inicialización aleatoria.

Contribuciones Clave

1. Evaluación Sistemática de CL: El primer estudio exhaustivo del olvido catastrófico en TSFMs (TimesFM-2.0, Chronos-2) comparado con un modelo especializado (SamFormer) tanto en benchmarks sintéticos como de pronóstico de energía del mundo real.
2. Métrica de Transferibilidad Consciente del Modelo: Introducción de la métrica CST, que supera a las medidas de similitud estándar (como Dynamic Time Warping) al anticipar la severidad del olvido, al considerar las capacidades específicas de extracción de características del modelo.
3. Análisis de Estrategias de Mitigación: Una evaluación rigurosa de DER en el pronóstico de series temporales, demostrando su eficacia a través de diferentes escalas de modelos.

Resultados

• Olvido Inherente: Todos los modelos, independientemente de su escala, exhibieron un olvido catastrófico bajo un entrenamiento secuencial ingenuo. Sin embargo, los modelos de base más grandes (TimesFM-2.0) demostraron una mayor robustez inherente, logrando un RMSE promedio y un BWT menores en comparación con los modelos más pequeños en el escenario sintético.
• Diferencias de Escenario: El olvido fue más severo en el escenario sintético ($S_{syn}$) que en el escenario del mundo real ($S_{energy}$). Los autores atribuyen esto a que las tareas sintéticas presentan cambios espectrales abruptos, mientras que los conjuntos de datos de energía del mundo real, a pesar de su ruido, comparten estructuras temporales latentes más compatibles dentro del dominio de la energía.
• Impacto de DER: La aplicación de Dark Experience Replay mitigó significativamente el olvido en todas las arquitecturas.
  • DER proporcionó ganancias desproporcionadas a los modelos más pequeños. Por ejemplo, en el escenario sintético, el BWT de SamFormer mejoró de 2.04 a 0.15 con DER.
  • Al final de la secuencia de aprendizaje continuo, los modelos más pequeños equipados con DER fueron capaces de igualar el rendimiento de los grandes TSFMs.
  • En algunos casos (por ejemplo, Chronos-base en $S_{energy}$), DER logró un RMSE promedio mejor que el entrenamiento acumulativo, lo que sugiere un efecto de "entrenamiento de currículo" donde la complejidad progresiva ayuda al aprendizaje.
• Base vs. Especializado: Aunque los TSFMs generalmente superaron a SamFormer en configuraciones zero-shot y secuenciales ingenuas, la brecha se cerró significativamente cuando los modelos especializados fueron aumentados con estrategias de mitigación efectivas como DER.

Significancia y Afirmaciones
El artículo concluye que, en escenarios realistas y no estacionarios, el alto costo computacional de los grandes modelos de base puede no ser estrictamente necesario si los modelos más pequeños están equipados con estrategias efectivas de mitigación del olvido. Los hallazgos sugieren que:

• El olvido catastrófico es un problema omnipresente en el CL de series temporales, impulsado por cambios de distribución e incompatibilidades espectrales.
• La escala del modelo ofrece robustez inherente, pero las estrategias basadas en la repetición (DER) pueden nivelar el campo de juego, permitiendo que los modelos de parámetros eficientes alcancen un rendimiento competitivo con los modelos de base.
• La métrica CST propuesta es una herramienta valiosa para anticipar el olvido y diseñar escenarios de aprendizaje continuo más robustos.

Los autores mantienen una postura modesta, señalando que sus conclusiones son específicas para los modelos y escenarios evaluados, y que la elección entre modelos de base y especializados depende del compromiso específico entre los recursos computacionales y la disponibilidad de estrategias de CL efectivas.