Foundation vs. Specialized Models: Evaluating Catastrophic Forgetting in Continual Time Series Forecasting

Resumo Técnico: Modelos de Fundação vs. Especializados em Previsão de Séries Temporais Contínuas

Definição do Problema
Embora os Modelos de Fundação de Séries Temporais (TSFMs) tenham demonstrado fortes capacidades de generalização zero-shot e few-shot, seu comportamento sob ajuste fino contínuo (continual fine-tuning) permanece pouco compreendido. Especificamente, há uma falta de avaliação sistemática sobre o "esquecimento catastrófico" — a tendência dos modelos de perder o conhecimento previamente adquirido ao serem ajustados finamente em novas tarefas sequencialmente. Este problema é crítico para aplicações do mundo real onde as distribuições de dados são não estacionárias e evoluem ao longo do tempo. O artigo investiga se o custo computacional de grandes TSFMs é justificado em relação a modelos menores e especializados quando ambos são submetidos a cenários de aprendizagem contínua (CL), e quão eficazmente as estratégias de mitigação de esquecimento podem reduzir essa lacuna de desempenho.

Metodologia
Os autores propõem um framework de avaliação sistemática comparando TSFMs contra um modelo especializado e leve em dois cenários distintos de aprendizagem contínua:

1. Modelos Avaliados:
   • TSFMs: TimesFM-2.0 (500M de parâmetros, decoder-only), Chronos-2 (120M de parâmetros, encoder-only) e Chronos-small (28M de parâmetros, encoder-only).
   • Baseline Especializado: SamFormer (100K de parâmetros), um Transformer leve que utiliza Minimização de Nitidez (SAM) e atenção por canal.
2. Cenários:
   • Sintético ($S_{syn}$): Quatro conjuntos de dados multissinoidais ($D_1$ a $D_4$) com complexidade crescente e períodos não harmônicos, projetados para induzir fortes mudanças espectrais e de distribuição.
   • Mundo Real ($S_{energy}$): Quatro conjuntos de dados de previsão de energia da Enedis (França), incluindo consumo residencial, produção fotovoltaica, um domicílio privado (não visto durante o pré-treinamento) e produção eólica. Estes exibem heterogeneidade em sazonalidade, volatilidade e drivers externos.
3. Protocolos de Aprendizagem:
   • Treinamento Sequencial: Treinamento nos conjuntos de dados $D_1 \to D_N$ sem acesso aos dados anteriores.
   • Treinamento Cumulativo: Treinamento em $\{D_1, \dots, D_t\}$ no estágio $t$ (simulando memória infinita).
   • Treinamento Independente/Offline: Baselines para dificuldade do conjunto de dados e desempenho de limite superior (upper-bound).
   • Dark Experience Replay (DER): Uma estratégia de replay baseada em combinação de replay de experiência com destilação de predição para mitigar o esquecimento.
4. Métricas:
   • RMSE: Erro Quadrático Médio para precisão de previsão.
   • Backward Transfer (BWT): Mede o esquecimento comparando o desempenho em um conjunto de dados após o treinamento em tarefas subsequentes versus imediatamente após o treinamento naquele conjunto de dados.
   • Cross-Series Transferability (CST): Uma métrica inovadora e consciente do modelo proposta para quantificar como o treinamento no conjunto de dados $D_i$ impacta o desempenho em $D_j$, definida como a razão entre o RMSE após o treinamento em $D_i$ e o RMSE de uma inicialização aleatória.

Principais Contribuições

1. Avaliação Sistemática de CL: O primeiro estudo abrangente do esquecimento catastrófico em TSFMs (TimesFM-2.0, Chronos-2) comparado a um modelo especializado (SamFormer) em benchmarks de previsão de energia sintéticos e do mundo real.
2. Métrica de Transferibilidade Consciente do Modelo: Introdução da métrica CST, que supera medidas de similaridade padrão (como Dynamic Time Warping) ao antecipar a severidade do esquecimento, levando em conta as capacidades específicas de extração de características do modelo.
3. Análise de Estratégia de Mitigação: Uma avaliação rigorosa do DER em previsão de séries temporais, demonstrando sua eficácia em diferentes escalas de modelos.

Resultos

• Esquecimento Inerente: Todos os modelos, independentemente da escala, exibiram esquecimento catastrófico sob treinamento sequencial ingênuo. No entanto, modelos de fundação maiores (TimesFM-2.0) demonstraram maior robustez inerente, alcançando RMSE médio e BWT menores em comparação com modelos menores no cenário sintético.
• Diferenças de Cenário: O esquecimento foi mais severo no cenário sintético ($S_{syn}$) do que no cenário do mundo real ($S_{energy}$). Os autores atribuem isso ao fato de as tarefas sintéticas possuírem mudanças espectrais abruptas, enquanto os dados de energia do mundo real, apesar do ruído, compartilham estruturas temporais latentes mais compatíveis dentro do domínio energético.
• Impacto do DER: A aplicação do Dark Experience Replay mitigou significativamente o esquecimento em todas as arquiteturas.
  • O DER proporcionou ganhos desproporcionais para modelos menores. Por exemplo, no cenário sintético, o BWT do SamFormer melhorou de 2.04 para 0.15 com o uso de DER.
  • Ao final da sequência de aprendizagem contínua, modelos menores equipados com DER foram capazes de igualar o desempenho de grandes TSFMs.
  • Em alguns casos (ex: Chronos-base em $S_{energy}$), o DER alcançou um RMSE médio melhor do que o treinamento cumulativo, sugerindo um efeito de "treinamento de currículo" onde a complexidade progressiva auxilia o aprendizado.
• Especializado vs. Fundação: Embora os TSFMs geralmente tenham superado o SamFormer em configurações zero-shot e sequenciais ingênuas, a lacuna fechou-se significativamente quando modelos especializados foram aumentados com estratégias de mitigação eficazes como o DER.

Significância e Alegações
O artigo conclui que, em cenários realistas e não estacionários, o alto custo computacional de grandes modelos de fundação pode não ser estritamente necessário se modelos menores forem equipados com estratégias eficazes de mitigação de esquecimento. As descobertas sugerem que:

• O esquecimento catastrófico é um problema onipresente na CL de séries temporais, impulsionado por mudanças de distribuição e incompatibilidades espectrais.
• A escala do modelo oferece robustez inerente, mas estratégias baseadas em replay (DER) podem nivelar o campo de jogo, permitindo que modelos parametrizados de forma eficiente alcancem um desempenho competitivo com modelos de fundação.
• A métrica CST proposta é uma ferramenta valiosa para antecipar o esquecimento e projetar cenários de aprendizagem contínua mais robustos.

Os autores mantêm uma postura modesta, observando que suas conclusões são específicas para os modelos e cenários avaliados, e que a escolha entre modelos de fundação e especializados depende do trade-off específico entre recursos computacionais e a disponibilidade de estratégias de CL eficazes.