Foundation vs. Specialized Models: Evaluating Catastrophic Forgetting in Continual Time Series Forecasting

Sintesi Tecnica: Modelli Fondativi vs. Specializzati nella Previsione di Serie Temporali Continua

Definizione del Problema
Sebbene i Modelli Fondativi per Serie Temporali (TSFM) abbiano dimostrato forti capacità di generalizzazione zero-shot e few-shot, il loro comportamento sotto il fine-tuning continuo rimane scarsamente compreso. Nello specifico, vi è una mancanza di valutazione sistematica riguardo all' "oblio catastrofico" (catastrophic forgetting) — la tendenza dei modelli a perdere le conoscenze precedentemente acquisite quando vengono sottoposti a fine-tuning sequenziale su nuovi task. Questo problema è critico per le applicazioni nel mondo reale dove le distribuzioni dei dati sono non stazionarie ed evolvono nel tempo. Il documento indaga se il costo computazionale dei grandi TSFM sia giustificato rispetto a modelli più piccoli e specializzati quando entrambi sono soggetti a scenari di apprendimento continuo (CL), e come l'efficacia delle strategie di mitigazione dell'oblio possa colmare il divario di prestazioni.

Metodologia
Gli autori propongono un framework di valutazione sistematica che confronta i TSFM con un modello specializzato e leggero attraverso due distinti scenari di apprendimento continuo:

1. Modelli Valutati:
   • TSFM: TimesFM-2.0 (500M di parametri, decoder-only), Chronos-2 (120M di parametri, encoder-only) e Chronos-small (28M di parametri, encoder-only).
   • Baseline Specializzata: SamFormer (100K di parametri), un Transformer leggero che utilizza lo Sharpness-Aware Minimization (SAM) e l'attenzione per canale (channel-wise attention).
2. Scenari:
   • Sintetico ($S_{syn}$): Quattro dataset multi-sinusoidali ($D_1$ a $D_4$) con complessità crescente e periodi non armonici, progettati per indurre forti spostamenti spettrali e cambiamenti di distribuzione.
   • Reale ($S_{energy}$): Quattro dataset di previsione energetica da Enedis (Francia), che includono consumo residenziale, produzione fotovoltaica, una casa privata (non vista durante il pre-training) e produzione eolica. Questi presentano eterogeneità in stagionalità, volatilità e driver esterni.
3. Protocolli di Apprendimento:
   • Addestramento Sequenziale: Addestramento sui dataset $D_1 \to D_N$ senza accesso ai dati precedenti.
   • Addestramento Cumulativo: Addestramento su $\{D_1, \dots, D_t\}$ al tempo $t$ (simulando una memoria infinita).
   • Addestramento Indipendente/Offline: Baseline per la difficoltà del dataset e per le prestazioni limite (upper-bound).
   • Dark Experience Replay (DER): Una strategia basata sul replay che combina il replay dell'esperienza con la distillazione della predizione per mitigare l'oblio.
4. Metriche:
   • RMSE: Root Mean Square Error per l'accuratezza della previsione.
   • Backward Transfer (BWT): Misura l'oblio confrontando le prestazioni su un dataset dopo l'addestramento su task successivi rispetto alle prestazioni immediatamente dopo l'addestramento su quel dataset.
   • Cross-Series Transferability (CST): Una nuova metrica, consapevole del modello (model-aware), proposta per quantificare come l'addestramento sul dataset $D_i$ impatti le prestazioni su $D_j$, definita come il rapporto tra l'RMSE dopo l'addestramento su $D_i$ e l'RMSE da inizializzazione casuale.

Contributi Chiave

1. Valutazione Sistematica del CL: Il primo studio completo sull'oblio catastrofico nei TSFM (TimesFM-2.0, Chronos-2) rispetto a un modello specializzato (SamFormer) sia in benchmark sintetici che in previsioni energetiche reali.
2. Metrica di Trasferibilità Consapevole del Modello: Introduzione della metrica CST, che supera le misure di similarità standard (come la Dynamic Time Warping) nell'anticipare la severità dell'oblio, tenendo conto delle specifiche capacità di estrazione delle caratteristiche del modello.
3. Analisi delle Strategie di Mitigazione: Una valutazione rigorosa di DER nella previsione di serie temporali, dimostrando la sua efficacia attraverso diverse scale di modelli.

Risultati

• Oblio Inerente: Tutti i modelli, indipendentemente dalla scala, hanno mostrato un oblio catastrofico sotto l'addestramento sequenziale ingenuo. Tuttavia, i modelli fondativi più grandi (TimesFM-2.0) hanno dimostrato una maggiore robustezza inerente, ottenendo un RMSE medio e un BWT inferiori rispetto ai modelli più piccoli nello scenario sintetico.
• Differenze tra Scenari: L'oblio è stato più severo nello scenario sintetico ($S_{syn}$) rispetto allo scenario reale ($S_{energy}$). Gli autori attribuiscono ciò al fatto che i task sintetici presentano spostamenti spettrali bruschi, mentre i dataset energetici reali, nonostante il rumore, condividono strutture temporali latenti più compatibili all'interno del dominio energetico.
• Impatto di DER: L'applicazione di Dark Experience Replay ha mitigato significativamente l'oblio in tutte le architetture.
  • DER ha fornito guadagni sproporzionati ai modelli più piccoli. Ad esempio, nello scenario sintetico, il BWT di SamFormer è migliorato da 2.04 a 0.15 grazie a DER.
  • Alla fine della sequenza di apprendimento continuo, i modelli più piccoli dotati di DER sono stati in grado di eguagliare le prestazioni dei grandi TSFM.
  • In alcuni casi (ad esempio, Chronos-base su $S_{energy}$), DER ha ottenuto un RMSE medio migliore rispetto all'addestramento cumulativo, suggerendo un effetto di "curriculum training" dove la complessità progressiva favorisce l'apprendimento.
• Specializzato vs. Fondativo: Sebbene i TSFM abbiano generalmente superato SamFormer negli scenari zero-shot e sequenziali ingenui, il divario si è ridotto significativamente quando i modelli specializzati sono stati aumentati con strategie di mitigazione efficaci come DER.

Significatività e Rivendicazioni
Il documento conclude che, in scenari realistici e non stazionari, l'alto costo computazionale dei grandi modelli fondativi potrebbe non essere strettamente necessario se i modelli più piccoli sono dotati di efficaci strategie di mitigazione dell'oblio. Le conclusioni suggeriscono che:

• L'oblio catastrofico è un problema pervasivo nel CL delle serie temporali, guidato da spostamenti di distribuzione e incompatibilità spettrali.
• La scala del modello offre una robustezza inerente, ma le strategie basate sul replay (DER) possono livellare il campo di gioco, permettendo a modelli con parametri efficienti di raggiungere prestazioni competitive con i modelli fondativi.
• La metrica CST proposta è uno strumento prezioso per anticipare l'oblio e progettare scenari di apprendimento continuo più robusti.

Gli autori mantengono una posizione modesta, osservando che le loro conclusioni sono specifiche per i modelli e gli scenari valutati, e che la scelta tra modelli fondativi e specializzati dipende dal particolare compromesso tra risorse computazionali e disponibilità di strategie di CL efficaci.