Foundation vs. Specialized Models: Evaluating Catastrophic Forgetting in Continual Time Series Forecasting

Technische Samenvatting: Fundamentele versus Gespecialiseerde Modellen in Continue Tijdreeksvoorspelling

Probleemstelling
Hoewel Time Series Foundation Models (TSFMs) sterke zero-shot en few-shot generalisatiecapaciteiten hebben getoond, blijft hun gedrag onder continue fijnafstemming (fine-tuning) onvoldoende begrepen. Specifiek is er een gebrek aan systematische evaluatie met betrekking tot "catastrofale vergetelheid" (catastrophic forgetting)—de neiging van modellen om eerder verworven kennis te verliezen wanneer ze sequentieel worden bijgetraind op nieuwe taken. Dit probleem is cruciaal voor real-world toepassingen waarbij datadistributies niet-stationair zijn en in de loop van de tijd evolueren. Het onderzoek onderzoekt of de computationele kosten van grote TSFMs gerechtvaardigd zijn ten opzichte van kleinere, gespecialiseerde modellen wanneer beide worden onderworpen aan continue leerscenario's (continual learning, CL), en hoe effectief strategieën voor het beperken van vergetelheid het prestatieverschil kunnen overbruggen.

Methodologie
De auteurs stellen een systematisch evaluatiekader voor waarbij TSFMs worden vergeleken met een gespecialiseerd, lichtgewicht model in twee verschillende scenario's van continu leren:

1. Geëvalueerde Modellen:
   • TSFMs: TimesFM-2.0 (500M parameters, decoder-only), Chronos-2 (120M parameters, encoder-only), en Chronos-small (28M parameters, encoder-only).
   • Gespecialiseerde Baseline: SamFormer (100K parameters), een lichtgewicht Transformer die gebruikmaakt van Sharpness-Aware Minimization (SAM) en kanaalsgewijze aandacht (channel-wise attention).
2. Scenario's:
   • Synthetisch ($S_{syn}$): Vier multi-sinusoïdale datasets ($D_1$ tot $D_4$) met toenemende complexiteit en niet-harmonische perioden, ontworpen om sterke spectrale verschuivingen en distributieveranderingen te induceren.
   • Real-World ($S_{energy}$): Vier energievoorspellingsdatasets van Enedis (Frankrijk), inclus\u00ad-zijende residentieel verbruik, fotovoltaïsche productie, een privéhuishouden (niet gezien tijdens pre-training), en windproductie. Deze vertonen heterogeniteit in seasonaliteit, volatiliteit en externe drijfveren.
3. Leerprotocollen:
   • Sequentiële Training: Trainen op datasets $D_1 \to D_N$ zonder toegang tot voorgaande data.
   • Cumulatieve Training: Trainen op $\{D_1, \dots, D_t\}$ op stadium $t$ (simuleert oneindig geheugen).
   • Onafhankelijke/Offline Training: Baselines voor dataset-moeilijkheidsgraad en upper-bound prestaties.
   • Dark Experience Replay (DER): Een replay-gebaseerde strategie die experience replay combineert met predictie-distillatie om vergetelheid te beperken.
4. Metrieken:
   • RMSE: Root Mean Square Error voor voorspellingsnauwkeurigheid.
   • Backward Transfer (BWT): Meet vergetelheid door de prestaties op een dataset te vergelijken na training op opeenvolgende taken versus direct na training op die specifieke dataset.
   • Cross-Series Transferability (CST): Een nieuwe, model-bewuste metriek die wordt voorgesteld om te kwantificeren hoe training op dataset $D_i$ de prestaties op $D_j$ beïnvloedt, gedefinieerd als de ratio van de RMSE na training op $D_i$ tot de RMSE vanaf een willekeurige initialisatie.

Belangrijkste Bijdragen

1. Systematische CL-Evaluatie: De eerste uitgebreide studie naar catastrofale vergetelheid in TSFMs (TimesFM-2.0, Chronos-2) vergeleken met een gespecialiseerd model (SamFormer) in zowel synthetische als real-world energievoorspellingsbenchmarks.
2. Model-Bewuste Transferabiliteitsmetriek: Introductie van de CST-metriek, die standaard gelijkenismaten (zoals Dynamic Time Warping) overtreft in het anticiperen op de ernst van vergetelheid door rekening te houden met de specifieke extractiecapaciteiten van het model.
3. Analyse van Mitigatiestrategieën: Een rigoureuze beoordeling van DER in tijdreeksvoorspelling, waarbij de effectiviteit over verschillende modelmaten heen wordt aangetoond.

Resultaten

• Ingebouwde Vergetelheid: Alle modellen, ongeacht de schaal, vertoonden catastrofale vergetelheid onder naïeve sequentiële training. Echter, grotere fundamentele modellen (TimesFM-2.0) vertoonden een grotere inherente robuustheid, waarbij ze een lagere gemiddelde RMSE en BWT bereikten vergeleken met kleinere modellen in het synthetische scenario.
• Verschillen in Scenario's: Vergetelheid was ernstiger in het synthetische scenario ($S_{syn}$) dan in het real-world scenario ($S_{energy}$). De auteurs schrijven dit toe aan het feit dat de synthetische taken abrupte spectrale verschuivingen hebben, terwijl real-world energie-datasets, ondanks hun ruis, meer compatibele latente temporele structuren delen binnen het energiedomein.
• Impact van DER: De toepassing van Dark Experience Replay verminderde vergetelheid aanzienlijk over alle architecturen heen.
  • DER leverde disproportionele winst op voor kleinere modellen. Bijvoorbeeld, in het synthetische scenario verbeterde de BWT van SamFormer van 2,04 naar 0,15 met DER.
  • Tegen het einde van de continue leersequentie waren kleinere modellen, uitgerust met DER, in staat om de prestaties van grote TSFMs te evenaren.
  • In sommige gevallen (bijv. Chronos-base op $S_{energy}$) bereikte DER een betere gemiddelde RMSE dan cumulatieve training, wat suggereert dat er een "curriculum training"-effect optreedt waarbij progressieve complexiteit het leren bevordert.
• Gespecialiseerd vs. Fundamenteel: Hoewel TSFMs over het algemeen beter presteerden in zero-shot en naïeve sequentiële settings, werd het gat aanzienlijk gedicht wanneer gespecialiseerde modellen werden aangevuld met effectieve mitigatiestrategieën zoals DER.

Betekenis en Claims
Het paper concludeert dat in realistische, niet-stationaire scenario's de hoge computationele kosten van grote fundamentele modellen niet strikt noodzakelijk zijn als kleinere modellen worden uitgerust met effectieve strategieën om vergetelheid te beperken. De bevindingen suggereren dat:

• Catastrofale vergetelheid een hardnekkig probleem is in tijdreeks-CL, gedreven door distributieverschuivingen en spectrale incompatibiliteiten.
• Model schaal biedt inherente robuustheid, maar replay-gebaseerde strategieën (DER) kunnen het speelveld nivelleren, waardoor parameterefficiënte modellen competitieve prestaties kunnen behalen met fundamentele modellen.
• De voorgestelde CST-metriek is een waardevol instrument om vergetelheid te anticiperen en robuustere continue leerscenario's te ontwerpen.

De auteurs nemen een bescheiden standpunt in door te merken dat hun conclusies specifiek zijn voor de geëvalueerde modellen en scenario's, en dat de keuze tussen fundamentele en gespecialiseerde modellen afhangt van de specifieke afweging tussen computationele middelen en de beschikbaarheid van effectieve CL-strategieën.