Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting

Technische Samenvatting: Factorize to Generalize (RIDDE)

Probleemstelling
Time Series Foundation Models (TSFMs) hebben sterke zero-shot voorspellingscapaciteiten aangetoond door middel van grootschalige pretraining en retrieval-versterkte voorspelling. De auteurs identificeren echter een niet-triviale beperking in bestaande op retrieval gebaseerde benaderingen: retrieval neigt tot meer oscillatoire voorspellingen te leiden. Hoewel dit de prestaties verbetert bij sterk fluctuerende reeksen, verslechtert het de nauwkeurigheid bij gladdere, trendgedomineerde reeksen. Empirische analyse toont aan dat retrieval de fouten vermindert bij hoogfrequente (seizoensgebonden) componenten, maar de fouten verhoogt bij laagfrequente (trend) componenten. Dit suggereert dat opgehaalde informatie in de voorspelling wordt gefuseerd zonder expliciet onderscheid te maken tussen stabiele temporele structuren (invariant over omgevingen heen) en instantie-specifieke variaties (dynamisch). Bijgevolg leren standaardmodellen verstrengelde representaties die de robuustheid onder distributieveranderingen verminderen.

Methodologie: RIDDE Framework
De auteurs stellen RIDDE (Retrieval-guided Invariant-Dynamic DEcomposition) voor, een framework dat de rol van retrieval verschuift van een directe voorspellende context naar een structureel signaal voor representatiedecompositie. De kernintuïtie is dat opgehaalde sequenties fungeren als impliciete steekproeven uit gerelateerde omgevingen; hoewel ze onderliggende mechanismen delen met de query, verschillen hun dynamische variaties.

Het framework werkt via de volgende fasen:

1. Retrieval-Gestuurde Representatieleren:

   • De invoerquery-sequentie wordt opgesplitst in patches en gecodeerd.
   • De Top-$K$ meest vergelijkbare sequenties worden op basis van cosinus-ähnelijkheid in de latente ruimte opgehaald uit een kennisbank.
   • In plaats van opgehaalde contexten direct opnieuw te gebruiken, worden de toekomstige horizonnen van deze opgehaalde steekproeven geprojecteerd naar een gedeelde latente ruimte en geaggregeerd via een attentiemechanisme. Dit levert een consensusrepresentatie ($h_{ret}$) op die patronen benadrukt die consistent met de query zijn uitgelijnd, waardoor de variantie van steekproefspecifieke fluctuaties effectief wordt verminderd.
   • Een leerbare gating-mechanisme fuseert de intrinsieke query-representatie ($q$) met de retrieval-consensus ($h_{ret}$) om een gefuseerde representatie ($h$) te vormen.

2. Invariant-Dynamische Decompositie:

   • Een retrieval-gestuurde routing-mechanisme decomposeert de gefuseerde representatie $h$ in twee componenten:
     • Invariant Component ($z_{inv}$): Wordt aangemoedigd om stabiele structuren te behouden die worden ondersteund door opgehaalde steekproeven.
     • Dynamische Component ($z_{dyn}$): Wordt aangemoedigd om query-specifieke afwijkingen en residuale variaties te vangen.
   • Deze decompositie wordt geleid door een routing-poort die afhankelijk is van zowel de gefuseerde representatie als de retrieval-consensus, waardoor de splitsing wordt bevooroordeeld ten gunste van de structurele informatie die door de retrieval wordt geboden.

3. Mechanisme-bewuste Voorspelling:

   • De invariante en dynamische componenten worden verwerkt door aparte voorspellers ($f_{inv}$ en $f_{dyn}$).
   • De uiteindelijke voorspelling wordt verkregen door de output van deze aparte paden te fuseren, waardoor het model een evenwicht kan vinden tussen overdraagbare patronen en aanpasbaarheid aan evoluerende dynamiek.

4. Trainingsdoelen:

   • Het model wordt getraind met een voorspellingsverlies ($L_{pred}$) om de voorspellingsfout te minimaliseren.
   • Een op orthogonaliteit gebaseerde disentanglement-regularisator ($L_{dis}$) wordt geïntroduceerd om overlapping tussen de invariante en dynamische factoren te verminderen, dienend als een zwakke geometrische constraint om gestructureerde decompositie aan te moedigen.

Theoretisch Inzicht
Het artikel biedt een theoretisch perspectief gebaseerd op variantiereductie. Door meerdere opgehaalde steekproeven te aggregeren, benadert de consensusrepresentatie de gedeelde latente structuur ($\mu$) terwijl de variantie van steekproefspecifiek ruis ($\epsilon_k$) wordt verminderd. Deze aggregering dient als een laag-variantie anker, wat het gebruik ervan als structurele leidraad voor het scheiden van invariante en dynamische factoren motiveert zonder expliciete omgevingssupervisie te vereisen.

Belangrijkste Bijdragen

• Identificatie van Beperking: De auteurs identificeren dat retrieval-versterkte voorspelling een structurele bias introduceert ten opzichte van hoogfrequente fluctuaties, waardoor de modellering van stabiele trends verzwakt.
• RIDDE Framework: Stelt een nieuw framework voor dat retrieval gebruikt als structureel signaal voor representatiedecompositie in plaats van louter als aanvullende voorspellende context.
• Routing Mechanisme: Ontwikkelt een op routing gebaseerd mechanisme dat retrieval-bewuste representaties decomposeert in invariante en dynamische componenten, ondersteund door een regularisator om takenscheiding aan te moedigen.
• Empirische Validatie: Toont consistente verbeteringen in robuustheid en zero-shot voorspellingsprestaties onder distributieveranderingen aan over diverse benchmarks.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op zeven benchmarkdatasets (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Electricity, Exchange) in een zero-shot setting.

• Prestaties: RIDDE behaalde de beste gemiddelde MSE en MAE over alle datasets, presterend beter dan zeven bestaande TSFMs (waaronder Chronos, MOMENT, TimesFM) en drie op RAG gebaseerde baselines (RAF, TS-RAG, Cross-RAG).
• Ablatiestudies: Het verwijderen van de Invariant-Dynamische Decompositie (IDD) of de disentanglement-loss ($L_{dis}$) resulteerde in significante prestatiedegradatie, wat de noodzaak van beide componenten bevestigt.
• Efficiëntie: RIDDE toonde lagere gemiddelde staptijden en trainingstijd per epoch in vergelijking met op RAG gebaseerde baselines, met vergelijkbaar piekgebruik van GPU-geheugen, toegeschreven aan het lichtgewicht gating- en decompositieontwerp.
• Sensitiviteit: Het model toonde robuuste prestaties over een reeks hyperparameters, met name wat betreft het aantal opgehaalde sequenties ($K$) en de schaalparameter ($\rho$).

Betekenis
Het artikel betoogt dat de effectiviteit van retrieval in tijdreeksvoorspelling niet uniform is; het kan modellen onbedoeld bevooroordelen ten opzichte van oscillatoire patronen. Door retrieval te herformuleren als een hulpmiddel voor representatiedecompositie, stelt RIDDE modellen in staat om overdraagbare temporele structuren te behouden terwijl ze adaptief blijven voor specifieke dynamiek. Deze aanpak biedt een gestructureerd alternatief voor standaard fusiemethoden, waardoor de robuustheid onder distributieveranderingen wordt verbeterd zonder de noodzaak van taakspecifieke fine-tuning. Het werk suggereert dat het ontkoppelen van stabiele en dynamische factoren cruciaal is voor generalisatie in niet-stationaire omgevingen.