Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting

Riepilogo Tecnico: Fattorizzare per Generalizzare (RIDDE)

Enunciato del Problema
I Modelli Fondamentali per le Serie Temporali (TSFM) hanno dimostrato forti capacità di previsione zero-shot attraverso l'addestramento preliminare su larga scala e la previsione potenziata dal recupero. Tuttavia, gli autori identificano una limitazione non banale negli approcci basati sul recupero esistenti: il recupero tende a indurre previsioni più oscillatorie. Sebbene ciò migliori le prestazioni su serie altamente fluttuanti, degrada l'accuratezza su serie più lisce, dominate dal trend. L'analisi empirica rivela che il recupero riduce gli errori sui componenti ad alta frequenza (stagionalità) ma aumenta gli errori sui componenti a bassa frequenza (trend). Ciò suggerisce che le informazioni recuperate vengono fuse nella previsione senza distinguere esplicitamente tra strutture temporali stabili (invarianti attraverso gli ambienti) e variazioni specifiche dell'istanza (dinamiche). Di conseguenza, i modelli standard apprendono rappresentazioni intrecciate che riducono la robustezza sotto spostamenti di distribuzione.

Metodologia: Framework RIDDE
Gli autori propongono RIDDE (Decomposizione Invariante-Dinamica guidata dal Recupero), un framework che sposta il ruolo del recupero da un contesto predittivo diretto a un segnale strutturale per la decomposizione della rappresentazione. L'intuizione di base è che le sequenze recuperate agiscono come campioni impliciti da ambienti correlati; mentre condividono meccanismi sottostanti con la query, le loro variazioni dinamiche differiscono.

Il framework opera attraverso le seguenti fasi:

1. Apprendimento della Rappresentazione Guidato dal Recupero:

   • La sequenza di query in input viene partizionata in patch e codificata.
   • Le $K$ sequenze più simili vengono recuperate da una base di conoscenza basandosi sulla similarità coseno nello spazio latente.
   • Invece di riutilizzare direttamente i contesti recuperati, gli orizzonti futuri di questi campioni recuperati vengono proiettati in uno spazio latente condiviso e aggregati tramite un meccanismo di attenzione. Ciò produce una rappresentazione di consenso ($h_{ret}$) che enfatizza i modelli coerentemente allineati con la query, riducendo efficacemente la varianza delle fluttuazioni specifiche del campione.
   • Un meccanismo di gating apprendibile fonde la rappresentazione intrinseca della query ($q$) con il consenso di recupero ($h_{ret}$) per formare una rappresentazione fusa ($h$).

2. Decomposizione Invariante-Dinamica:

   • Un meccanismo di instradamento guidato dal recupero scompone la rappresentazione fusa $h$ in due componenti:
     • Componente Invariante ($z_{inv}$): Incoraggiata a preservare le strutture stabili supportate attraverso i campioni recuperati.
     • Componente Dinamica ($z_{dyn}$): Incoraggiata a catturare le deviazioni specifiche della query e le variazioni residue.
   • Questa decomposizione è guidata da un gate di instradamento condizionato sia dalla rappresentazione fusa che dal consenso di recupero, orientando la divisione verso le informazioni strutturali fornite dal recupero.

3. Previsione Consapevole del Meccanismo:

   • Le componenti invarianti e dinamiche vengono elaborate da predittori separati ($f_{inv}$ e $f_{dyn}$).
   • La previsione finale è ottenuta fondendo gli output di questi percorsi separati, permettendo al modello di bilanciare i modelli trasferibili con l'adattabilità alle dinamiche in evoluzione.

4. Obiettivi di Addestramento:

   • Il modello è addestrato utilizzando una perdita di previsione ($L_{pred}$) per minimizzare l'errore di previsione.
   • Viene introdotto un regolarizzatore di disintrecciamento basato sull'ortogonalità ($L_{dis}$) per ridurre la sovrapposizione tra i fattori invarianti e dinamici, agendo come un vincolo geometrico debole per incoraggiare una decomposizione strutturata.

Insight Teorico
Il documento fornisce una prospettiva teorica basata sulla riduzione della varianza. Aggregando molteplici campioni recuperati, la rappresentazione di consenso approssima la struttura latente condivisa ($\mu$) riducendo al contempo la varianza del rumore specifico del campione ($\epsilon_k$). Questa aggregazione funge da ancoraggio a bassa varianza, motivandone l'uso come guida strutturale per separare i fattori invarianti e dinamici senza richiedere una supervisione esplicita dell'ambiente.

Contributi Chiave

• Identificazione della Limitazione: Gli autori identificano che la previsione potenziata dal recupero introduce un bias strutturale verso fluttuazioni ad alta frequenza, indebolendo la modellazione dei trend stabili.
• Framework RIDDE: Propone un nuovo framework che utilizza il recupero come segnale strutturale per la decomposizione della rappresentazione piuttosto che semplicemente come contesto predittivo ausiliario.
• Meccanismo di Instradamento: Sviluppa un meccanismo basato sull'instradamento che scompone le rappresentazioni consapevoli del recupero in componenti invarianti e dinamiche, supportato da un regolarizzatore per incoraggiare la separazione dei rami.
• Validazione Empirica: Dimostra miglioramenti coerenti nella robustezza e nelle prestazioni di previsione zero-shot sotto spostamenti di distribuzione su diversi benchmark.

Risultati Sperimentali
Sono stati condotti esperimenti estensivi su sette dataset di benchmark (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Electricity, Exchange) utilizzando un'impostazione zero-shot.

• Prestazioni: RIDDE ha ottenuto la media MSE e MAE migliore su tutti i dataset, superando sette TSFM esistenti (inclusi Chronos, MOMENT, TimesFM) e tre baseline basate su RAG (RAF, TS-RAG, Cross-RAG).
• Studi di Ablazione: La rimozione della Decomposizione Invariante-Dinamica (IDD) o della perdita di disintrecciamento ($L_{dis}$) ha portato a un significativo degrado delle prestazioni, confermando la necessità di entrambe le componenti.
• Efficienza: RIDDE ha dimostrato tempi medi per passo e tempi di addestramento per epoca inferiori rispetto alle baseline basate su RAG, con un utilizzo della memoria GPU di picco comparabile, attribuito al suo design leggero di gating e decomposizione.
• Sensibilità: Il modello ha mostrato prestazioni robuste su una gamma di iperparametri, in particolare per quanto riguarda il numero di sequenze recuperate ($K$) e il parametro di scaling ($\rho$).

Significato
Il documento sostiene che l'efficacia del recupero nella previsione delle serie temporali non è uniforme; può involontariamente orientare i modelli verso modelli oscillatori. Riformulando il recupero come uno strumento per la decomposizione della rappresentazione, RIDDE permette ai modelli di preservare le strutture temporali trasferibili rimanendo al contempo adattivi a dinamiche specifiche. Questo approccio offre un'alternativa strutturata ai metodi di fusione standard, migliorando la robustezza sotto spostamenti di distribuzione senza la necessità di un affinamento specifico per il compito. Il lavoro suggerisce che il disintrecciamento di fattori stabili e dinamici è cruciale per la generalizzazione in ambienti non stazionari.