Adapting Time Series Foundation Models through Data Mixtures

Il paper propone MixFT, un metodo che migliora le previsioni zero-shot dei modelli fondazione per serie temporali suddividendo i dati in sottodomini omogenei tramite miscele bayesiane per un fine-tuning più efficace rispetto alle approcci tradizionali.

L'essenziale

🌧️ Il Problema: Il Meteo che non si Aspetta

Immagina di avere un meteorologo super-intelligente (chiamiamolo "TSFM") che è stato addestrato su milioni di anni di dati meteo di tutto il mondo. Questo meteorologo è bravissimo a prevedere il tempo per chi vive a Londra, New York o Tokyo.

Ma cosa succede se chiedi a questo meteorologo di prevedere il meteo per una piccola isola tropicale che non ha mai visto prima?
Il meteorologo potrebbe fare confusione. Anche se ha visto "molti" dati, quelli dell'isola sono diversi: c'è più umidità, il sole picchia in modo diverso, le stagioni sono invertite. Se provi a insegnargli il meteo dell'isola usando tutti i suoi vecchi dati insieme, o se gli dai un unico "libro di appunti" generico, potrebbe non imparare bene le regole specifiche di quell'isola.

🔧 La Soluzione Vecchia: "Un Abito per Tutti"

Fino a poco tempo fa, gli esperti facevano così: prendevano il meteorologo e gli davano un unico "taccuino" (chiamato LoRA) da compilare con tutti i nuovi dati disponibili.

• Il problema: È come se dessi a un sarto un unico pezzo di stoffa gigante e gli chiedessi di cucire un abito per un bambino, un atleta e una nonna allo stesso tempo. L'abito non starà bene a nessuno perché le esigenze sono troppo diverse.

✨ La Nuova Idea: "MixFT" (La Cucina dei Sub-Domini)

Gli autori di questo paper, Thomas Lee e colleghi, hanno pensato: "E se invece di cucinare un unico grande stufato, dividessimo gli ingredienti in base al loro sapore?"

Hanno creato un metodo chiamato MixFT. Ecco come funziona, usando un'analogia culinaria:

1. Non guardare le etichette, assaggia il cibo!

Di solito, quando si insegna qualcosa a un'intelligenza artificiale, si raggruppa tutto in base all'etichetta del file (es. "Dati Cloud", "Dati Finanza").
Ma i dati sono strani: dentro un singolo file di "Dati Cloud" potrebbero esserci momenti di calma (come una giornata di sole) e momenti di caos (come un uragano).
MixFT non guarda l'etichetta. Usa un "assaggiatore magico" (un modello statistico chiamato Misto Bayesiano) che analizza i dati e dice: "Ehi, questo pezzo di dati sa di 'calma', mentre questo altro sa di 'tempesta', anche se sono nello stesso file!".

2. Dividi la cucina in "Stazioni Specializzate"

Invece di dare un unico taccuino al meteorologo, MixFT crea due (o più) taccuini separati:

• Taccuino A: Per i dati che assomigliano a "giornate di sole".
• Taccuino B: Per i dati che assomigliano a "tempeste".

Ogni taccuino viene riempito solo con i dati che gli corrispondono. Così, il meteorologo impara le regole della "calma" in modo perfetto sul Taccuino A, e le regole della "tempesta" in modo perfetto sul Taccuino B. Non c'è confusione.

3. La Previsione: Scegli il taccuino giusto al momento giusto

Quando arriva una nuova richiesta di previsione (il "meteo" che vuoi prevedere), MixFT fa una cosa intelligente:

1. Guarda il nuovo dato.
2. Usa il suo "assaggiatore magico" per capire: "Questo nuovo dato sa di 'calma' o di 'tempesta'?".
3. Se sa di calma, usa il Taccuino A. Se sa di tempesta, usa il Taccuino B.

🏆 Perché funziona meglio?

Immagina di dover riparare un'auto.

• Metodo vecchio: Dai a un unico meccanico tutti i manuali di tutte le auto (Fiat, Ferrari, Trattore) e gli chiedi di riparare una Ferrari. Si confonde tra le istruzioni.
• Metodo MixFT: Hai due meccanici specializzati. Uno è un esperto di "auto sportive", l'altro di "veicoli pesanti". Quando arriva la Ferrari, chiami subito l'esperto di auto sportive. Il risultato? La Ferrari viene riparata meglio e più velocemente.

In sintesi

Il paper dimostra che non è importante da dove provengono i dati (il nome del file), ma cosa sono quei dati (il loro comportamento nascosto).

Dividendo i dati in base alle loro caratteristiche reali (i "sub-domini") e creando esperti separati per ciascuno, l'intelligenza artificiale diventa molto più brava a prevedere il futuro, anche per situazioni che non ha mai visto prima (previsione "zero-shot"). È come passare da un generalista che sa un po' di tutto, a un team di specialisti che sanno fare le cose perfettamente.

Sommario tecnico

1. Il Problema

I Modelli Fondamentali per le Serie Temporali (TSFM) hanno guadagnato popolarità per la loro capacità di effettuare previsioni zero-shot (senza addestramento specifico sul target). Tuttavia, le prestazioni possono degradare significativamente quando si applicano a nuovi domini non pienamente coperti dal set di pre-addestramento.

La sfida principale affrontata dagli autori è: come adattare al meglio un TSFM a un nuovo dominio utilizzando un insieme di dataset correlati disponibili, per migliorare le previsioni zero-shot?

Le approcci tradizionali di fine-tuning parametricamente efficiente (PEFT), come l'uso di moduli LoRA (Low-Rank Adaptation), si dividono solitamente in due categorie:

1. Fine-tuning Condiviso (Shared): Un unico modulo LoRA viene addestrato su tutti i dati di fine-tuning.
2. Metodi "Per-Dataset": Un modulo LoRA separato viene addestrato su ciascun dataset. Sebbene questo permetta una specializzazione, assume erroneamente che ogni dataset rappresenti una singola distribuzione omogenea.

Gli autori identificano un limite critico: un singolo dataset di serie temporali può contenere dati provenienti da sotto-distribuzioni (o sub-domini) diverse a causa di shift distributivi, stagionalità variabile o differenze tra le dimensioni multivariate. Utilizzare i confini del dataset come criterio di divisione non è ottimale perché ignora questa eterogeneità interna, portando a moduli LoRA che non sono sufficientemente specializzati o che soffrono di interferenza distruttiva tra compiti diversi.

2. Metodologia: MixFT

Per risolvere questo problema, gli autori propongono MixFT (Mixtures Fine-Tuning), un metodo che ri-divide i dati di fine-tuning in base alle loro distribuzioni latenti sottostanti, piuttosto che in base ai nomi dei dataset.

Il processo si articola in due fasi principali:

A. Fase di Addestramento (Fine-Tuning)

1. Embedding: I dati delle finestre temporali (context windows) vengono elaborati dal TSFM per ottenere rappresentazioni vettoriali (embedding).
2. Modellazione Mista Bayesiana: Viene adattato un Modello Misto Gaussiano Bayesiano (Bayesian GMM) nello spazio degli embedding. Questo modello apprende i sotto-dominio (sub-domains) latenti presenti nei dati, indipendentemente dal dataset di origine.
   • Viene utilizzata un'inferenza variazionale di campo medio per garantire stabilità e ridurre il rischio di overfitting rispetto ai metodi di massima verosimiglianza (come K-means).
3. Ridivisione dei Dati: Ogni punto dati viene etichettato con il componente della miscela (il sotto-dominio) più probabile. I dati vengono quindi raggruppati in insiemi omogenei basati su queste etichette, ignorando i confini originali dei dataset.
4. Addestramento Moduli LoRA: Viene addestrato un modulo LoRA separato per ciascun sotto-dominio identificato. Questo garantisce che ogni modulo si specializzi su una distribuzione di dati coerente e omogenea.

B. Fase di Previsione Zero-Shot

1. Identificazione del Contesto: Data una nuova serie temporale (contesto) da prevedere, il modello calcola l'embedding e utilizza il GMM Bayesiano per determinare a quale sotto-dominio appartiene con maggiore probabilità.
2. Selezione del Modulo: Viene selezionato il modulo LoRA specifico addestrato su quel sotto-dominio.
3. Previsione: Il TSFM, combinato con il modulo LoRA selezionato, genera la previsione.

L'approccio utilizza un'assegnazione "hard" (scegliendo il componente con la probabilità massima) invece di una combinazione ponderata, poiché gli esperimenti mostrano che il modello è molto sicuro nell'identificazione del sotto-dominio e che l'uso di moduli non pertinenti (fuori distribuzione) degrada le prestazioni.

3. Contributi Chiave

1. Identificazione del Limite dei Metodi Per-Dataset: Dimostrazione che la divisione dei dati basata sui dataset originali non è ottimale per il fine-tuning di moduli specializzati, poiché i dataset contengono spesso multiple distribuzioni interne.
2. Proposta di MixFT: Sviluppo di un metodo che utilizza modelli misti bayesiani per identificare e separare i sotto-domini latenti, permettendo un addestramento di moduli LoRA più specializzati e coerenti.
3. Valutazione Empirica: Uno studio approfondito che dimostra come MixFT superi sia i metodi di fine-tuning condiviso che quelli per-dataset, evidenziando anche come alcuni metodi per-dataset possano performare peggio del modello base non addestrato.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due benchmark impegnativi (Cloud e Gift-Eval) utilizzando due TSFM all'avanguardia: Chronos Bolt e Moirai-1.1-R.

• Metrica: Mean Absolute Scaled Error (MASE).
• Confronto: MixFT è stato confrontato con:
  • Base: Nessuno adattamento (pesi pre-addestrati).
  • Shared: Un unico LoRA su tutti i dati.
  • Per-Dataset: LoRA separati per dataset (es. $\mu$-Datasets, Arrow, Poly, MBC).
• Risultati Principali:
  • MixFT ottiene le prestazioni migliori in termini di ranking medio e numero di vittorie su singoli dataset.
  • Molti metodi di fine-tuning esistenti (specialmente quelli per-dataset) falliscono nel superare il modello Base, indicando la difficoltà di adattare i TSFM senza una corretta gestione delle distribuzioni.
  • L'analisi delle componenti miste mostra che MixFT riesce a identificare pattern significativi (es. stagionalità, volatilità) all'interno degli stessi dataset, cosa impossibile per i metodi per-dataset.
  • L'uso di un GMM Bayesiano si è rivelato superiore rispetto a K-means o modelli a tema (Topic Models) per l'identificazione dei sotto-domini.

5. Significato e Impatto

Il lavoro di MixFT offre un nuovo paradigma per l'adattamento dei modelli fondazionali nelle serie temporali. Dimostra che la struttura dei dati (le distribuzioni latenti) è più importante della struttura dei dataset (i file o le fonti originali) per il fine-tuning efficace.

• Generalizzazione: Riducendo il divario di generalizzazione tra i dati di addestramento e quelli di test (assicurando che il modulo LoRA usato sia addestrato sulla stessa distribuzione del contesto), si ottengono previsioni zero-shot più accurate.
• Efficienza: Il metodo rimane parametricamente efficiente (aggiungendo solo pochi parametri per i moduli LoRA e un GMM leggero) rispetto all'addestramento completo del modello.
• Futuro: Suggerisce che le future ricerche sul fine-tuning dei TSFM dovrebbero concentrarsi sulla "compartmentalizzazione" dei dati disponibili in base alle loro caratteristiche distributive, piuttosto che trattare i dataset come entità fisse e monolitiche.

In sintesi, MixFT risolve il problema dell'eterogeneità interna dei dati di addestramento, permettendo ai modelli fondazionali di specializzarsi meglio su specifici sottodomini, portando a un miglioramento sostanziale nelle capacità di previsione zero-shot.