Riassunto Tecnico: UPLOTS – Un Modello di Linguaggio Pre-addestrato Unificato per la Generazione di Serie Temporali Vincolate

1. Definizione del Problema

Gli attuali metodi di generazione di serie temporali (TSG) soffrono di una significativa frammentazione. Gli approcci esistenti, inclusi i Variational Autoencoders (VAE), le Reti Generative Avversarie (GAN) e i modelli di Diffusione, aderiscono tipicamente al paradigma "un modello per ogni dataset". Ciò richiede l'addestramento, la calibrazione e l'implementazione di modelli distinti per ogni specifico dataset o task. Questa frammentazione porta a:

• Scarsa Scalabilità: Incrementi lineari o superlineari dello sforzo computazionale e umano all'aumentare del numero di dataset diversificati.
• Generalizzazione Limitata: I modelli non riescono a sfruttare le strutture temporali condivise tra diversi domini.
• Inefficiente Assimilazione della Conoscenza: L'incapacità di interiorizzare una vasta conoscenza da vari dataset limita le prestazioni nei compiti di generazione vincolata.

Sebbene studi recenti abbiano esplorato il trasferimento guidato da prompt o da prototipi, essi spesso si affidano a backbone specifici per il dominio o a serie esemplari. Rimane un vuoto per un generatore unico capace di sintesi consapevole dei vincoli attraverso domini non visti senza riaddestramento.

2. Metodologia: Il Framework UPLOTS

Gli autori propongono UPLOTS (Unified Pretrained Language Model for constrained Time-Series Generation), un framework che sostituisce i modelli specifici per task con un singolo backbone di Large Language Model (LLM) pre-addestrato guidato da prompt di vincolo appresi.

2.1 Architettura Core

UPLOTS integra un LLM pre-addestrato (specificamente GPT-2 o LLaMA 3.2-1B) con una pipeline di generazione di serie temporali. Il framework è composto da tre componenti primarie:

1. Modulo di Embedding dei Prompt delle Serie Temporali (TPEM):

   • Funzione: Questo modulo funge da ponte tra i vincoli in linguaggio naturale e i dati delle serie temporali. Codifica i vincoli specifici del dataset (ad es., "Morning Peak Patterns") come prompt leggeri in linguaggio naturale.
   • Meccanismo: Gli input delle serie temporali sono proiettati nella dimensione nascosta del modello tramite un MLP convoluzionale. Contemporaneamente, i prompt testuali vengono tokenizzati ed embeddati utilizzando lo strato di word-embedding congelato dell'LLM.
   • Fusione: Gli embedding dei prompt e gli embedding delle serie temporali vengono concatenati lungo la dimensione temporale e alimentati in un'architettura Transformer pre-addestrata troncata. L'output viene mappato nuovamente nello spazio delle caratteristiche originale tramite strati di LayerNorm (LN) e proiezione lineare.
   • Adattabilità: Solo la LayerNorm e gli embedding posizionali sono addestrabili; i parametri core dell'LLM rimangono congelati, garantendo l'efficienza dei parametri.

2. Strategia di Addestramento a Ponderazione Dinamica (DWTS):
   Per consentire un apprendimento congiunto efficace su dataset eterogenei, UPLOTS impiega una strategia a due rami:

   • Modulatore del Loss Curriculum-Aware (CALM): Durante la fase di warm-up, questo meccanismo riduce il peso dei dataset "più difficili" (quelli con perdita recente più alta) per prevenire l'instabilità precoce dell'addestramento. Calcola le medie mobili delle perdite per ogni dataset e assegna di conseguenza pesi di curriculum statici.
   • Campionamento Dinamico Basato sulla Perdita Mobile (RLDS): Questa componente regola dinamicamente le probabilità di campionamento dei batch in base alla perdita recente di ciascun dataset. I batch provenienti da dataset con prestazioni inferiori (perdita più alta) vengono estratti più frequentemente, assicurando che il modello si concentri sui domini difficili durante l'addestramento.

3. Backbone Generativo:
   Il framework utilizza un modello Diffusion-TS come motore generativo sottostante. L'output del LLM potenziato dal TPEM funge da input per il processo di diffusione, che procede tramite passaggi di noising in avanti e denoising inverso. L'obiettivo di addestramento minimizza una perdita congiunta tempo/frequenza per preservare sia l'accuratezza puntuale che il contenuto spettrale.

2.2 Workflow

• Addestramento: Dataset di serie temporali eterogenei sono addestrati congiuntamente all'interno del singolo LLM. I vincoli specifici del dataset sono codificati come prompt, permettendo al modello di apprendere contemporaneamente pattern invarianti al dominio e dinamiche specifiche del dataset.
• Inferenza: Non è richiesto alcun riaddestramento. Per generare una specifica sequenza target (ad es., "Evening Peak" per un dataset di Energia), l'utente fornisce semplicemente il corrispondente prompt in linguaggio naturale. Il modello si condiziona su questo prompt per sintetizzare il segmento di serie temporale desiderato su richiesta.

3. Contributi Principali

Il documento delinea tre contributi primari:

1. Framework LLM Unificato: Un'architettura innovativa che rompe il tradizionale paradigma uno-a-uno, consentendo a un singolo modello pre-addestrato di addestrarsi su tutti i dataset e inferire su set di test con obiettivi diversificati.
2. Generazione On-Demand Guidata da Prompt: Il framework sfrutta il prompt learning per abilitare la generazione specifica per task senza riaddestramento. Ad esempio, il modello può generare segmenti di picco serale per un dataset di Energia utilizzando prompt testuali, riutilizzando prompt diversi per generare target differenti.
3. Superiorità Empirica e Generalizzabilità: Il framework dimostra vantaggi significativi rispetto ai baseline SOTA e alle varianti di base del modello attraverso quattro dataset reali e 14 configurazioni di prompt che spaziano su quattro famiglie di vincoli (picchi temporali, calendario, livello di carico e volatilità).

4. Risultati Sperimentali

Gli autori hanno valutato UPLOTS su quattro benchmark del mondo reale: ETTh (Electricity Transformer Temperature), Energy, PEMS04 e PEMS08.

4.1 Metriche di Valutazione

Le prestazioni sono state misurate tramite:

• Context-FID (C-FID): Valuta la fedeltà distributiva e le dipendenze delle caratteristiche temporali.
• Discriminative Score: Valuta la capacità di un classificatore di distinguere i dati reali da quelli generati.
• Predictive Score: Misura l'utilità a valle tramite il paradigma Train-on-Synthetic, Test-on-Real (TSTR).

4.2 Risultati Principali

• Prestazioni vs Baseline: Le varianti di UPLOTS (utilizzando GPT-2 e LLaMA 3.2) hanno superato significativamente i modelli a singolo dataset (TimeGAN, TimeVAE, DiffWave, DiffTime) e i baseline multi-dataset (TimeDP).
  • Sui dataset ETTh e Energy, UPLOTS ha migliorato la C-FID in media di 12,3× e il Discriminative Score di 9,3× rispetto a un baseline "Empty" privo di prompt.
  • Il modello completo UPLOTS ha ottenuto i migliori risultati in quasi tutte le metriche e i dataset, con il backbone LLaMA 3.2 che ha fornito le prestazioni più elevate.
• Conformità ai Vincoli: Il modello si è dimostrato capace di generalizzare oltre le impostazioni specifiche di "morning/evening peak" utilizzate nell'addestramento iniziale. Ha mantenuto un'alta fedeltà attraverso 14 diverse configurazioni di prompt, inclusi vincoli di calendario (giorni feriali/festivi), livelli di carico (alto/basso) e pattern di volatilità.
• Studi di Ablazione:
  • La rimozione del modulo TPEM ha causato un drastico calo delle prestazioni (ad es., la C-FID è aumentata da 0,0243 a 0,1682 su ETTh_MP), confermando la necessità del meccanismo di embedding dei prompt.
  • La rimozione di CALM e RLDS ha causato diminuzioni modeste ma costanti delle prestazioni, validando il loro ruolo nel bilanciare l'addestramento multi-dataset.
• Utilità a Valle: Negli esperimenti di data augmentation per task di forecasting (utilizzando PhaseFormer e SparseTSF), i dati generati da UPLOTS hanno costantemente migliorato l'accuratezza della previsione, particolarmente nei regimi di dati limitati (rapporti di dati reali dall'1% al 10%).

4.3 Sensibilità degli Iperparametri

• Dimensione Nascosta: Le prestazioni hanno raggiunto il picco con una dimensione nascosta di 64; dimensioni più piccole (16) hanno portato a un sotto-apprendimento, mentre dimensioni maggiori non hanno offerto ulteriori benefici.
• Lunghezza del Prompt: Il modello è stato ampiamente insensibile alla lunghezza del prompt (che variava da singoli caratteri a frasi complete), sebbene la ricchezza semantica sia risultata essere più critica rispetto alla lunghezza.

5. Significato e Rivendicazioni

Il documento posiziona UPLOTS come una soluzione scalabile e adattiva per applicazioni di serie temporali nel mondo reale. La sua importanza risiede in:

• Cambio di Paradigma: Passaggio da modelli frammentati e specifici per dataset a un backbone pre-addestrato unificato.
• Efficienza: Raggiungimento della generalizzazione cross-domain e del controllo preciso dei vincoli senza l'overhead computazionale dell'addestramento di modelli separati o l'alta latenza dei pipeline di pura diffusione.
• Flessibilità: Abilitazione della generazione "on-demand" di segmenti di serie temporali personalizzati tramite prompt in linguaggio naturale, rendendo il sistema altamente adattabile a requisiti mutevoli.

Gli autori concludono che UPLOTS riesce con successo a interiorizzare diverse strutture temporali e offre un framework robusto per la generazione di serie temporali vincolate, con lavori futuri pianificati per esplorare domini temporali più ampi e shift di distribuzione zero-shot.