Riepilogo Tecnico: Chronicle

Enunciato del Problema

I dati delle serie temporali del mondo reale sono intrinsecamente multimodali, accompagnati da metadati testuali, descrizioni, notizie e rapporti. Tuttavia, i modelli fondazionali esistenti per le serie temporali (TSFM) elaborano sequenze numeriche in isolamento, privi di meccanismi per incorporare questo contesto testuale. Al contrario, i modelli multimodali che tentano di colmare il divario tra linguaggio e serie temporali soffrono di tre limitazioni sistematiche:

1. Adattamento Post-hoc: Tutti partono da un modello linguistico preaddestrato (LLM) e lo adattano alle serie temporali. Di conseguenza, le loro rappresentazioni interne sono plasmate esclusivamente dal testo, costringendo la modalità delle serie temporali ad adattarsi a uno spazio rappresentativo non progettato per dati temporali.
2. Lacune nella Valutazione: Questi modelli sono raramente valutati rispetto ai modelli fondazionali unimodali all'avanguardia in entrambi i domini (TSFM dedicati o LLM dedicati), lasciando non provata la necessità di un addestramento congiunto.
3. Gonfiore Architettonico: Molti mirano al ragionamento conversazionale e richiedono backbones massicci (8–14 miliardi di parametri), confondendo l'obiettivo di apprendere rappresentazioni temporali a scopo generale con la costruzione di agenti di ragionamento.

La domanda centrale affrontata è se un modello compatto possa apprendere rappresentazioni di alta qualità sia per il testo che per le serie temporali da zero senza interferenze catastrofiche, e se l'addestramento congiunto sia necessario rispetto all'adattamento di LLM preaddestrati.

Metodologia

Gli autori presentano Chronicle, un transformer decoder-only da 324 milioni di parametri addestrato da zero su linguaggio naturale e serie temporali all'interno di una singola architettura unificata.

Architettura

• Backbone Condiviso: Entrambe le modalità condividono gli stessi blocchi transformer a 16 livelli, il meccanismo di attenzione e il flusso residuo. I componenti specifici per la modalità sono limitati alle interfacce di input e output.
• Rappresentazione di Input:
  • Testo: Tokenizzato tramite un vocabolario BPE da 131k voci con embedding vincolati alla testa di output.
  • Serie Temporali: Seguendo PatchTST-FM e Chronos-2, le serie sono standardizzate (utilizzando solo valori visibili) e trasformate tramite seno iperbolico inverso per sopprimere gli outlier. Vengono segmentate in patch non sovrapposte ($P=32$). Ogni patch è rappresentata da un vettore di caratteristiche a 4P dimensioni che concatena una rampa temporale, valori normalizzati, una maschera di validità e una rampa di canale (per input multivariati). Questi vengono proiettati sulla dimensione di embedding condivisa ($d=1024$).
• Teste di Output:
  • Testo: Una testa di modello linguistico vincolata con soft-capping dei logit, ottimizzata tramite entropia incrociata ($L_{CE}$).
  • Serie Temporali: Una testa quantile che predice 21 livelli quantili ($\tau \in [0.05, 0.95]$), ottimizzata tramite perdita quantile mascherata ($L_{QL}$).
• Obiettivo di Addestramento: La perdita totale è una somma ponderata $L = w_{text}L_{CE} + w_{TS}L_{QL}$, con pesi $w_{text}=1.0$ e $w_{TS}=2.5$ per bilanciare i contributi del gradiente data la differenza di scala tra le perdite.

Strategia di Addestramento

Chronicle impiega un processo di preaddestramento in due fasi:

1. Fase 1 (Pretraining Unimodale): Il modello è addestrato su un mix 92/8 di batch solo testo e solo serie temporali. Ciò garantisce che il backbone apprenda rappresentazioni robuste per ciascuna modalità in modo indipendente. I dati testuali provengono da FineWeb-Edu e Dolmino-mix; i dati delle serie temporali provengono da GiftEvalPretrain integrato con KernelSynth.
2. Fase 2 (Allineamento Cross-Modale): La lunghezza del contesto è estesa a 4096. Una piccola frazione (5%) dei token delle serie temporali viene sostituita con sequenze intercalate di testo e serie temporali (da ChatTS e Merrill et al.) per stabilire corrispondenze cross-modali esplicite. La maggior parte dell'addestramento rimane unimodale per preservare le capacità specifiche della modalità.

Contributi Chiave

1. Pretraining Congiunto da Zero: Chronicle è il primo modello ad apprendere testo e serie temporali end-to-end da inizializzazione casuale all'interno di un singolo backbone transformer condiviso, piuttosto che adattando un LLM preaddestrato.
2. Valutazione Rigorosa Cross-Dominio: Il modello è stato messo alla prova contro modelli fondazionali dedicati in entrambi i domini (LLM abbinati per scala per NLU e TSFM dedicati per previsione/classificazione), colmando una lacuna di lunga data nella letteratura sulle serie temporali multimodali.
3. Prestazioni con Backbone Congelato: Chronicle ottiene risultati all'avanguardia su compiti multimodali senza riaddestramento del backbone per dataset, dimostrando che un modello compatto può fungere da motore di rappresentazione a scopo generale.

Risultati

Comprensione del Linguaggio (NLU)

Valutato su 19 compiti NLU (suite DCLM), Chronicle (Fase 2) raggiunge una precisione media di 0.406, pareggiando Gemma-3-270M-PT (0.406) e superando GPT-2 (0.324). Notevolmente, ottiene questo risultato nonostante abbia visto solo ~138 miliardi di token di testo, circa 43–87 volte meno rispetto ai suoi concorrenti solo testo abbinati per scala. Ciò valida che dedicare circa l'8% del calcolo alle serie temporali non causa interferenze catastrofiche.

Previsione Probabilistica Zero-Shot (GIFT-Eval)

Sul benchmark GIFT-Eval (97 compiti), la Fase 1 (addestramento unimodale puro) raggiunge un MASE di 0.978 e un CRPS di 0.690, superando diverse basi di riferimento supervisionate (ad es. N-BEATS, DLinear) e metodi statistici, sebbene rimanga indietro rispetto a TSFM dedicati come PatchTST-FM-r1. La Fase 2 mostra un leggero calo delle prestazioni (MASE 1.053) dovuto alla fase di allineamento, evidenziando un compromesso tra prestazioni di previsione pure e capacità di trasferimento multimodale.

Compiti Multimodali a Valle

• Classificazione Multimodale (TimeCAP): Chronicle supera tutte le basi di riferimento MM-TSFlib e FM Fusion. La Fase 2 con LoRA ($r=64$) raggiunge il miglior macro-F1 (0.613) e AUC (0.757).
• Previsione Multimodale (Time-MMD): Chronicle Fase 2 (Linear Probe) raggiunge il miglior Normalized MAE complessivo (0.514) e la migliore classifica media (2.56), superando le basi di riferimento più forti (ad es. BERT+TNet a 0.621).
• Classificazione delle Serie Temporali (UCR/UEA): Su 24 dataset, Chronicle Fase 1 stabilisce un nuovo traguardo per la classificazione con embedding congelati con 0.736 di accuratezza e 0.712 di F1, superando TSFM dedicati come Moirai-2 (0.714) e TimesFM (0.611).

Sfumature Tecniche

• Ripetizione dei Token: Per compiti di serie temporali brevi (TimeCAP), ripetere il blocco di token delle serie temporali ($r=64$) migliora significativamente le prestazioni riequilibrando il rapporto token testo-TS nella sequenza condivisa.
• Consapevolezza del Canale: Codificare esplicitamente l'identità del canale negli input multivariati migliora le prestazioni di classificazione in media rispetto al pooling medio per canale.

Significato e Affermazioni

Il documento afferma che Chronicle dimostra che testo e serie temporali possono condividere un backbone transformer senza interferenze catastrofiche, sfidando l'assunto prevalente secondo cui i modelli multimodali per serie temporali devono adattarsi a un LLM preaddestrato.

Gli autori sostengono che il pretraining congiunto da zero è una via più diretta verso rappresentazioni temporali a scopo generale. Sebbene rimanga un divario tra Chronicle e i TSFM dedicati nella previsione pura (attribuito all'allocazione del calcolo e all'obiettivo causale della patch successiva), il modello unisce con successo la comprensione del linguaggio e la rappresentazione temporale in un'architettura compatta da 324 milioni di parametri. I risultati suggeriscono che i vantaggi della multimodalità non sono semplicemente una funzione dell'aggiunta di testo a un LLM congelato, ma possono emergere da un paradigma di addestramento unificato in cui entrambe le modalità plasmano le rappresentazioni fin dall'inizio.