From Tokenizer Bias to Backbone Capability: A Controlled Study of LLMs for Time Series Forecasting

Questo studio controllato rivela che, sebbene i modelli linguistici di grandi dimensioni (LLM) mostrino una certa promessa per le previsioni delle serie temporali, le loro prestazioni rimangono limitate e non superano costantemente quelle di modelli specificamente addestrati su grandi dataset temporali, specialmente quando si utilizzano coppie di tokenizzatori e detokenizzatori non distorti ottenuti tramite pre-addestramento su larga scala.

L'essenziale

Immagina di voler insegnare a un genio della letteratura (un modello linguistico gigante, o LLM) a fare le previsioni meteo o a prevedere l'andamento della borsa.

Fino a poco tempo fa, molti ricercatori pensavano: "Se questo genio conosce così bene le parole e le storie, forse può anche capire i numeri che cambiano nel tempo!"

Ma la verità è un po' più complessa, e questo studio fa proprio da "detective" per scoprire cosa sta succedendo davvero. Ecco la spiegazione semplice, con qualche metafora divertente.

1. Il Problema: L'Abile Traduttore che ruba la scena

Immagina che il modello linguistico (il "Genio") sia un attore famoso che non ha mai visto un grafico meteorologico in vita sua. Per farlo recitare, gli metti davanti due assistenti:

• Il Traduttore (Tokenizer): Trasforma i numeri del meteo in "parole" che il Genio può leggere.
• Il Traduttore Inverso (Detokenizer): Trasforma le risposte del Genio di nuovo in numeri.

Il problema scoperto dagli autori è questo: quando si addestra tutto questo su piccoli dataset (pochi dati), gli assistenti (i Traduttori) diventano così bravi a memorizzare quel piccolo gruppo di dati che prendono tutto il merito.
È come se tu dessi a un attore famoso un copione scritto apposta per lui, e poi dicessi: "Vedi? L'attore è un genio!". In realtà, è il copione (gli assistenti) a fare il lavoro sporco, non il talento dell'attore. Il "Genio" rimane congelato e non dimostra davvero di sapere fare previsioni.

2. L'Esperimento: Tre Gemelli con storie diverse

Per capire se il "Genio" ha davvero un talento nascosto per i numeri, gli autori hanno creato tre modelli identici (tre gemelli con lo stesso cervello), ma con tre storie di vita diverse:

1. Il Gemello "Libro" (Train-TD): Ha studiato milioni di libri (testo) e sa tutto della grammatica. Ma quando deve fare previsioni, gli si insegnano solo i Traduttori su un piccolo dataset. Risultato? Gli assistenti fanno tutto il lavoro.
2. Il Gemello "Caso" (Train-B): Ha lo stesso cervello del primo, ma è stato addestrato direttamente su milioni di dati meteorologici e finanziari. Non sa leggere i libri, ma conosce i numeri.
3. Il Gemello "Completo" (Train-BTD): È stato addestrato su tutto: sia i libri che i dati numerici, e anche gli assistenti sono stati addestrati da zero insieme a lui.

3. Cosa hanno scoperto? (La Sorpresa)

Hanno messo alla prova questi gemelli senza dargli nuovi dati (previsione "zero-shot", cioè a occhi chiusi). Ecco cosa è emerso:

• Il "Genio" dei libri non è un genio dei numeri: Quando il modello basato sui libri (Train-TD) viene testato su nuovi dati, va male. I suoi assistenti (i Traduttori) si erano abituati troppo al piccolo dataset di addestramento e non sapevano adattarsi al nuovo.
• Serve pratica specifica: Il gemello che ha studiato solo i dati numerici (Train-B) ha fatto molto meglio. Questo significa che sapere leggere bene non aiuta a prevedere il futuro dei numeri.
• Non serve un cervello più grande: Hanno provato con modelli linguistici ancora più grandi e potenti (come LLaMA o Qwen), ma non sono diventati migliori nel fare previsioni. Anzi, a volte facevano peggio! È come se un professore di letteratura diventasse un pessimo meccanico: più è bravo in letteratura, meno è bravo a riparare un'auto.

4. La Metafora del "Traduttore Forzato"

Gli autori hanno anche provato a "forzare" il Genio a usare il suo vocabolario per i numeri (come dire che "pioggia" è una parola e "sole" è un'altra).
Hanno scoperto che non funziona. I numeri del tempo non sono come le parole di una storia. Cercare di tradurli in parole costringe il modello a fare cose strane e peggiora le previsioni. È come cercare di spiegare il sapore di una mela usando solo le parole di un poema epico: perdi il gusto reale.

In Sintesi: Cosa ci insegna questo studio?

1. Non ingannatevi: Se un modello basato su un LLM sembra funzionare bene, spesso è colpa degli "assistenti" (Tokenizer) che hanno memorizzato i dati, non del "Genio" (LLM) dietro.
2. I dati servono: Per fare previsioni sui numeri, serve un modello addestrato specificamente su milioni di dati numerici, non su libri di testo.
3. La grandezza non è tutto: Avere un modello linguistico gigante non lo rende automaticamente un ottimo previsore finanziario o meteorologico. Serve un addestramento mirato.

Il messaggio finale: Smettiamola di cercare di trasformare i numeri in parole per usare i chatbot. Per prevedere il futuro dei numeri, servono modelli fatti apposta per i numeri, non per le storie.

Sommario tecnico

1. Il Problema: Il Bias del Tokenizer-Detokenizer

L'articolo affronta un dibattito cruciale nel campo delle previsioni delle serie temporali: quanto sono realmente efficaci i Large Language Models (LLM) pre-addestrati quando utilizzati come "backbone" (struttura portante) per questo compito?

Attualmente, la maggior parte degli approcci divide le serie temporali in "patch", le mappa nello spazio dei token di un LLM tramite un Tokenizer, elabora i token con un LLM (spesso congelato o fine-tunato) e ricostruisce le previsioni numeriche tramite un Detokenizer.

Gli autori identificano un problema fondamentale:

• Accoppiamento sui piccoli dataset: Quando i modelli vengono addestrati e valutati su piccoli dataset pubblici, la coppia Tokenizer-Detokenizer tende a sovra-adattarsi (overfitting) alla specifica distribuzione dei dati di addestramento.
• Mascheramento delle capacità: Questo adattamento specifico maschera la vera capacità predittiva del backbone LLM. Di conseguenza, le valutazioni attuali non riescono a distinguere se le buone prestazioni derivano dalla conoscenza pre-addestrata del LLM o semplicemente dalla capacità del Tokenizer/Detokenizer di adattarsi ai dati limitati.
• Bias di valutazione: Le valutazioni "zero-shot" o "few-shot" esistenti sono spesso fuorvianti perché il Tokenizer-Detokenizer, addestrato su un dataset sorgente, introduce un forte bias che dipende dalla similarità con il dataset di test, rendendo impossibile isolare le capacità intrinseche del backbone.

2. Metodologia: Un Framework di Valutazione Controllata

Per risolvere questi problemi, gli autori propongono un nuovo framework sperimentale basato su tre modelli con architettura identica (basata su GPT-2 a 12 strati) ma con strategie di pre-addestramento distinte. L'obiettivo è disaccoppiare il Tokenizer-Detokenizer dal backbone per una valutazione equa.

I tre modelli sono:

1. Train-TD (Train Tokenizer-Detokenizer): Utilizza i pesi pre-addestrati originali di GPT-2 (testo). Il backbone rimane congelato, mentre Tokenizer e Detokenizer vengono addestrati su un dataset di pre-addestramento su larga scala (UTS dataset, ~100 milioni di campioni) per ridurre il bias verso dataset specifici.
2. Train-B (Train Backbone): Riutilizza i pesi di Tokenizer/Detokenizer di Train-TD (quindi imparati su larga scala), ma inizializza e addestra il backbone Transformer da zero su dati di serie temporali, rimuovendo la conoscenza pre-addestrata sul testo.
3. Train-BTD (Train Backbone and Tokenizer-Detokenizer): Inizializza tutti i parametri (Tokenizer, Detokenizer e Backbone) da zero e li addestra congiuntamente sul dataset su larga scala. Questo modello rappresenta un modello di serie temporali "puro" e ottimizzato end-to-end.

Setup Sperimentale:

• Pre-addestramento: Tutti i modelli sono esposti agli stessi dati su larga scala (UTS 2G) per garantire coerenza nella conoscenza introdotta.
• Valutazione: Vengono eseguite valutazioni Zero-shot (nessun fine-tuning sul dataset target) e Few-shot (10% dei dati di addestramento del target) su 7 dataset reali multivariati.
• Baseline: Confronto con modelli SOTA specifici per le serie temporali (Timer, Moirai, Chronos) e modelli di controllo (DI-GPT, inizializzato diagonalmente senza conoscenza pre-addestrata).

3. Contributi Chiave

1. Identificazione del Bias: Dimostrano che l'attuale pratica di valutare gli LLM su piccoli dataset porta a un accoppiamento eccessivo tra Tokenizer/Detokenizer e backbone, invalidando le conclusioni sulla reale utilità degli LLM.
2. Framework di Valutazione Controllata: Progettano un protocollo sperimentale che utilizza pre-addestramento su larga scala per creare coppie Tokenizer-Detokenizer "non biasate", permettendo di misurare le capacità intrinseche del backbone.
3. Analisi delle Limitazioni: Smentiscono l'ipotesi che gli LLM pre-addestrati sul testo offrano vantaggi significativi per le serie temporali senza un adattamento specifico, e quantificano i dati necessari per eguagliare le prestazioni di un LLM congelato.

4. Risultati Principali

• Limiti degli LLM Pre-addestrati sul Testo: Il modello Train-TD (GPT-2 congelato) mostra prestazioni inferiori rispetto a Train-B (backbone ri-addestrato su serie temporali) e Train-BTD. Questo suggerisce che la conoscenza pre-addestrata sul linguaggio naturale non è direttamente trasferibile o utile per le previsioni temporali.
• Superiorità dei Modelli Specifici: Il modello Train-BTD (addestrato da zero su serie temporali) ottiene le migliori prestazioni, superando spesso i modelli basati su LLM congelati. Tuttavia, anche Train-BTD non supera costantemente modelli specifici addestrati su larga scala come Timer o Moirai.
• Impatto del Fine-tuning:
  • Per i modelli basati su LLM congelati (Train-TD), il fine-tuning del backbone porta a miglioramenti.
  • Per i modelli addestrati su serie temporali (Train-BTD), il fine-tuning del solo Tokenizer/Detokenizer è spesso sufficiente e più efficace, indicando che il backbone ha già acquisito conoscenze sufficienti.
• Vocabolario e Generalizzazione: L'analisi t-SNE rivela che i token delle serie temporali si trovano fuori dalla distribuzione del vocabolario del LLM. Tentativi di allineare i token al vocabolario (es. tramite cross-attention) hanno peggiorato le prestazioni zero-shot, confermando che gli LLM operano tramite generalizzazione fuori dominio piuttosto che sfruttando il vocabolario linguistico.
• Scalabilità: Non è stato osservato un miglioramento significativo passando da GPT-2 (128M) a modelli più grandi come Qwen-1.8B o LLaMA3-8B. Modelli più grandi non generalizzano meglio per le serie temporali zero-shot, suggerendo un disallineamento fondamentale tra le bias induttive del linguaggio e quelle temporali.
• Quantificazione dei Dati: Per eguagliare le prestazioni di un backbone GPT-2 congelato, un Transformer inizializzato casualmente ha bisogno di circa 15-50 milioni di campioni di serie temporali. Questo indica che il "vantaggio" del pre-addestramento su testo è limitato e che i dati specifici di dominio sono cruciali.

5. Significato e Conclusioni

Il paper conclude che, sebbene gli LLM offrano una certa promessa come backbone per le serie temporali, le loro capacità intrinseche sono limitate e non superano in modo consistente i modelli progettati specificamente per le serie temporali e addestrati su larga scala.

La ricerca sottolinea che:

1. Le valutazioni precedenti hanno sovrastimato il contributo degli LLM a causa di bias metodologici (Tokenizer-Detokenizer accoppiati a piccoli dataset).
2. La conoscenza pre-addestrata sul linguaggio non è un "silver bullet" per le serie temporali; la conoscenza specifica del dominio (temporale) è essenziale.
3. Per ottenere prestazioni superiori, è necessario un pre-addestramento massiccio su dati di serie temporali e un'architettura ottimizzata per questo compito, piuttosto che il semplice riutilizzo di modelli linguistici generici.

In sintesi, il lavoro sposta il focus dalla semplice applicazione di LLM esistenti alla necessità di sviluppare fondazioni (foundation models) specifiche per le serie temporali, svincolate dai bias dei linguaggi naturali.