Do Time Series Foundation Model Benchmarks Hide Regime-Dependent Failures? Evidence from Traffic Speed Forecasting

Sintesi Tecnica: I benchmark dei modelli di fondazione per serie temporali nascondono i fallimenti dipendenti dai regimi?

Problematica
I benchmark standard per i Modelli di Fondazione per Serie Temporali (TSFM) si affidano a metriche aggregate (ad esempio, l'errore assoluto medio complessivo) che possono occultare gravi fallimenti delle prestazioni in regimi operativi critici. Nella previsione della velocità del traffico, il sistema presenta bruschi cambi di regime tra stati di flusso libero (alta velocità) e congestione (bassa velocità). Durante le transizioni tra questi stati, la vera distribuzione futura della velocità diventa bimodale (rimanere alta o scendere bruscamente). Tuttavia, i TSFM standard, operando in modalità zero-shot, tendono a produrre intervalli di previsione unimodali centrati tra queste due modalità (ad esempio, 30–45 mph), un intervallo che è transitorio e raramente sostenibile. Di conseguenza, sebbene i TSFM possano apparire accurati in media, falliscono significativamente proprio durante le transizioni dove una quantificazione dell'incertezza affidabile è più necessaria per applicazioni come l'invio di soccorsi d'emergenza e la stima delle finestre di spedizione merci.

Metodologia
Gli autori introducono un protocollo di valutazione stratificata per regime applicato a due standard di riferimento per il traffico: METR-LA (Los Angeles) e PEMS-BAY (Area della Baia di San Francisco).

• Rilevamento del regime: Utilizzando le soglie del Highway Capacity Manual, gli autori classificano le finestre temporali in tre regimi: Flusso Libero (>55 mph), Congestione (<25 mph) e Transizione (25–55 mph).
• Modelli valutati: Sono stati testati tre TSFM zero-shot: Chronos-T5-Base, Chronos-Bolt-Small e Moirai-1.1-R-Base.
• Baseline: I confronti hanno incluso un modello di regressione lineare avvolto con l'Inferenza Conforme Adattiva (ACI-LR) e una baseline condizionale storica che campiona direttamente dalla distribuzione empirica per sensore $P(speed_{t+h} | speed_t)$ derivata dai dati di addestramento.
• Correzione Post-Hoc: Il documento propone l'Augmentation di Miscela Bimodale (BMA), un metodo che inietta la conoscenza della distribuzione storica negli output dei TSFM. BMA sostituisce una frazione dei campioni di previsione del TSFM con campionamenti dalla distribuzione condizionale storica, scalati in base alla probabilità di una transizione di regime. Questo viene combinato con la Global ACI per regolare la larghezza dell'intervallo, creando una strategia di correzione "prima la forma, poi la larghezza".

Risultati Chiave

• Fallimenti Mascherati: Le metriche aggregate nascondono un grave degrado durante le transizioni. Mentre i TSFM ottengono un MAE complessivo basso (ad esempio, ~5,8 mph su METR-LA rispetto ai 12,9 mph della baseline storica), le loro prestazioni durante le transizioni degradano a ~10–11 mph, in modo comparabile alla baseline storica.
• Collasso della Copertura: La copertura degli intervalli di previsione per intervalli nominali al 90% crolla drasticamente durante le transizioni. Ad esempio, la copertura empirica di Chronos-Bolt su PEMS-BAY scende al 54,9% (un divario di 35 punti percentuali) durante le transizioni, nonostante una copertura vicina al 90% in flusso libero.
• Confronto con la Baseline: La baseline condizionale storica raggiunge un'alta copertura nelle transizioni (~81–82%) per costruzione, ma soffre di una scarsa accuratezza complessiva perché manca di capacità di previsione.
• Efficacia di BMA: BMA migliora significativamente la copertura delle transizioni senza riaddestrare il TSFM. Migliora la copertura di 3–19 punti percentuali (ad esempio, portando la copertura di transizione di Chronos-Bolt dal 54,9% al 71,2% su PEMS-BAY). La combinazione di BMA e ACI ottiene i risultati migliori, avvicinandosi alla copertura di transizione della baseline storica pur preservando la superiore accuratezza puntuale del TSFM.

Significatività e Rivendicazioni
Il documento sostiene che gli attuali benchmark per i TSFM sono insufficienti per domini caratterizzati da cambi di regime perché le metriche aggregate non riescono a far emergere i fallimenti critici durante i periodi di transizione. Gli autori sostengono che:

1. La valutazione consapevole del regime è necessaria: I benchmark devono stratificare per regime operativo per rivelare i fallimenti che le metriche aggregate nascondono.
2. La forma della distribuzione conta: Semplicemente allargare gli intervalli di previsione (come fa l'ACI) non può risolvere il disallineamento fondamentale della forma, dove modelli unimodali affrontano realtà bimodali; la forma della distribuzione deve essere corretta.
3. L'augmentation post-hoc è praticabile: BMA dimostra che i TSFM possono essere potenziati con la conoscenza della distribuzione storica per gestire efficacementamente le transizioni di regime, offrendo una soluzione pratica quando il fine-tuning è impraticabile o quando si utilizzano modelli a codice chiuso.

Gli autori suggeriscono che queste scoperte si estendono oltre il traffico ad altri domini con soglie fisiche e dinamiche bimodali, come i prezzi spot dell'elettricità e la generazione di energia eolica vicino alle velocità di cut-in delle turbine.