Sintesi Tecnica: Previsione Selettiva di Serie Temporali tramite Metalearning

Definizione del Problema

I metodi di deep learning hanno raggiunto prestazioni allo stato dell'arte nella previsione di serie temporali; tuttavia, la loro accuratezza non è uniforme tra tutti i campioni. Alcune istanze all'interno di una serie temporale sono intrinsecamente difficili da prevedere, portando a variazioni sostanziali negli errori di previsione. Mentre i meccanismi di "opzione di rifiuto" (reject option)—che permettono ai modelli di astenersi da previsioni ad alto rischio—sono ben stabiliti nella classificazione e nella regressione, rimangono poco esplorati nella previsione (forecasting).

Le attuali strategie di astensione nella previsione si affidano tipicamente a euristiche proxy derivate dalla previsione stessa, come l'ampiezza degli intervalli di previsione, i punteggi di non conformità o stime di confidenza apprese. L'articolo sostiene che tali approcci siano intrinsecamente legati al dominio di addestramento specifico e all'architettura del modello. Di conseguenza, faticano a generalizzare su nuovi domini o serie temporali con caratteristiche differenti, limitandone l'utilità nei contesti di transfer learning.

Metodologia

Gli autori propongono un framework di previsione selettiva basato sul metalearning che decupla la decisione di rifiuto dall'output della previsione. L'innovazione principale consiste nel modellare il percentile empirico degli errori di previsione (una statistica invariante rispetto alla scala) basandosi sulle caratteristiche strutturali estratte dai ritardi (lag) recenti, piuttosto che fare affidamento su segnali derivati dalla previsione.

La metodologia consiste in due fasi primarie:

1. Stima delle Prestazioni (Dominio Sorgente)

Utilizzando una procedura di valutazione a origine rotante (cross-validazione di serie temporali), gli autori addestrano un modello di previsione globale (ad esempio, KAN o NHITS) su un dominio sorgente. Per ogni origine di previsione $t$, il modello prevede un orizzonte $h$, e l'errore $e_{i,t}$ viene calcolato rispetto alla verità fondamentale (ground truth).

2. Metalearning

Inve로 di utilizzare i valori di errore grezzi come target, il framework trasforma gli errori in ranghi percentili empirici calcolati all'interno di ciascuna singola serie temporale:
$$u_{i,t} = \frac{\#\{j \in T_i : j \neq t, e_{i,j} < e_{i,t}\}}{|T_i| + 1}$$
Questa normalizzazione mappa gli errori in un intervallo limitato $(0, 1)$, creando un target invariante rispetto alla scala che permette al meta-modello di apprendere criteri di rifiuto trasferibili tra dataset eterogenei.

Meta-Predittori: Le caratteristiche di input per il meta-modello sono estratte dalla finestra di lag precedente ogni origine di previsione utilizzando la libreria TSFEL. Queste caratteristiche riassumono le caratteristiche strutturali come trend, stagionalità e complessità, piuttosto che i valori assoluti.

Meta-Modello: Un CatBoostRegressor viene addestrato per mappare queste caratteristiche strutturali verso i percentili di errore previsti.

Inferenza e Rifiuto

In fase di inferenza, il meta-modello valuta ogni origine di previsione prima che la previsione venga emessa.

• Zero-shot: Il meta-modello addestrato sulla sorgente viene applicato direttamente a un nuovo dominio.
• Adattamento del Dominio: Il meta-modello viene perfezionato (fine-tuned) su un piccolo sottoinsieme di dati etichettati del dominio target.
• Regola Decisionale: Le previsioni con un punteggio percentile previsto $\hat{u}_{i,t} \geq q$ (dove $q$ è una soglia corrispondente al livello di copertura desiderato) vengono rifiutate.

Contributi Chiave

1. Metalearning per la Stima dell'Errore: L'articolo introduce un approccio di metalearning per stimare grandi errori di previsione utilizzando le proprietà strutturali dei lag recenti e target invarianti rispetto alla scala (percentili di errore).
2. Trasferibilità Agnostica rispetto al Dominio: Decuplicando la decisione di rifiuto dalla previsione e basandola su caratteristiche agnostiche rispetto al dominio, il framework consente un efficace trasferimento dell'astensione attraverso serie temporali eterogenee.
3. Validazione Empirica: Gli autori forniscono prove del fatto che questo approccio superi le euristiche derivate dalla previsione (come l'ampiezza dell'intervallo di previsione e la varianza dei residui) sia in contesti in-domain che in contesti di transfer learning.

Risultati Sperimentali

Il framework è stato valutato sulle collezioni di serie temporali univariate M3, M1 e Tourism (frequenze mensili e trimestrali) utilizzando KAN e NHITS come modelli di base.

Valutazione a livello Meta (Qualità del Ranking)

• In-domain: Il meta-modello ha raggiunto un'alta correlazione di Spearman ($\rho$ tra 0,71 e 0,90) tra i punteggi previsti e i ranghi di errore effettivi, superando costantemente i baseline come la larghezza del PI (intervallo di previsione) e la varianza del residuo.
• Transfer Learning: Sebbene il transfer zero-shot abbia mostrato un certo degrado dovuto allo shift del dominio, il meta-modello ha comunque superato la maggior parte dei baseline. Fondamentalmente, l'adattamento del dominio (fine-tuning su il 30% dei dati target) ha recuperato sostanzialmente le prestazioni, spesso eguagliando o superando le prestazioni nel dominio sorgente.
• Baseline: I baseline derivati dalla previsione (PI-width, Residual-scale) generalmente hanno fallito nel generalizzare nei contesti di transfer, mostrando spesso prestazioni peggiori di un rifiuto casuale negli scenari zero-shot.

Valutazione a livello Base (Accuratezza della Previsione)

• La previsione selettiva utilizzando il meta-modello ha migliorato costantemente la sMAPE media delle previsioni accettate in tutti i livelli di copertura rispetto alle opzioni "keep all" (mantieni tutto) e altri baseline.
• Il metodo ha raggiunto il minor gap medio rispetto all' "Oracle" (la migliore prestazione teorica se i veri errori fossero noti) attraverso tutte le frazioni di rifiuto.
• L'approccio si è dimostrato agnostico rispetto al modello, producendo miglioramenti simili indipendentemente dal fatto che venissero utilizzati KAN o NHITS come forecaster sottostante.

Significato e Rivendicazioni

L'articolo sostiene che la prevedibilità può essere trattata come una proprietà strutturale delle osservazioni recenti, consentendo decisioni consapevoli del rischio prima che l'orizzonte di previsione si realizzi.

• Triage Pre-previsione: A differenza dei metodi di quantificazione dell'incertezza che richiedono che la previsione venga generata prima, questo metodo opera ex ante, utilizzando solo i descrittori di lag per filtrare le istanze difficili.
• Generalizzazione: Il design invariante rispetto alla scala permette al meccanismo di trasferirsi efficacemente tra domini senza dover riaddestrare il forecaster di base, affrontando una limitazione chiave dei metodi esistenti di previsione selettiva.
• Utilità Pratica: I risultati suggeriscono che i professionisti possono evitare selettivamente previsioni inaffidabili, riducendo significativamente l'errore medio in applicazioni critiche dove le previsioni ad alto rischio sono dannose.

Gli autori riconoscono i limiti, notando che il metodo dipende dalla rappresentatività dei dati di meta-addestramento e stima il rischio relativo piuttosto che fornire garanzie probabilistiche calibrate. Suggeriscono che il lavoro futuro potrebbe integrare questo meccanismo con la conformal prediction per una quantificazione formale dell'incertezza.