Interpretable models for forecasting high-dimensional functional time series

Titolo: Modelli interpretabili per la previsione di serie temporali funzionali ad alta dimensionalità

1. Il Problema

Il lavoro affronta la sfida di modellare e prevedere le serie temporali funzionali ad alta dimensionalità (HDFTS). Queste serie sono caratterizzate da:

• Dipendenza temporale: Le osservazioni sono correlate nel tempo.
• Correlazione trasversale: Esiste una dipendenza tra le diverse unità osservate (es. diverse regioni o gruppi demografici).
• Alta dimensionalità: Il numero di sezioni trasversali ($N$, es. prefetture) può superare il numero di osservazioni temporali ($T$, es. anni), ovvero $N > T$.

Un problema critico nelle metodologie esistenti (come i modelli a fattori basati su PCA funzionale) è la mancanza di interpretabilità. I fattori latenti e le matrici di carico risultanti sono spesso costrutti matematici "scatola nera" che non corrispondono direttamente a driver osservabili (come regioni geografiche o gruppi demografici), limitando l'utilità pratica per i decisori politici che necessitano di comprendere le fonti specifiche della variazione (es. disparità regionali o differenze di genere).

2. Metodologia Proposta

Gli autori propongono un framework strutturato e interpretabile che combina l'analisi della varianza funzionale (FANOVA) con un modello a fattori funzionali. Il processo di decomposizione avviene in tre fasi principali:

1. Decomposizione ANOVA Funzionale Bidimensionale (Two-way FANOVA):

   • Le serie temporali funzionali lisce $Y_{it}^g(u)$ (tasso di mortalità per età $u$, prefettura $i$, anno $t$, sesso $g$) vengono decomposte in:
     • $\mu(u)$: Effetto grandioso funzionale (media globale).
     • $\alpha_i(u)$: Effetto riga (media per prefettura).
     • $\delta_g(u)$: Effetto colonna (media per sesso).
     • $\gamma_{ig}(u)$: Termine di interazione tra prefettura e sesso.
     • $X_{it}^g(u)$: Componente residua.
   • Questa fase cattura la struttura deterministica sistematica attribuibile a fattori osservabili.

2. Decomposizione ANOVA Funzionale Monodimensionale (One-way FANOVA) sull'interazione:

   • Il termine di interazione $\gamma_{ig}(u)$ e il residuo vengono ulteriormente analizzati separatamente per ciascun sesso.
   • Si applica una FANOVA monodimensionale per isolare l'effetto medio specifico per prefettura ($\eta_i^g(u)$) all'interno di ciascun gruppo di sesso, lasciando un nuovo residuo stocastico $R_{it}^g(u)$.
   • Questo passaggio mira a catturare l'eterogeneità specifica tra i gruppi che non è spiegata dalle medie globali.

3. Modello a Fattori Funzionali (Functional Factor Model - FFM):

   • La componente residua stocastica $R_{it}^g(u)$, che contiene le dinamiche temporali non spiegate, viene modellata utilizzando un modello a fattori funzionali.
   • Il residuo è espresso come una combinazione lineare di carichi funzionali e fattori temporali variabili: $R_{it}^g(u) = \sum \Lambda_i^g(u)^\top G_t^g + \varepsilon_{it}^g(u)$.
   • Questo permette di catturare le dipendenze trasversali comuni e le tendenze stocastiche rimanenti.

Previsione e Intervalli di Confidenza:

• Previsione puntuale: Somma della struttura deterministica stimata (dalle fasi 1 e 2) e della previsione della componente stocastica (dalla fase 3).
• Intervalli di previsione: Vengono costruiti utilizzando metodi di Conformal Prediction (predizione conforme) per garantire una copertura empirica robusta senza forti assunzioni distributive.
  • Split Conformal: Utilizza un set di validazione per calibrare i parametri.
  • Sequential Conformal: Aggiorna automaticamente i quantili predittivi man mano che arrivano nuovi dati, senza bisogno di un set di validazione fisso (più adatto a campioni finiti).

3. Contributi Chiave

• Interpretabilità Strutturale: A differenza dei modelli a fattori puramente statistici, il framework proposto separa esplicitamente le variazioni sistemiche (regionali, di genere) da quelle stocastiche, rendendo i risultati comprensibili per i policy maker.
• Gestione dell'Interazione: L'introduzione di un termine di interazione modellato tramite una FANOVA monodimensionale offre una rappresentazione più flessibile dell'eterogeneità tra gruppi rispetto agli approcci precedenti.
• Robustezza degli Intervalli: L'uso della predizione conforme (specie quella sequenziale) fornisce intervalli di previsione affidabili anche in scenari con campioni limitati e senza assunzioni di normalità.
• Integrazione di Metodi: Unisce efficacemente tecniche di decomposizione deterministica (ANOVA) con modelli stocastici avanzati (fattori funzionali).

4. Risultati Sperimentali

Lo studio utilizza i tassi di mortalità specifici per età e sesso a livello subnazionale in Giappone (dati dal 1975 al 2023, 47 prefetture).

• Accuratezza delle Previsioni Puntuali:
  • Il metodo proposto (TWA + OWA + FFM) supera sia il benchmark basato su serie temporali funzionali multivariate (MFTS) sia il metodo precedente degli stessi autori (Jiménez-Varón et al., 2024).
  • L'inclusione del termine di interazione (One-way FANOVA) porta a una riduzione degli errori RMSFE (Root Mean Square Forecast Error) e MAFE (Mean Absolute Forecast Error) sia per uomini che per donne, su orizzonti temporali da 1 a 10 anni.
• Accuratezza delle Previsioni di Intervallo:
  • Il metodo Sequential Conformal Prediction mostra una copertura empirica (ECP) superiore rispetto al metodo "Split", che tende a sottostimare la copertura (specialmente su orizzonti lunghi).
  • Il framework proposto ottiene punteggi di intervallo (Interval Score) migliori rispetto ai benchmark, indicando intervalli più stretti mantenendo un'adeguata copertura.
  • L'uso della deviazione standard (sd) come statistica di riepilogo nella predizione conforme split si è rivelato più efficace rispetto all'uso dei quantili.

5. Significato e Implicazioni

Questo lavoro è significativo per diversi ambiti:

• Politiche Pubbliche: Fornisce agli enti governativi (es. sistemi pensionistici e sanitari giapponesi) strumenti per allocare le risorse in modo più efficiente, basandosi su previsioni che spiegano perché le mortalità variano tra regioni e sessi, non solo quanto variano.
• Metodologia Statistica: Dimostra che è possibile ottenere un'alta accuratezza predittiva mantenendo l'interpretabilità, superando il compromesso tipico tra modelli "black-box" e modelli strutturati.
• Gestione dell'Incertezza: L'approccio basato sulla predizione conforme offre una via praticabile per quantificare l'incertezza in contesti ad alta dimensionalità dove i metodi tradizionali di bootstrap possono essere computazionalmente proibitivi o instabili.

In sintesi, il paper propone un framework unificato che trasforma dati complessi e rumorosi in informazioni strategiche chiare, migliorando sia la precisione delle previsioni che la trasparenza delle loro cause sottostanti.