Evaluation of Policy-Relevant Forecasting Advantage of Machine and Deep Learning Models over Classical Econometrics: Evidence from Ghanaian Headline Inflation

Sintesi Tecnica: Valutazione della Previsione di Rilevanza Politica in Ghana

Problema di Ricerca
Questo studio affronta una questione critica per le banche centrali che operano in regimi di targeting dell'inflazione in economie piccole, aperte e con forte esposizione alle commodity: i moderni modelli di machine learning (ML) e deep learning (DL) offrono un reale vantaggio previsionale rispetto ai benchmark econometrici classici per l'inflazione headline? Mentre la letteratura spesso presume che una maggiore flessibilità del modello si traduca in una superiore accuratezza predittiva, tale assunzione non è stata rigorosamente testata per l'inflazione headline del Ghana in condizioni rigorose e prive di leakage (perdita di dati) che comprendano una vera rottura strutturale. Il contesto specifico è l'impennata dell'inflazione in Ghana nel 2022–2023, dove l'inflazione su base annua è passata da circa il 10% a un picco superiore al 50%, guidata dalla svalutazione della valuta, dalle pressioni fiscali e dagli shock globali sulle commodity. La sfida risiede nel prevedere attraverso una volatilità così estrema, uno scenario in cui le previsioni accurate sono più vitali per la politica monetaria, ma anche dove i modelli vengono testati più severamente.

Metodologia
Gli autori hanno costruito una matrice di previsione a un passo avanti (one-step-ahead) rigorosa utilizzando 280 mesi di dati (gennaio 2000 – aprile 2023) provenienti dalla Bank of Ghana, coprendo 24 variabili macro-monetarie core tra cui tassi di interesse, aggregati monetari e prezzi internazionali delle commodity.

• Integrità dei Dati e Controllo del Leakage: È stato impiegato un rigoroso protocollo di feature engineering per garantire l'assenza di data leakage. Ogni predittore nella matrice delle caratteristiche riflette le informazioni disponibili strettamente un mese prima del target di previsione ($t-1$). Ciò include livelli ritardati/livelli logaritmici delle variabili, medie mobili del target calcolate da $t-3$ a $t-1$, e mesi del calendario. Non sono stati utilizzati regressori contemporanei o informazioni di look-ahead.
• Suddivisione Cronologica: I dati sono stati suddivisi cronologicamente senza rimescolamento (shuffling) in tre finestre non sovrapposte:
  • Training (200 mesi): Febbraio 2001 – Settembre 2017. Utilizzato per l'adattamento dei modelli e la regolazione degli iperparametri tramite cross-validazione walk-forward a cinque pieghe.
  • Validazione (24 mesi): Ottobre 2017 – Settembre 2019. Utilizzata esclusivamente per confrontare i candidati ottimizzati su dati non visti.
  • Test (42 mesi): Ottobre 2019 – Aprile 2023. Contattata esattamente una volta dopo la selezione del modello. Questa finestra è stata deliberatamente scelta per includere l'impennata dell'inflazione 2022–2023, fungendo da "stress test" piuttosto che da periodo di holdout tranquillo.
• Modelli Candidati: Sono stati valutati nove modelli:
  1. Baseline: Random Walk e Seasonal Naive.
  2. Benchmark Classico: ARIMA(3,1,0), selezionato tramite il Criterio di Informazione di Akaike (AIC) e ricalibrato one-step-ahead.
  3. Modelli Lineari Regolarizzati: Regressione Ridge e Lasso.
  4. Tree Ensembles: Random Forest e XGBoost.
  5. Metodo Kernel: Support Vector Regression (SVR) con un kernel a funzione radiale di base (RBF).
  6. Deep Learning: Una rete neurale feed-forward superficiale (MLP) con un singolo strato nascosto. (Nota: Architetture più complesse come le LSTM sono state deliberatamente escluse a causa del modesto campione di 200 mesi di training, che avrebbe probabilmente portato all'overfitting).
• Metriche di Valutazione: Le prestazioni sono state classificate principalmente in base alla Root-Mean-Squared Error (RMSE) sul set di test, integrata da Mean Absolute Error (MAE), Mean Absolute Percentage Error (MAPE) e $R^2$. La significatività statistica delle differenze è stata valutata tramite i test di Diebold–Mariano.

Risultati Chiave
Contrariamente alla presunzione che i modelli flessibili dominino, lo studio ha rilevato che il benchmark classico ARIMA(3,1,0) ha ottenuto la RMSE più bassa sul set di test (2,41 punti percentuali), superando di poco il Random Walk (2,65) e il Lasso (3,41).

• Gerarchia delle Prestazioni: Ogni modello di machine learning non lineare (Ridge, Random Forest, XGBoost, SVR e la rete neurale) è stato meno performante rispetto alle semplici baseline nel periodo out-of-sample. La baseline Seasonal Naive è stata la peggiore (RMSE 15,08), riflettendo l'assenza di una semplice stagionalità a 12 mesi durante il periodo di impennata.
• Significatività Statistica: I test di Diebold–Mariano hanno rivelato che il vantaggio di ARIMA rispetto al Random Walk e al Lasso non era statisticamente significativo ($p > 0,05$). Tuttavia, il vantaggio di ARIMA rispetto a tutti gli altri modelli non lineari era statisticamente significativo.
• Diagnostica dell'Overfitting: È stato osservato un netto contrasto tra le prestazioni di training e quelle di test per i modelli flessibili. Ad esempio, XGBoost ha ottenuto una RMSE di training quasi perfetta (0,03) ma è degradato a una RMSE di test di 9,04. Allo stesso modo, Random Forest ha mostrato un ampio divario (0,83 a 7,58). Ciò indica che questi modelli hanno memorizzato le idiosincrasie del periodo di training invece di apprendere strutture generalizzabili.
• Gestione delle Rotture Strutturali: Durante l'impennata dell'inflazione 2022–2023, i modelli ARIMA e Random Walk hanno seguito più da vicino il percorso reale dell'inflazione, con un solo leggero ritardo rispetto alla rapida ascesa. Al contrario, i modelli di machine learning si sono allontanati maggiormente, sottostimando spesso il picco (ad esempio, il Lasso ha previsto il 45,7% rispetto al 54,1% effettivo di dicembre 2022).

Contributi Principali

1. Rigore Metodologico: Lo studio stabilisce un design di previsione one-step-ahead privo di leakage per l'inflazione in Ghana, che esclude rigorosamente le informazioni contemporanee e utilizza la validazione walk-forward, affrontando una lacuna nella letteratura precedente che spesso si affidava a decomposizioni in-sample o periodi di holdout favorevoli.
2. Stress Test Avversariale: Valutando i modelli specificamente durante l'impennata dell'inflazione 2022–2023, lo studio fornisce prove su come i modelli si comportano di fronte a una vera rottura strutturale, piuttosto che durante periodi economici calmi.
3. Evidenza Empirica sulla Complessità del Modello: Il documento fornisce prove robuste del fatto che, per serie altamente persistenti come l'inflazione headline in un contesto di campione limitato (200 mesi di training), i modelli più semplici e vincolati (ARIMA, Random Walk) degradano in modo più graduale sotto stress rispetto ai modelli ad alta capacità e flessibilità, che sono soggetti a overfitting.

Significatività e Rivendicazioni
Gli autori sostengono che questa sia una scoperta genuina e rilevante per le politiche pubbliche, piuttosto che un fallimento di specificazione. Argomentano che l'inflazione headline è altamente persistente e che i modelli che sfruttano meglio questa persistenza (ARIMA, Random Walk) superano quelli con la maggiore flessibilità funzionale quando affrontano una rottura strutturale.

• Implicazione Politica: Per la Bank of Ghana e istituzioni simili, lo studio suggerisce che la previsione operativa non debba adottare per default il metodo più sofisticato disponibile. Un modello ARIMA ben specificato, trasparente e a basso costo rimane una scelta primaria superiore per la previsione one-step-ahead dell'inflazione headline rispetto alle alternative di ML testate.
• Ruolo del Machine Learning: Gli autori non affermano che il ML non abbia alcun ruolo, ma suggeriscono che debba essere utilizzato come controllo ausiliario o input di un ensemble piuttosto che come generatore primario di previsioni. Ponendo che il ML potrebbe aggiungere valore se applicato a set di caratteristiche più ricchi e ad alta frequenza, architetture sensibili ai regimi o modelli ibridi che combinano componenti di trend classiche con i residui del ML.
• Limitazioni: Gli autori qualificano modestamente le loro conclusioni, notando che la dimensione del campione è modesta per il deep learning, il set di caratteristiche è limitato alle statistiche pubblicate (escludendo aspettative dai sondaggi o dati testuali) e la valutazione si è concentrata su previsioni puntuali piuttosto che su calibrazione di densità o intervalli. Riconoscono che i loro risultati si applicano specificamente alla rete neurale superficiale testata e potrebbero non generalizzarsi a tutte le architetture di deep learning o a diverse componenti dell'inflazione (ad esempio, inflazione alimentare o core).