Does Outcome Measurement Matter for Forecasting? Evidence from Fiscal Vulnerability in Developing Economies

Nel complesso mondo dell'economia globale, i governi delle nazioni in via di sviluppo spesso camminano su un filo teso. Devono bilanciare la necessità di finanziare scuole, ospedali e infrastrutture contro la realtà di entrate fiscali limitate, valori di cambio fluttuanti e debiti verso prestatori stranieri. Quando queste pressioni aumentano, un paese può scivolare nella vulnerabilità fiscale, uno stato in cui le sue finanze sono così tese da faticare a rispondere agli shock o addirittura rischiare una crisi conclamata. Per decenni, gli economisti hanno cercato di costruire sistemi di allerta precoce per individuare questi pericoli prima che accadano. Questi sistemi si basano tipicamente su un insieme di indicatori economici — come quanto un paese debba, quanto velocemente la sua economia stia crescendo o quanto spenda rispetto a quanto guadagna — per prevedere quando arriveranno i problemi. L'obiettivo è dare ai decisori politici un preavviso in modo che possano agire prima che una crisi diventi inevitabile.

Tuttavia, esiste un problema fondamentale nel modo in cui questi avvisi vengono costruiti. La vulnerabilità fiscale non è una cosa singola che si può indicare, come una spia del motore guasta su un cruscotto. È una condizione complessa composta da molte parti diverse. Per creare un sistema di allerta, i ricercatori devono prima decidere come combinare queste varie parti in un unico punteggio. Contano quanti diversi problemi un paese ha contemporaneamente? Misurano quanto sia grave ciascun problema? O usano un metodo statistico per trovare il modello nascosto che li lega tutti insieme? Questo nuovo studio pone una domanda semplice ma cruciale: il modo in cui definiamo la "vulnerabilità" cambia il fatto che i nostri sistemi di allerta funzionino effettivamente? I ricercatori hanno scoperto che la risposta è sì, e la differenza è profonda per quanto riguarda la nostra comprensione del rischio e su dove concentrare la nostra attenzione.

I ricercatori si sono posti l'obiettivo di testare questo aspetto analizzando 127 economie in via di sviluppo in un periodo che va dal 1982 al 2024. Hanno raccolto una quantità massiccia di dati storici, monitorando otto diverse dimensioni economiche per ogni paese, tra cui il debito pubblico, i saldi di bilancio, la crescita economica, l'inflazione e le condizioni commerciali. Invece di scegliere un solo modo per misurare i problemi, hanno costruito tre diverse versioni di un "punteggio di vulnerabilità" utilizzando esattamente gli stessi dati. La prima versione, che chiamano misura della "ampiezza" (breadth), conta semplicemente quanti degli otto indicatori sono in cattive condizioni contemporaneamente. Se un paese presenta tre o più problemi simultanei, viene segnalato come vulnerabile. La seconda versione, la misura della "gravità" (severity), va oltre. Non si limita a contare i problemi; misura quanto ogni indicatore sia sceso oltre la linea del pericolo, dando più peso ai paesi in difficoltà profonde. La terza versione utilizza una tecnica statistica per comprimere tutti gli otto indicatori in un unico numero che cattura i modelli di movimento più comuni nei dati, creando essenzialmente un punteggio riassuntivo che riflette i trend dominanti piuttosto che un conteggio specifico dei problemi.

Con queste tre diverse definizioni in mano, il team ha addestrato modelli informatici per prevedere quali paesi sarebbero stati vulnerabili nell'anno successivo. Hanno utilizzato un metodo rigoroso che imita le previsioni del mondo reale: i modelli sono stati istruiti sui dati passati e poi testati su anni futuri che non avevano mai visto prima. Ciò ha garantito che i risultati riflettessero un reale potere predittivo piuttosto che la semplice memorizzazione della storia. I risultati sono stati sorprendenti. Sotto tutte e tre le definizioni, i modelli sono stati sorprendentemente bravi a classificare correttamente i paesi. Potevano distinguere tra le nazioni che avrebbero affrontato problemi e quelle che non lo avrebbero fatto con un alto grado di precisione. Tuttavia, la storia è cambiata completamente quando i ricercatori hanno chiesto se questi modelli stessero effettivamente aggiungendo nuove informazioni o se stessero solo ripetendo ciò che era già noto.

La chiave di questa scoperta risiede nel concetto di persistenza. Le condizioni economiche raramente cambiano da un giorno all'altro. Se un paese è in difficoltà oggi, è molto probabile che sia in difficoltà anche domani, semplicemente perché i problemi sottostanti — come l'alto debito o la crescita lenta — richiedono molto tempo per essere risolti. Una previsione semplice che assume che "ciò che è accaduto l'anno scorso accadrà quest'anno" è spesso un benchmark molto forte. I ricercatori hanno confrontato i loro modelli complessi con questo semplice benchmark di persistenza. Hanno scoperto che, per le misure di "ampiezza" e "gravità", i modelli complessi offrivano un miglioramento piccolo ma reale. Fornivano informazioni extra che aiutavano a prevedere nuovi casi di vulnerabilità che la semplice regola dell'anno precedente non riusciva a cogliere. Ma per la terza misura, il riassunto statistico, la storia era diversa. I modelli complessi non performavano meglio della semplice regola della persistenza. Infatti, il punteggio dell'anno precedente era così informativo che l'aggiunta di tutti gli altri dati economici non forniva alcun beneficio rilevabile. L'alta precisione del modello statistico non derivava dal fatto che fosse un brillante predittore di nuovi rischi, ma dal fatto che fosse molto bravo a tracciare la continuazione delle condizioni esistenti.

Questa distinzione ha implicazioni profonde per la nostra comprensione del valore di questi sistemi di allerta. Lo studio suggerisce che un modello può apparire molto impressionante sulla carta, ottenendo punteggi elevati nella previsione del futuro, senza però dirci nulla di nuovo su ciò che sta per accadere. Se la definizione di vulnerabilità è troppo legata al passato, il modello si limiterà a ripetere il passato. Se la definizione cattura una gamma più ampia di problemi simultanei, il modello può trovare nuovi segnali. Se la definizione è legata in modo troppo stretto al passato, il modello sarà solo un ripetitore del passato. Se la definizione cattura una gamma più ampia di problemi simultanei, il modello può trovare nuovi segnali.

I ricercatori hanno anche esaminato se questi modelli potessero individuare il momento in cui un paese scivola per la prima volta nei guai, noto come "insorgenza" (onset). Qui, la misura dell' "ampiezza" si è distinta nuovamente. I modelli che utilizzavano questa definizione sono stati in grado di identificare nuovi casi di vulnerabilità con un livello di accuratezza che superava la semplice regola della persistenza. Le altre definizioni, invece, hanno faticato a fornire questo allarme precoce. Erano più brave a dirci che un paese era ancora in difficoltà, piuttosto che avvertirci che stava per finire nei guai.

Forse il risultato più sorprendente riguarda il modo in cui queste diverse definizioni cambiano l'elenco dei paesi che richiedono maggiore attenzione. Quando i ricercatori hanno classificato le nazioni dalla più alla meno vulnerabile, le liste generate dalle misure di "ampiezza" e "gravità" erano piuttosto simili. Tuttavia, la lista generata dal riassunto statistico era molto diversa. I paesi che apparivano in cima alla lista del pericolo sotto una definizione, spesso si spostavano in posizione intermedia o in fondo sotto un'altra. Ciò significa che la scelta di come misurare la vulnerabilità influenza direttamente quali nazioni vengono segnalate per un monitoraggio più stretto dagli organizzazioni internazionali e dai decisori politici. Un paese potrebbe essere visto come un'alta priorità secondo una definizione e una bassa priorità secondo un'altra, anche se i dati economici sottostanti sono identici.

Lo studio ha anche esaminato quali fattori economici guidassero queste previsioni. Per le misure di "ampiezza" e "gravità", i segnali più importanti erano il saldo del bilancio pubblico e il debito totale. Questi sono gli indicatori classici della salute fiscale. Ma l'importanza di altri fattori, come l'inflazione o le bilance commerciali, cambiava a seconda della definizione utilizzata. Questo rafforza l'idea che il modo in cui costruiamo la nostra misura del rischio cambi le parti dell'economia a cui prestiamo attenzione. Non è che un insieme di indicatori sia più importante di un altro in astratto; piuttosto, la loro importanza dipende da come scegliamo di combinarli in un unico punteggio.

In definitiva, questa ricerca serve a ricordare che nel mondo delle previsioni economiche, la domanda "come lo misuriamo?" è importante quanto "possiamo prevederlo?". Lo studio non sostiene che il machine learning o gli algoritmi complessi siano inutili. Al contrario, mostra che il loro valore non è automatico. Un modello sofisticato è buono solo quanto la definizione del problema che sta cercando di risolvere. Se la definizione di vulnerabilità è troppo legata al passato, il modello si limiterà a ripetere il passato. Se la definizione cattura una gamma più ampia di problemi simultanei, il modello può trovare nuovi segnali. Per i decisori politici ed gli economisti, la lezione è chiara: prima di fidarsi di una previsione, bisogna capire come è stato definito il rischio. Gli stessi dati possono raccontare storie molto diverse a seconda della lente attraverso cui vengono osservati, e la scelta di quella lente determina non solo l'accuratezza della previsione, ma proprio i paesi che vengono visti come in pericolo.