Does Outcome Measurement Matter for Forecasting? Evidence from Fiscal Vulnerability in Developing Economies

In de complexe wereld van de wereldeconomie moeten regeringen in ontwikkelingslanden vaak een koorddans uitvoeren. Ze moeten een balans vinden tussen de noodzaak om scholen, ziekenhuizen en infrastructuur te financieren en de realiteit van beperkte belastinginkomsten, fluctuerende wisselkoersen en schulden bij buitenlandse kredietverstrekkers. Wanneer deze druk toeneemt, kan een land in fiscale kwetsbaarheid vervallen, een staat waarin de financiën zo zwaar onder druk staan dat het land moeite heeft om op schokken te reageren of zelfs het risico loopt op een volledige crisis. Al decennia proberen economen vroege waarschuwingssystemen te bouwen om deze gevaren te signaleren voordat ze zich voordoen. Deze systemen vertrouwen doorgaans op een reeks economische indicatoren—zoals hoeveel een land verschuldigd is, hoe snel de economie groeit, of hoeveel het uitgeeft in verhouding tot wat het verdient—om te voorspellen wanneer er problemen aankomen. Het doel is om beleidsmakers een waarschuwing te geven zodat zij kunnen ingrijpen voordat een crisis onvermijdelijk wordt.

Er is echter een fundamenteel probleem met de manier waarop deze waarschuwingen worden opgebouwd. Fiscale kwetsbaarheid is niet één enkel ding waar je naar kunt wijzen, zoals een defect motorlampje op een dashboard. Het is een complexe conditie die bestaat uit vele verschillende onderdelen. Om een waarschuwingssysteem te creëren, moeten onderzoekers eerst beslissen hoe ze deze diverse onderdelen combineren tot één enkele score. Tellen ze hoeveel verschillende problemen een land tegelijkertijd heeft? Meten ze hoe ernstig elk probleem is? Of gebruiken ze een statistische methode om het verborgen patroon te vinden dat ze allemaal met elkaar verbindt? Deze nieuwe studie stelt een eenvoudige maar cruciale vraag: verandert de manier waarop we "kwetsbaarheid" definiëren de vraag of onze waarschuwingssystemen daadwerkelijk werken? De onderzoekers ontdekten dat het antwoord "ja" is, en dat het verschil diepgaand van belang is voor hoe we risico begrijpen en waar we onze aandacht op richten.

De onderzoekers zetten zich in om dit te testen door te kijken naar 127 ontwikkelende economieën over een periode die loopt van 1982 tot 2024. Ze verzamelden een enorme hoeveelheid historische data en volgden voor elk land acht verschillende economische dimensies, waaronder staatsschuld, begrotingssaldi, economische groei, inflatie en handelscondities. In plaats van slechts één manier te kiezen om problemen te meten, bouwden ze drie verschillende versies van een "kwetsbaarheidsscore" met exact dezelfde data. De eerste versie, die ze de "breedte"-maatstaf noemen, telt simpelweg hoeveel van de acht indicatoren tegelijkertijd in slechte staat zijn. Als een land drie of meer problemen tegelijkertijd ervaart, wordt het als kwetsbaar aangemerkt. De tweede versie, de "ernst"-maatstaf, gaat een stap verder. Deze telt niet alleen de problemen; het meet hoe ver elke indicator voorbij de gevarengrens is gezakt, waardoor landen in diepe problemen meer gewicht krijgen. De derde versie gebruikt een statistische techniek om alle acht indicatoren samen te persen tot één enkel getal dat de meest voorkomende bewegingspatronen in de data vastlegt, wat in feid een samenvattende score creëert die de dominante trends weerspiegelt in plaats van een specifiek aantal problemen.

Met deze drie verschillende definities in handen trainden het team computer modellen om te voorspellen welke landen in het komende jaar kwetsbaar zouden zijn. Ze gebruikten een rigoureuze methode die de praktijk van het voorspellen nabootst: de modellen werden getraind op historische data en vervolgens getest op toekomstige jaren die ze nog nooit hadden gezien. Dit zorgde ervoor dat de resultaten een werkelijk voorspellend vermogen weerspiegelden in plaats van alleen maar de geschiedenis te hebben uit het hoofd geleerd. De resultaten waren opmerkelijk. Onder alle drie de definities waren de modellen verrassend goed in het correct rangschikken van landen. Ze konden onderscheid maken tussen landen die problemen zouden ervaren en landen die dat niet zouden doen, met een hoge mate van nauwkeurigheid. Echter, het verhaal veranderde volledig toen de onderzoekers vroegen of deze modellen daadwerkelijk nieuwe informatie toevoegden of simpelweg herhaalden wat al bekend was.

De sleutel tot deze ontdekking ligt in het concept van persistentie. Economische omstandigheden veranderen zelden van de ene op de andere dag. Als een land vandaag in problemen zit, is het zeer waarschijnlijk dat het morgen ook in problemen zit, simpelweg omdat de onderliggende problemen—zoals hoge schulden of trage groei—lang duren om op te lossen. Een eenvoudige voorspelling die ervan uitgaat dat "wat vorig jaar gebeurde, dit jaar ook zal gebeuren" is vaak een zeer sterk basismodel. De onderzoekers vergeleken hun complexe modellen met dit eenvoudige basismodel van persistentie. Ze ontdekten dat voor de "breedte"- en "ernst"-maatstaven de complexe modellen een kleine maar reële verbetering boden. Ze leverden extra informatie die hielp bij het voorspellen van nieuwe gevallen van kwetsbaarheid die de eenvoudige "vorig jaar"-regel miste. Maar voor de derde maatstaf, de statistische samenvatting, was het verhaal anders. De complexe modellen presteerden niet beter dan de eenvoudige persistentie-regel. Sterker nog, de score van het voorgaande jaar was zo informatief dat het toevoegen van alle andere economische data geen detecteerbaar voordeel bood. De hoge nauwkeurigheid van het statistische model kwam niet doordat het een briljante voorspeller van nieuwe risico's was, maar omdat het zo goed was in het volgen van de voortzetting van bestaande omstandigheden.

Dit onderscheid heeft diepgaande implicaties voor hoe we de waarde van deze waarschuwingssystemen begrijpen. De studie suggereert dat een model op papier zeer indrukwekkend kan lijken en hoge scores kan behalen bij het voorspellen van de toekomst, zonder ons in werkelijkheid iets nieuws te vertellen over wat er komt. Als de definitie van een lands kwetsbaarheid zodanig is dat deze zeer persistent is, dan is de beste voorspeller simpelweg het verleden. De onderzoekers keken ook of deze modellen het moment konden identificeren waarop een land voor het eerst in moeilijkheden terechtkomt, ook wel de "aanvang" genoemd. Hier blinkte de "breedte"-maatstaf opnieuw uit. De modellen die deze definitie gebruikten, waren in staat om nieuwe gevallen van kwetsbaarheid te identificeren met een nauwkeurigheid die de eenvoudige persistentie-regel overtrof. De andere definities hadden echter meer moeite met het bieden van deze vroege waarschuwing. Ze waren beter in het vertellen dat een land nog steeds in problemen zat, dan in het waarschuwen dat een land op het punt stond in problemen te komen.

Misschien wel de meest verrassende bevinding betreft hoe deze verschillende definities de lijst van landen veranderen die de meeste aandacht nodig hebben. Toen de onderzoekers de landen rangschikten van meest naar minst kwetsbaar, waren de lijsten gegenereerd door de "breedte"- en "ernst"-maatstaven vrij vergelijkbaar. Echter, de lijst gegenereerd door de statistische samenvatting was heel anders. Landen die onder de ene definitie bovenaan de gevaarslijst stonden, zakten onder een andere definitie naar het midden of de onderkant. Dit betekent dat de keuze van hoe we kwetsbaarheid meten direct invloed heeft op welke landen door internationale organisaties en beleidsmakers als prioriteit worden gemarkeerd voor nauwlettende monitoring. Een land kan onder de ene definitie als een hoge prioriteit worden gezien en onder een andere als een lage prioriteit, zelfs als de onderliggende economische data identiek zijn.

De studie onderzocht ook welke economische factoren deze voorspellingen aanstuurden. Voor de "breedte"- en "ernst"-maatstaven waren de belangrijkste signalen de begrotingsbalans van de overheid en de totale staatsschuld. Dit zijn de klassieke indicatoren van fiscale gezondheid. Maar het belang van andere factoren, zoals inflatie of handelsbalansen, verschoof afhankelijk van de gebruikte definitie. Dit versterkt het idee dat de manier waarop we onze maatstaf voor risico construeren, bepaalt op welke delen van de economie we onze aandacht richten. Het is niet zo dat één set indicatoren belangrijker is dan een andere in een vacuüm; hun belang hangt eerder af van hoe we ze combineren in een enkele score.

Uiteindelijk dient dit onderzoek als een herinnering aan het feit dat in de wereld van economische voorspellingen de vraag "hoe meten we het?" net zo belangrijk is als "kunnen we het voorspellen?". De studie beweert niet dat machine learning of complexe algoritmen nutteloos zijn. In plaats daarvan laat het zien dat hun waarde niet automatisch is. Een geavanceerd model is slechts zo goed als de definitie van het probleem dat het probeert op te lossen. Als de definitie van kwetsbaarheid te nauw verbonden is met het verleden, zal het model simpelweg het verleden herhalen. Als de definitie een breder scala aan gelijktijdige problemen vangt, kan het model nieuwe signalen vinden. Voor beleidsmakers en economen is de les duidelijk: voordat men een voorspelling vertrouwt, moet men begrijpen hoe het risico is gedefinieerd. Dezelfde data kunnen heel verschillende verhalen vertellen afhankelijk van de lens waardoor ze worden bekeken, en de keuze van die lens bepaalt niet alleen de nauwkeurigheid van de voorspelling, maar ook de landen die daadwerkelijk als gevaarlijk worden beschouwd.