Does Outcome Measurement Matter for Forecasting? Evidence from Fiscal Vulnerability in Developing Economies

In der komplexen Welt der Weltwirtschaft bewegen sich Regierungen in Entwicklungsländern oft auf einem Drahtseilakt. Sie müssen das Bedürfnis nach der Finanzierung von Schulen, Krankenhäusern und Infrastruktur gegen die Realität begrenzter Steuereinnahmen, schwankender Währungswerte und Schulden gegenüber ausländischen Kreditgebern abwägen. Wenn dieser Druck zunimmt, kann ein Land in eine fiskalische Vulnerabilität geraten – einen Zustand, in dem seine Finanzen so stark belastet sind, dass es Schwierigkeiten hat, auf Schocks zu reagieren, oder sogar das Risiko eines voll ausgebrochenen Krisenfalls trägt. Seit Jahrzehnten versuchen Ökonomen, Frühwarnsysteme zu entwickeln, um diese Gefahren zu erkennen, bevor sie eintreten. Diese Systeme stützen sich typischerweise auf eine Reihe von Wirtschaftsindikatoren – wie viel ein Land schuldet, wie schnell seine Wirtschaft wächst oder wie viel es im Vergleich zu seinen Einnahmen ausgibt –, um vorherzusagen, wann Probleme aufziehen. Das Ziel ist es, den politischen Entscheidungsträgern eine Vorwarnung zu geben, damit sie handeln können, bevor eine Krise unvermeidlich wird.

Es gibt jedoch ein grundlegendes Problem mit der Art und Weise, wie diese Warnungen erstellt werden. Fiskalische Vulnerabilität ist keine einzelne Sache, auf die man einfach zeigen kann, wie eine defekte Motorkontrollleuchte auf einem Armaturenbrett. Es ist ein komplexer Zustand, der aus vielen verschiedenen Teilen besteht. Um ein Warnsystem zu erstellen, müssen Forscher zunächst entscheiden, wie sie diese verschiedenen Teile zu einem einzigen Score kombinieren. Zählen sie, wie viele verschiedene Probleme ein Land gleichzeitig hat? Messen sie, wie schwerwiegend jedes einzelne Problem ist? Oder verwenden sie eine statistische Methode, um das verborgene Muster zu finden, das sie alle miteinander verbindet? Diese neue Studie stellt eine einfache, aber entscheidende Frage: Ändert die Art und Weise, wie wir „Vulnerabilität“ definieren, die Frage danach, ob unsere Warnsysteme tatsächlich funktionieren? Die Forscher fanden heraus, dass die Antwort „Ja“ lautet, und dass dieser Unterschied tiefgreifend für unser Verständnis von Risiko und die Frage beeinflusst, worauf wir unsere Aufmerksamkeit richten.

Die Forscher gingen vor, indem sie 127 Entwicklungsländer über einen Zeitraum von 1982 bis 2024 untersuchten. Sie sammelten eine enorme Menge an historischen Daten und verfolgten dabei acht verschiedene ökonomische Dimensionen für jedes Land, darunter Staatsverschuldung, Budgetbilanzen, Wirtschaftswachstum, Inflation und Handelsbedingungen. Anstatt sich nur für eine einzige Art zu entscheiden, Probleme zu messen, erstellten sie drei verschiedene Versionen eines „Vulnerabilitäts-Scores“ unter Verwendung derselben Daten. Die erste Version, die sie als „Breite“-Maß (breadth) bezeichnen, zählt einfach, wie viele der acht Indikatoren gleichzeitig in einem schlechten Zustand sind. Wenn ein Land drei oder mehr gleichzeitige Probleme aufweist, wird es als vulnerabel eingestuft. Die zweite Version, das „Schweregrad“-Maß (severity), geht einen Schritt weiter. Es zählt nicht nur die Probleme, sondern misst auch, wie weit jeder Indikator über die Gefahrenschwelle hinaus gefallen ist, wodurch Länder in tieferen Schwierigkeiten stärker gewichtet werden. Die dritte Version verwendet eine statistische Technik, um alle acht Indikatoren zu einer einzigen Zahl zu komprimieren, die die häufigsten Bewegungsmuster in den Daten erfasst – im Wesentlichen wird so ein zusammenfassender Score erstellt, der die dominanten Trends widerspiegelt, statt einer spezifischen Anzahl von Problemen.

Mit diesen drei verschiedenen Definitionen ausgestattet, trainierte das Team Computermodelle, um vorherzusagen, welche Länder im kommenden Jahr vulnerabel sein würden. Sie verwendeten eine rigorose Methode, die reale Prognosen nachahmt: Die Modelle wurden mit historischen Daten trainiert und dann an zukünftigen Jahren getestet, die sie zuvor noch nie gesehen hatten. Dies stellte sicher, dass die Ergebnisse echte Vorhersagekraft widerspiegelten und nicht bloß die Geschichte auswendig gelernt hatten. Die Ergebnisse waren bemerkenswert. Unter allen drei Definitionen waren die Modelle überraschend gut darin, Länder korrekt einzustufen. Sie konnten zwischen Nationen, die vor Problemen stehen würden, und solchen, die dies nicht tun würden, mit hoher Genauigkeit unterscheiden. Die Geschichte änderte sich jedoch völlig, als die Forscher fragten, ob diese Modelle tatsächlich neue Informationen lieferten oder lediglich das bereits Bekannte wiederholten.

Der Schlüssel zu dieser Entdeckung liegt im Konzept der Persistenz (Beständigkeit). Wirtschaftliche Bedingungen ändern sich selten über Nacht. Wenn ein Land heute in Schwierigkeiten steckt, ist es sehr wahrscheinlich, dass es auch morgen in Schwierigkeiten steckt, einfach weil die zugrunde liegenden Probleme – wie hohe Verschuldung oder langsames Wachstum – Zeit brauchen, um behoben zu werden. Eine einfache Prognose, die davon ausgeht, dass „was letztes Jahr geschah, auch dieses Jahr geschehen wird“, ist oft ein sehr starker Referenzwert. Die Forscher verglichen ihre komplexen Modelle mit diesem einfachen Persistenz-Benchmark. Sie fanden heraus, dass die komplexen Modelle für die „Breite“- und „Schweregrad“-Maße eine kleine, aber reale Verbesserung boten. Sie lieferten zusätzliche Informationen, die halfen, neue Fälle von Vulnerabilität vorherzusagen, die die einfache „Letztes-Jahr-Regel“ übersehen hatte. Aber bei der dritten Maßnahme, der statistischen Zusammenfassung, sah die Geschichte anders aus. Die komplexen Modelle waren nicht besser als die einfache Persistenz-Regel. Tatsächlich war der Wert des Vorjahres so informativ, dass das Hinzufügen aller anderen Wirtschaftsdaten keinen nachweisbaren Nutzen brachte. Die hohe Genauigkeit des statistischen Modells lag nicht daran, dass es ein brillanter Vorhersager neuer Risiken war, sondern daran, dass es sehr gut darin war, die Fortsetzung bestehender Zustände zu verfolgen.

Diese Unterscheidung hat tiefgreifende Auswirkungen darauf, wie wir den Wert solcher Warnsysteme verstehen. Die Studie legt nahe, dass ein Modell auf dem Papier sehr beeindruckend wirken und hohe Punktzahlen bei der Vorhersage der Zukunft erreichen kann, ohne uns tatsächlich etwas Neues darüber zu sagen, was bevorsteht. Wenn die Definition von Vulnerabilität so eng mit der Vergangenheit verknüpft ist, dass sie hochgradig persistent ist, dann ist der beste Prädiktor schlicht die Vergangenheit. Die Forscher untersuchten auch, ob diese Modelle den Moment erkennen konnten, in dem ein Land zum ersten Mal in Schwierigkeiten gerät, bekannt als „Onset“ (Beginn). Hier stach das „Breite“-Maß erneut hervor. Die Modelle, die diese Definition verwendeten, konnten neue Fälle von Vulnerabilität mit einer Genauigkeit identifizieren, die über die einfache Persistenz-Regel hinausging. Die anderen Definitionen hingegen hatten Schwierigkeiten, diese Frühwarnung zu liefern. Sie waren besser darin, uns mitzuteilen, dass ein Land immer noch in Schwierigkeiten steckte, als uns zu warnen, dass es kurz davor stand, in Schwierigkeiten zu geraten.

Die vielleicht überraschendste Erkenntnis betrifft die Frage, wie diese verschiedenen Definitionen die Liste der Länder verändern, die die meiste Aufmerksamkeit benötigen. Als die Forscher die Nationen von der vulnerabelsten zur am wenigsten vulnerabelsten sortierten, waren die Listen, die durch die „Breite“- und „Schweregrad“-Maße generiert wurden, recht ähnlich. Die Liste, die durch die statistische Zusammenfassung erstellt wurde, war jedoch völlig anders. Länder, die unter einer Definition an der Spitze der Gefährdungsliste standen, rutschten unter einer anderen Definition in die Mitte oder an das Ende der Liste. Das bedeutet, dass die Wahl der Art und Weise, wie wir Vulnerabilität messen, direkt beeinflusst, welche Nationen von internationalen Organisationen und politischen Entscheidungsträgern verstärkt beobachtet werden. Ein Land kann unter einer Definition als hohe Priorität gelten und unter einer anderen als niedrige Priorität, selbst wenn die zugrunde liegenden Wirtschaftsdaten identisch sind.

Die Studie untersuchte auch, welche wirtschaftlichen Faktoren diese Vorhersagen antrieben. Für die „Breite“- und „Schweregrad“-Maße waren die wichtigsten Signale das Budgetsaldo der Regierung und seine Gesamtschulden. Dies sind die klassischen Indikatoren für die fiskalische Gesundheit. Aber die Bedeutung anderer Faktoren, wie Inflation oder Handelsbilanzen, verschob sich je nach verwendeter Definition. Dies verstärkt die Idee, dass die Art und Weise, wie wir unser Maß für Risiko konstruieren, verändert, auf welche Teile der Wirtschaft wir unsere Aufmerksamkeit richten. Es ist nicht so, dass ein Satz von Indikatoren isoliert betrachtet wichtiger ist als ein anderer; vielmehr hängt ihre Bedeutung davon ab, wie wir sie in einen einzigen Score kombinieren.

Letztlich dient diese Forschung als Erinnerung daran, dass in der Welt der Wirtschaftsprognosen die Frage „Wie messen wir es?“ genauso wichtig ist wie die Frage „Können wir es vorhersagen?“. Die Studie behauptet nicht, dass maschinelles Lernen oder komplexe Algorithmen nutzlos sind. Stattdessen zeigt sie, dass ihr Wert nicht automatisch gegeben ist. Ein hochentwickeltes Modell ist nur so gut wie die Definition des Problems, das es lösen will. Wenn die Definition von Vulnerabilität zu eng an die Vergangenheit gebunden ist, wird das Modell nur die Vergangenheit wiederholen. Wenn die Definition eine breitere Palette simultaner Probleme erfasst, kann das Modell neue Signale finden. Für politische Entscheidungsträger und Ökonomen ist die Lehre klar: Bevor man einer Prognose vertraut, muss man verstehen, wie das Risiko definiert wurde. Dieselben Daten können je nach der Linse, durch die sie betrachtet werden, sehr unterschiedliche Geschichten erzählen, und die Wahl dieser Linse bestimmt nicht nur die Genauigkeit der Vorhersage, sondern auch die Identität der Länder, die als gefährdet angesehen werden.