Does Outcome Measurement Matter for Forecasting? Evidence from Fiscal Vulnerability in Developing Economies

Dans le monde complexe de l'économie mondiale, les gouvernements des pays en développement marchent souvent sur une corde raide. Ils doivent équilibrer la nécessité de financer les écoles, les hôpitaux et les infrastructures face à la réalité de revenus fiscaux limités, de la fluctuation de la valeur des monnaies et des detes envers des prêteurs étrangers. Lorsque ces pressions s'intensifient, un pays peut glisser vers la vulnérabilité budgétaire, un état où ses finances sont si tendues qu'il peine à répondre aux chocs ou risque même une crise généralisée. Depuis des décennies, les économistes tentent de construire des systèmes d'alerte précoce pour repérer ces dangers avant qu'ils ne surviennent. Ces systèmes reposent généralement sur un ensemble d'indicateurs économiques — comme le montant de la dette d'un pays, la vitesse de croissance de son économie ou ses dépenses par rapport à ses revenus — pour prédire quand les ennuis arrivent. L'objectif est de donner une longueur d'avance aux décideurs politiques afin qu'ils puissent agir avant qu'une crise ne devienne inévitable.

Cependant, il existe un problème fondamental dans la manière dont ces alertes sont construites. La vulnérabilité budgétaire n'est pas une chose unique que l'on peut pointer du doigt, comme un voyant de moteur cassé sur un tableau de bord. C'est une condition complexe composée de nombreuses parties différentes. Pour créer un système d'alerte, les chercheurs doivent d'abord décider comment combiner ces diverses parties en un score unique. Doivent-ils compter combien de problèmes différents un pays rencontre simultanément ? Doivent-ils mesurer la gravité de chaque problème ? Ou doivent-ils utiliser une méthode statistique pour trouver le motif caché qui les lie tous ? Cette nouvelle étude pose une question simple mais cruciale : la façon dont nous définissons la « vulnérabilité » modifie-t-elle l'efficacité de nos systèmes d'alerte ? Les chercheurs ont découvert que la réponse est oui, et que cette différence importe profondément pour notre compréhension du risque et pour l'orientation de notre attention.

Les chercheurs se sont attachés à tester cela en examinant 127 économies en développement sur une période allant de 1982 à 2024. Ils ont rassemblé une quantité massive de données historiques, suivant huit dimensions économiques différentes pour chaque pays, notamment la dette publique, les soldes budgétaires, la croissance économique, l'inflation et les conditions commerciales. Au lieu de choisir une seule façon de mesurer les ennuis, ils ont construit trois versions différentes d'un « score de vulnérabilité » en utilisant exactement les mêmes données. La première version, qu'ils appellent la mesure de l'« étendue », compte simplement combien des huit indicateurs sont en mauvaise forme au même moment. Si un pays présente trois problèmes ou plus simultanément, il est signalé comme vulnérable. La deuxième version, la mesure de la « sévérité », va plus loin. Elle ne se contente pas de compter les problèmes ; elle mesure à quel point chaque indicateur est tombé sous le seuil de danger, accordant plus de poids aux pays en grande difficulté. La troisième version utilise une technique statistique pour compresser les huit indicateurs en un seul chiffre qui capture les motifs de mouvement les plus courants dans les données, créant essentiellement un score de synthèse qui reflète les tendances dominantes plutôt qu'un décompte spécifique de problèmes.

Avec ces trois définitions en main, l'équipe a entraîné des modèles informatiques pour prédire quels pays seraient vulnérables l'année suivante. Ils ont utilisé une méthode rigoureuse qui imite les prévisions du monde réel : les modèles ont été enseignés sur des données passées, puis testés sur des années futures qu'ils n'avaient jamais vues auparavant. Cela garantissait que les résultats reflétaient un véritable pouvoir prédictif plutôt qu'une simple mémorisation de l'histoire. Les résultats étaient frappants. Sous les trois définitions, les modèles étaient étonnamment doués pour classer correctement les pays. Ils pouvaient distinguer les nations qui feraient face à des difficultés de celles qui n'en feraient pas avec un haut degré de précision. Cependant, l'histoire changeait complètement lorsque les chercheurs demandaient si ces modèles apportaient réellement de nouvelles informations ou s'ils ne faisaient que répéter ce qui était déjà connu.

La clé de cette découverte réside dans le concept de persistance. Les conditions économiques changent rarement du jour au lendemain. Si un pays est en difficulté aujourd'hui, il est très probable qu'il le soit demain, simplement parce que les problèmes sous-jacents — comme une dette élevée ou une croissance lente — mettent du temps à être résolus. Une prévision simple qui suppose que « ce qui s'est passé l'année dernière se reproduira cette année » est souvent une base de référence très solide. Les chercheurs ont comparé leurs modèles complexes à ce simple critère de persistance. Ils ont découvert que pour les mesures d'« étendue » et de « sévérité », les modèles complexes offraient une amélioration petite mais réelle. Ils fournissaient des informations supplémentaires qui permettaient de prédire de nouveaux cas de vulnérabilité que la règle simple de « l'année dernière » avait manqués. Mais pour la troisième mesure, le résumé statistique, l'histoire était différente. Les modèles complexes n'étaient pas plus performants que la simple règle de persistance. En fait, le score de l'année précédente était si informatif que l'ajout de toutes les autres données économiques n'apportait aucun bénéfice détectable. La haute précision du modèle statistique ne venait pas du fait qu'il était un brillant prédicteur de nouveaux risques, mais du fait qu'il était très efficace pour suivre la continuation des conditions existantes.

Cette distinction a des implications profondes sur la façon dont nous comprenons la valeur de ces systèmes d'alerte. L'étude suggère qu'un modèle peut paraître très impressionnant sur le papier, atteignant des scores élevés dans la prédiction de l'avenir, sans pour autant nous apprendre quoi que ce soit de nouveau sur ce qui arrive. Si la définition de la vulnérabilité est trop étroitement liée au passé, le modèle ne fera que répéter le passé. Si la définition capture un éventail plus large de problèmes simultanés, le modèle peut trouver de nouveaux signaux. Ici, la mesure de l'« étendue » se distinguait à nouveau. Les modèles utilisant cette définition étaient capables d'identifier de nouveaux cas de vulnérabilité avec un niveau de précision qui dépassait la simple règle de persistance. Les autres définitions, quant à elles, peinaient à fournir cette alerte précoce. Elles étaient meilleures pour nous dire qu'un pays était toujours en difficulté, plutôt que de nous avertir qu'il était sur le point de l'être.

La découverte la plus surprenante concerne la façon dont ces différentes définitions modifient la liste des pays qui nécessitent le plus d'attention. Lorsque les chercheurs ont classé les nations de la plus vulnérable à la moins vulnérable, les listes générées par les mesures d'« étendue » et de « sévérité » étaient assez similaires. Cependant, la liste générée par le résumé statistique était très différente. Des pays qui apparaissaient en haut de la liste de danger selon une définition se retrouvaient au milieu ou en bas selon une autre. Cela signifie que le choix de la manière de mesurer la vulnérabilité influence directement quelles nations sont signalées pour une surveillance accrue par les organisations internationales et les décideurs politiques. Un pays peut être perçu comme une priorité élevée selon une définition et une priorité faible selon une autre, même si les données économiques sous-jacentes sont identiques.

L'étude a également examiné quels facteurs économiques stimulaient ces prédictions. Pour les mesures d'« étendue » et de « sévérité », les signaux les plus importants étaient le solde budgétaire du gouvernement et sa dette totale. Ce sont les indicateurs classiques de la santé budgétaire. Mais l'importance d'autres facteurs, comme l'inflation ou les balances commerciales, changeait selon la définition utilisée. Cela renforce l'idée que la façon dont nous construisons notre mesure du risque modifie les parties de l'économie auxquelles nous prêtons attention. Il ne s'agit pas qu'un ensemble d'indicateurs est plus important qu'un autre dans l'absolu ; leur importance dépend plutôt de la manière dont nous choisissons de les combiner en un score unique.

En fin de compte, cette recherche sert de rappel que dans le monde des prévisions économiques, la question « comment mesurons-nous ? » est tout aussi importante que « pouvons-nous prédire ? ». L'étude ne prétend pas que l'apprentissage automatique ou les algorithmes complexes sont inutiles. Au contraire, elle montre que leur valeur n'est pas automatique. Un modèle sophistiqué n'est bon qu'à la mesure de la définition du problème qu'il tente de résoudre. Si la définition de la vulnérabilité est trop étroitement liée au passé, le modèle ne fera que répéter le passé. Si la définition capture une gamme plus large de problèmes simultanés, le modèle peut trouver de nouveaux signaux. Pour les décideurs politiques et les économistes, la leçon est claire : avant de faire confiance à une prévision, il faut comprendre comment le risque a été défini. Les mêmes données peuvent raconter des histoires très différentes selon la lentille à travers laquelle elles sont observées, et le choix de cette lentille détermine non seulement l'exactitude de la prédiction, mais aussi les pays mêmes qui sont considérés comme étant en danger.