Does Outcome Measurement Matter for Forecasting? Evidence from Fiscal Vulnerability in Developing Economies

En el complejo mundo de la economía global, los gobiernos de las naciones en desarrollo a menudo caminan por la cuerda floja. Deben equilibrar la necesidad de financiar escuelas, hospitales e infraestructura frente a la realidad de ingresos fiscales limitados, valores cambiarios fluctuantes y deudas contraídas con prestamistas extranjeros. Cuando estas presiones aumentan, un país puede caer en la vulnerabilidad fiscal, un estado en el que sus finanzas están tan tensionadas que lucha por responder a los choques o incluso corre el riesgo de una crisis total. Durante décadas, los economistas han intentado construir sistemas de alerta temprana para detectar estos peligros antes de que ocurran. Estos sistemas suelen basarse en un conjunto de indicadores económicos —como cuánto debe un país, qué tan rápido crece su economía o cuánto gasta en comparación con lo que gana— para predecir cuándo se avecina problemas. El objetivo es dar un aviso a los responsables de la política para que puedan actuar antes de que una crisis sea inevitable.

Sin embargo, existe un problema fundamental en la forma en que se construyen estas advertencias. La vulnerabilidad fiscal no es una sola cosa a la que se pueda señalar, como una luz de avería en un tablero de instrumentos. Es una condición compleja compuesta por muchas partes diferentes. Para crear un sistema de alerta, los investigadores deben primero decidir cómo combinar estas diversas partes en una sola puntuación. ¿Cuentan cuántos problemas diferentes tiene un país a la vez? ¿Miden la gravedad de cada problema? ¿O utilizan un método estadístico para encontrar el patrón oculto que los une a todos? Este nuevo estudio plantea una pregunta simple pero crucial: ¿cambia la forma en que definimos la "vulnerabilidad" el hecho de que nuestros sistemas de alerta realmente funcionen? Los investigadores descubrieron que la respuesta es sí, y la diferencia es profunda para nuestra comprensión del riesgo y hacia dónde enfocamos nuestra atención.

Los investigadores se propusieron probar esto analizando 127 economías en desarrollo durante un periodo que abarca desde 1982 hasta 2024. Recopilaron una enorme cantidad de datos históricos, rastreando ocho dimensiones económicas diferentes para cada país, incluyendo deuda gubernamental, balances presupuestarios, crecimiento económico, inflación y condiciones comerciales. En lugar de elegir una sola forma de medir los problemas, construyeron tres versiones diferentes de una "puntuación de vulnerabilidad" utilizando exactamente los mismos datos. La primera versión, que llaman medida de "amplitud" (breadth), simplemente cuenta cuántos de los ocho indicadores están en mal estado al mismo tiempo. Si un país tiene tres o más problemas ocurriendo simultáneamente, es marcado como vulnerable. La segunda versión, la medida de "severidad", va un paso más allá. No solo cuenta los problemas; mide qué tanto ha caído cada indicador por debajo de la línea de peligro, dando más peso a los países en problemas profundos. La tercera versión utiliza una técnica estadística para comprimir los ocho indicadores en un solo número que captura los patrones de movimiento más comunes en los datos, creando esencialmente una puntuación de resumen que refleja las tendencias dominantes en lugar de un recuento específico de problemas.

Con estas tres definiciones en mano, el equipo entrenó modelos computacionales para predecir qué países serían vulnerables en el año siguiente. Utilizaron un método riguroso que imita la previsión del mundo real: los modelos fueron enseñados con datos pasados y luego probados en años futuros que nunca habían visto antes. Esto aseguró que los resultados reflejaran un poder predictivo genuino en lugar de simplemente memorizar la historia. Los resultados fueron sorprendentes. Bajo las tres definiciones, los modelos fueron sorprendentemente buenos clasificando correctamente a los países. Podían distinguir entre naciones que enfrentarían problemas y aquellas que no lo harían con un alto grado de precisión. Sin embargo, la historia cambió completamente cuando los investigadores preguntaron si estos modelos estaban aportando nueva información o simplemente repitiendo lo que ya se sabía.

La clave de este descubrimiento reside en el concepto de persistencia. Las condiciones económicas rara vez cambian de la noche a la mañana. Si un país tiene problemas hoy, es muy probable que tenga problemas mañana simplemente porque los problemas subyacentes —como la alta deuda o el crecimiento lento— tardan mucho tiempo en solucionarse. Un pronóstico simple que asume que "lo que pasó el año pasado pasará este año" suele ser un punto de referencia muy sólido. Los investigadores compararon sus complejos modelos con este referente simple de persistencia. Descubrieron que, para las medidas de "amplitud" y "severidad", los modelos complejos ofrecían una mejora pequeña pero real. Proporcionaban información adicional que ayudaba a predecir nuevos casos de vulnerabilidad que la regla simple de "el año pasado" no detectaba. Pero para la tercera medida, el resumen estadístico, la historia fue diferente. Los modelos complejos no funcionaron mejor que la regla simple de persistencia. De hecho, la puntuación del año anterior era tan informativa que añadir todos los demás datos económicos no proporcionaba ningún beneficio detectable. La alta precisión del modelo estadístico no se debía a que fuera un predictor brillante de nuevos riesgos, sino a que era muy bueno rastreando la continuación de las condiciones existentes.

Esta distinción tiene implicaciones profundas para nuestra comprensión del valor de estos sistemas de alerta. El estudio sugiere que un modelo puede parecer muy impresionante sobre el papel, logrando puntuaciones altas en la predicción del futuro, sin decirnos realmente nada nuevo sobre lo que viene. Si la definición de vulnerabilidad está demasiado ligada al pasado, el modelo simplemente repetirá el pasado. Si la definición captura una gama más amplia de problemas simultáneos, el modelo puede encontrar nuevas señales. Los modelos que utilizan la definición de "amplitud" fueron capaces de identificar nuevos casos de vulnerabilidad con un nivel de precisión que superó la regla simple de persistencia. Las otras definiciones, sin embargo, tuvieron dificultades para proporcionar esta alerta temprana. Eran mejores diciéndonos que un país seguía en problemas, en lugar de advertirnos que estaba a punto de entrar en problemas.

Quizás el hallazgo más sorprendente se refiere a cómo estas diferentes definiciones cambian la lista de países que requieren mayor atención. Cuando los investigadores clasificaron las naciones de más a menos vulnerables, las listas generadas por las medidas de "amplitud" y "severidad" fueron bastante similares. Sin embargo, la lista generada por el resumen estadístico fue muy distinta. Países que aparecían en la cima de la lista de peligro bajo una definición, se desplazaban al medio o al fondo bajo otra. Esto significa que la elección de cómo medir la vulnerabilidad influye directamente en qué naciones son marcadas para un seguimiento más cercano por parte de organizaciones internacionales y responsables políticos. Un país puede ser visto como una alta prioridad bajo una definición y una baja prioridad bajo otra, incluso cuando los datos económicos subyacentes son idénticos.

El estudio también examinó qué factores económicos impulsaban estas predicciones. Para las medidas de "amplitud" y "severidad", las señales más importantes fueron el balance presupuestario del gobierno y su deuda total. Estos son los indicadores clásicos de la salud fiscal. Pero la importancia de otros factores, como la inflación o los balances comerciales, cambió dependiendo de la definición utilizada. Esto refuerza la idea de que la forma en que construimos nuestra medida de riesgo cambia a qué partes de la economía prestamos atención. No es que un conjunto de indicadores sea más importante que otro en un vacío; más bien, su importancia depende de cómo elegimos combinarlos en una sola puntuación.

En última instancia, esta investigación sirve como un recordatorio de que, en el mundo de la previsión económica, la pregunta "¿cómo lo medimos?" es tan importante como "¿podemos predecirlo?". El estudio no afirma que el aprendizaje automático o los algoritmos complejos sean inútiles. En cambio, muestra que su valor no es automático. Un modelo sofisticado es tan bueno como la definición del problema que intenta resolver. Si la definición de vulnerabilidad está demasiado ligada al pasado, el modelo simplemente repetirá el pasado. Si la definición captura una gama más amplia de problemas simultáneos, el modelo puede encontrar nuevas señales. Para los responsables de la política y los economistas, la lección es clara: antes de confiar en un pronóstico, uno debe entender cómo se definió el riesgo. Los mismos datos pueden contar historias muy diferentes dependiendo del lente a través del cual se observan, y la elección de ese lente determina no solo la precisión de la predicción, sino los mismos países que se consideran en peligro.