Does Outcome Measurement Matter for Forecasting? Evidence from Fiscal Vulnerability in Developing Economies

No complex mundo da economia global, os governos de nações em desenvolvimento frequentemente caminham sobre uma corda bamba. Eles devem equilibrar a necessidade de financiar escolas, hospitais e infraestrutura contra a realidade de receitas fiscais limitadas, valores cambiais flutuantes e dívidas devidas a credores estrangeiros. Quando essas pressões aumentam, um país pode cair em vulnerabilidade fiscal, um estado onde suas finanças estão tão sobrecarregadas que o país luta para responder a choques ou até corre o risco de uma crise total. Por décadas, economistas tentaram construir sistemas de alerta precoce para detectar esses perigos antes que eles aconteçam. Esses sistemas geralmente dependem de um conjunto de indicadores econômicos — como o quanto um país deve, o quão rápido sua economia está crescendo ou o quanto ele gasta em comparação com o que ganha — para prever quando o problema está chegando. O objetivo é dar aos formuladores de políticas um aviso prévio para que possam agir antes que uma crise se torne inevitável.

No entanto, há um problema fundamental na forma como esses avisos são construídos. A vulnerabilidade fiscal não é uma coisa única que você possa apontar, como uma luz de advertência de motor quebrada em um painel. É uma condição complexa composta por muitas partes diferentes. Para criar um sistema de alerta, os pesquisadores devem primeiro decidir como combinar essas várias partes em uma pontuação única. Eles contam quantos problemas diferentes um país tem ao mesmo tempo? Eles medem o quão grave é cada problema? Ou usam um método estatístico para encontrar o padrão oculto que os une? Este novo estudo faz uma pergunta simples, mas crucial: será que a maneira como definimos "vulnerabilidade" altera se nossos sistemas de alerta realmente funcionam? Os pesquisadores descobriram que a resposta é sim, e a diferença importa profundamente para como entendemos o risco e onde focamos nossa atenção.

Os pesquisadores partiram para testar isso analisando 127 economias em desenvolvimento ao longo de um período que abrange de 1982 a 2024. Eles reuniram uma quantidade massiva de dados históricos, rastreando oito dimensões econômicas diferentes para cada país, incluindo dívida governamental, saldos orçamentários, crescimento econômico, inflação e condições comerciais. Em vez de escolher apenas uma maneira de medir o problema, eles construíram três versões diferentes de uma "pontuação de vulnerabilidade" usando exatamente os mesmos dados. A primeira versão, que chamam de medida de "amplitude" (breadth), simplesmente conta quantos dos oito indicadores estão em má forma ao mesmo tempo. Se um país apresenta três ou mais problemas ocorrendo simultaneamente, ele é sinalizado como vulnerável. A segunda versão, a medida de "severidade", vai um passo além. Ela não apenas conta os problemas; ela mede o quanto cada indicador caiu abaixo da linha de perigo, dando mais peso aos países em dificuldades profundas. A terceira versão usa uma técnica estatística para comprimir todos os oito indicadores em um único número que captura os padrões de movimento mais comuns nos dados, criando essencialmente uma pontuação de resumo que reflete as tendências dominantes, em vez de uma contagem específica de problemas.

Com essas três definições em mãos, a equipe treinou modelos computacionais para prever quais países seriam vulneráveis no ano seguinte. Eles usaram um método rigoroso que imita a previsão do mundo real: os modelos foram ensinados com dados passados e depois testados em anos futuros que nunca haviam visto antes. Isso garantiu que os resultados refletissem um poder preditivo genuíno, em vez de apenas memorizar a história. Os resultados foram impressionantes. Sob todas as três definições, os modelos foram surpreendentemente bons em classificar os países corretamente. Eles conseguiam distinguir entre nações que enfrentariam problemas e aquelas que não enfrentariam com um alto grau de precisão. No entanto, a história mudou completamente quando os pesquisadores perguntaram se esses modelos estavam realmente adicionando novas informações ou apenas repetindo o que já era conhecido.

A chave para esta descoberta reside no conceito de persistência. As condições econômicas raramente mudam da noite para o dia. Se um país está em dificuldades hoje, é muito provável que esteja em dificuldades amanhã, simplesmente porque os problemas subjacentes — como dívida alta ou crescimento lento — levam muito tempo para serem corrigidos. Uma previsão simples que assume que "o que aconteceu no ano passado acontecerá este ano" é frequentemente uma linha de base muito forte. Os pesquisadores compararam seus modelos complexos com esse benchmark simples de persistência. Eles descobriram que, para as medidas de "amplitude" e "severidade", os modelos complexos ofereceram uma melhoria pequena, mas real. Eles forneceram informações extras que ajudaram a prever novos casos de vulnerabilidade que a regra simples do "ano passado" deixou passar. Mas para a terceira medida, o resumo estatístico, a história foi diferente. Os modelos complexos não foram melhores do que a regra simples de persistência. Na verdade, a pontuação do ano anterior era tão informativa que adicionar todos os outros dados econômicos não trouxe nenhum benefício detectável. A alta precisidade do modelo estatístico não era porque ele era um preditor brilhante de novos riscos, mas porque era muito bom em rastrear a continuação das condições existentes.

Essa distinção tem implicações profundas para como entendemos o valor desses sistemas de alerta. O estudo sugere que um modelo pode parecer muito impressionante no papel, alcançando altas pontuações na previsão do futuro, sem realmente nos dizer nada de novo sobre o que está por vir. Se a vulnerabilidade de um país é definida de uma forma que a torna altamente persistente, o melhor preditor é simplesmente o passado. Os pesquisadores também observaram se esses modelos podiam detectar o momento em que um país entra em dificuldades pela primeira vez, conhecido como "início" (onset). Aqui, a medida de "amplitude" se destacou novamente. Os modelos usando essa definição foram capazes de identificar novos casos de vulnerabilidade com um nível de precisidade que excedeu a regra simples de persistência. As outras definições, no entanto, tiveram dificuldade em fornecer esse alerta precoce. Elas eram melhores em nos dizer que um país ainda estava em dificuldades, em vez de nos alertar que ele estava prestes a entrar em dificuldades.

Talvez a descoberta mais surpreendente diga respeito a como essas diferentes definições alteram a lista de países que precisam de mais atenção. Quando os pesquisadores classificaram as nações da mais para a menos vulnerável, as listas geradas pelas medidas de "amplitude" e "severidade" foram bastante semelhantes. No entanto, a lista gerada pelo resumo estatístico foi bastante diferente. Países que apareciam no topo da lista de perigo sob uma definição frequentemente moviam-se para o meio ou para o fim sob outra. Isso significa que a escolha de como medir a vulnerabilidade influencia diretamente quais nações são sinalizadas para monitoramento mais próximo por organizações internacionais e formuladores de políticas. Um país pode ser visto como uma alta prioridade sob uma definição e uma baixa prioridade sob outra, mesmo que os dados econômicos subjacentes sejam idênticos.

O estudo também examinou quais fatores econômicos estavam impulsionando essas previsões. Para as medidas de "amplitude" e "severidade", os sinais mais importantes foram o saldo orçamentário do governo e sua dívida total. Estes são os indicadores clássicos de saúde fiscal. Mas a importância de outros fatores, como inflação ou balanças comerciais, mudou dependendo de qual definição era usada. Isso reforça a ideia de que a maneira como construímos nossa medida de risco altera quais partes da economia observamos. Não é que um conjunto de indicadores seja mais importante do que outro em um vácuo; em vez disso, sua importância depende de como escolhemos combiná-los em uma pontuação única.

Em última análise, esta pesquisa serve como um lembrete de que, no mundo da previsão econômica, a pergunta "como medimos isso?" é tão importante quanto "podemos prever isso?". O estudo não afirma que o aprendizado de máquina ou algoritmos complexos são inúteis. Em vez disso, mostra que seu valor não é automático. Um modelo sofisticado é apenas tão bom quanto a definição do problema que ele tenta resolver. Se a definição de vulnerabilidade estiver muito ligada ao passado, o modelo apenas repetirá o passado. Se a definição capturar uma gama mais ampla de problemas simultâneos, o modelo pode encontrar novos sinais. Para os formuladores de políticas e economistas, a lição é clara: antes de confiar em uma previsão, deve-se entender como o risco foi definido. Os mesmos dados podem contar histórias muito diferentes dependendo da lente através da qual são visualizados, e a escolha dessa lente determina não apenas a precisão da previsão, mas os próprios países que são vistos como estando em perigo.