Dispersion-Matched Forecast Comparison: Separating Skill from Shrinkage in the Evaluation of Financial Prediction Models

No mundo das finanças, prever o preço futuro de uma ação é o santo graal. Investidores e bancos despejam bilhões em sistemas computacionais sofisticados, esperando encontrar um padrão no caos dos movimentos diários do mercado. Esses sistemas, frequentemente construídos usando aprendizado profundo (deep learning), são projetados para digerir vastas quantidades de informações — preços passados e relatórios econômicos — para adivinhar se uma ação irá subir ou cair amanhã. A forma padrão de julgar se um desses sistemas é realmente bom é comparar suas previsões com uma lista de outros sistemas. Se um novo modelo comete menos erros que os antigos, ele é declarado vencedor, e seus criadores publicam os resultados como um avanço. Esse processo baseia-se em uma premissa simples: que uma pontuação de erro menor significa que o modelo encontrou um sinal genuíno nos dados, uma habilidade real de ver o que os outros não conseguem.

No entanto, um novo estudo desafia o próprio fundamento de como esses vencedores são escolhidos. Os pesquisadores, trabalhando com uma equipe de especialistas em ciência da computação e gestão, descobriram que o método de pontuação padrão pode ser enganado. Eles descobriram que um modelo computacional pode alcançar uma pontuação perfeita não porque aprendeu a prever o mercado, mas porque aprendeu a fazer quase nada. Quando um mercado é difícil de prever, o movimento matemático mais seguro é simplesmente adivinhar o resultado médio todas as vezes. Se um modelo é muito cauteloso, ou se seu design o força a ser demasiado conservador, ele encolherá suas previsões até que sejam quase planas. O estudo mostra que os atuais sistemas de classificação confundem esse comportamento de encolhimento com habilidade, criando um ranking onde os "melhores" modelos são, na verdade, aqueles que desistiram de prever qualquer coisa.

Os pesquisadores propuseram-se a testar uma arquitetura específica e moderna, projetada para prever retornos diários de ações. Este sistema, chamado MFGate-Net, foi construído para ser um preditor de última geração. Ele combinou dois tipos diferentes de informações: indicadores técnicos derivados de gráficos de preços e dados macroeconômicos, como taxas de juros e volatilidade do mercado, juntamente com um mecanismo para ponderar esses inputs dinamicamente. Para ver se funcionava, a equipe o treinou com sete anos de dados históricos e depois o testou em um período inédito cobrindo os anos de 2022 a 2024. Este período de teste foi escolhido cuidadosamente para incluir diferentes condições de mercado, incluindo um período de alta inflação e uma fase de recuperação, garantindo que o modelo enfrentasse um desafio realista.

Quando a equipe executou a comparação padrão, os resultados pareceram um triunfo. O novo modelo venceu todos os outros competidores, incluindo métodos de aprendizado de máquina mais antigos e simples e outras redes de aprendizado profundo complexas. Ele teve a menor taxa de erro, e testes estatísticos confirmaram que sua vantagem não foi uma flutuação casual. Por todos os aspectos convencionais, isso deveria ser a manchete: uma nova e superior maneira de prever o mercado. Mas os pesquisadores não pararam por aí. Eles fizeram uma pergunta mais simples e fundamental: este modelo realmente venceu a previsão mais básica possível? Nas finanças, a previsão mais simples é assumir que a mudança de preço de amanhã será exatamente zero. Isso é conhecido como o benchmark incondicional. É a linha de base de não fazer nada.

Quando compararam seu modelo sofisticado contra essa previsão zero, a história mudou completamente. O modelo complexo não venceu a previsão zero. Na verdade, ele era estatisticamente indistinguível dela. As previsões do modelo eram tão próximas de zero que não ofereciam vantagem real sobre simplesmente adivinhar que nada aconteceria. Ainda mais impressionante, todos os outros modelos no ranking, desde as redes de aprendizado profundo mais novas até os métodos estatísticos mais antigos, também falharam em vencer a previsão zero. Todos eles foram piores do que não fazer nada. Os pesquisadores perceberam que o ranking que viram anteriormente não estava medindo quem era o melhor preditor, mas sim quem era o mais cauteloso. Os modelos que encolheram suas previsões mais, aproximando-se de zero, pareciam ter a menor taxa de erro. O ranking era uma medição de quanto os modelos haviam colapsado, não de quanto eles haviam aprendido.

Para provar isso, a equipe derivou uma explicação matemática de por que isso acontece. Eles mostraram que, quando um mercado é quase imprevisível, a pontuação de erro de um modelo depende quase inteiramente de quanto suas previsões variam em relação ao mercado real. Se um modelo prevê pouco movimento, sua pontuação de erro parecerá boa, mesmo que esteja errado. O estudo demonstrou que a suposta superioridade de um modelo sobre outro era simplesmente uma diferença em quanto eles encolheram suas previsões. Os testes estatísticos usados para declarar um vencedor estavam, na verdade, medindo esse encolhimento e, quanto mais dados coletavam, mais confiantes ficavam em uma conclusão falsa. Quanto maior o conjunto de dados, mais forte se tornava a ilusão de habilidade, embora nenhuma habilidade existisse.

Os pesquisadores então propuseram uma solução simples. Antes de comparar os modelos, eles ajustaram cada previsão para que sua amplitude de movimento correspondesse à amplitude do mercado real. Esse processo, que chamam de correspondência de dispersão (dispersion matching), remove o viés para o encolhimento. Uma vez aplicada essa correção, as diferenças dramáticas entre os modelos desapareceram. Os modelos que anteriormente pareciam vencedores claros agora estavam estatisticamente empatados com os perdedores. A significância "esmagadora" que sugeria um avanço desapareceu, substituída por um resultado mostrando que todos os modelos estavam essencialmente performando o mesmo que um palpite aleatório. Em um caso específico, um modelo que havia sido declarado o melhor foi considerado não melhor do que uma previsão constante de zero, com uma probabilidade estatística de 0,97 de que a diferença fosse devida ao acaso.

O estudo também observou se esses modelos poderiam ganhar dinheiro. Mesmo que um modelo não consiga prever o preço perfeitamente, ele ainda pode ser útil se puder guiar negociações lucrativas. Os pesquisadores simularam estratégias de trading baseadas nas previsões dos modelos, contabilizando os custos de compra e venda. Os resultados foram nítidos. Nenhum modelo gerou um lucro que pudesse superar um investimento livre de risco, mesmo quando os custos de transação foram definidos como zero. O modelo mais bem-sucedido nos gráficos de erro acabou sendo o pior desempenho em termos de dinheiro, porque suas previsões cautelosas levaram a uma estratégia que mal se movia, acumulando pequenas perdas contra o custo de capital. Isso confirmou que o ranking estatístico não era apenas enganoso, mas economicamente irrelevante.

Talvez a descoberta mais inquietante tenha ocorrido em relação às ferramentas usadas para explicar como esses modelos funcionam. No campo da inteligência artificial, pesquisadores frequentemente usam visualizações para mostrar em quais pontos de dados um modelo está prestando atenção, esperando provar que o sistema aprendeu padrões significativos. A equipe testou isso treinando seu modelo em dados onde o alvo (target) havia sido embaralhado aleatoriamente, destruindo qualquer relação real entre os inputs e o output. Um modelo treinado em tal ruído não pode possivelmente aprender nada. No entanto, quando analisaram esse modelo "quebrado", ele produziu explicações que pareciam quase idênticas às do modelo real. As visualizações mostraram as mesmas características sendo destacadas e os mesmos padrões de atenção. Isso sugere que essas ferramentas de interpretabilidade estão frequentemente refletindo a estrutura dos próprios dados, em vez do conhecimento específico que o modelo adquiriu. Elas não conseguem distinguir entre um modelo que aprendeu um segredo e um que aprendeu nada.

Os pesquisadores concluíram que todo o campo da previsão financeira precisa mudar a forma como reporta seus resultados. Eles recomendam que cada estudo deve incluir uma comparação contra a simples previsão zero para provar que um modelo possui qualquer habilidade. Eles também sugerem relatar uma medida de quanto as previsões do modelo variam, para garantir que uma baixa taxa de erro não seja apenas o resultado de ser excessivamente cauteloso. Sem essas verificações, a literatura fica repleta de modelos que parecem estar avançando o estado da arte, mas que estão, na verdade, apenas classificando-se pelo quão bem conseguem fingir que não são nada. O estudo não afirma que prever o mercado é impossível, nem diz que o aprendizado profundo é inútil. Simplesmente mostra que a forma atual de julgar o sucesso está quebrada e que, até que as regras sejam corrigidas, os vencedores no ranking podem não ser aqueles que realmente conseguem ver o futuro.