Decomposing Rank Reversals under Temporal Nonstationarity: Alignment, Aggressiveness, and Instability

No mundo das previsões financeiras, prever o futuro é uma batalha constante contra um cenário em constante mudança. Os dados nos quais os modelos se baseiam — preços de ações, indicadores econômicos, tendências de mercado — não permanecem estáticos. Eles derivam, mudam e, às vezes, desmoronam inteiramente. Esse fenômeno, conhecido como nãoestacionariedade, significa que um modelo treinado com os dados de ontem pode falhar amanhã porque as regras do jogo mudaram. Para lidar com isso, os previsores frequentemente ajustam quanto de histórico eles observam. Eles podem treinar um modelo com apenas o último mês de dados para manter a agilidade, ou com a última década para encontrar padrões estáveis. A suposição tem sido, há muito tempo, a de que mais dados são geralmente melhores, ou que modelos complexos e poderosos sempre superarão os mais simples se receberem informações suficientes. Mas na arena de alto risco de prever retornos de ações, a realidade é muito mais caótica. Às vezes, um modelo simples vence um complexo, e às vezes o contrário é verdadeiro, dependendo inteiramente de quanto histórico o modelo lhe é permitido ver.

Uma equipe de pesquisadores da Carnegie Mellon University descobriu a razão mecânica por trás dessas mudanças confusas de desempenho. Eles descobriram que a classificação dos modelos não muda aleatoriamente; ela oscila de uma forma previsível, impulsionada por três forças específicas: quão bem o modelo aponta na direção certa, quão agressivamente ele adivinha e quão instável são suas respostas quando os dados de treinamento mudam ligeiramente. Ao decompor o desempenho de quatorze sistemas de previsão diferentes — desde equações lineares simples até redes neurais complexas — através de enormes conjuntos de dados de ações e setores dos EUA, os autores demonstram que o título de "melhor" modelo não é fixo. Em vez disso, o vencedor depende de um equilíbrio delicado entre a duração do histórico de treinamento e a complexidade do modelo.

Os pesquisadores abordaram este problema tratando uma previsão não como um único número, mas como um objeto geométrico com três propriedades distintas. A primeira é o alinhamento, que mede se as previsões do modelo apontam para a mesma direção dos resultados futuros reais. Segundo é a agressividade, que mede o tamanho ou a magnitude da previsão em relação ao alvo. Finalmente, há a instabilidade, que captura o quanto a resposta do modelo oscila se você a retreinasse em uma fatia ligeiramente diferente dos mesmos dados. A equipe provou matematicamente que o sucesso geral de uma previsão é uma combinação desses três fatores: um modelo ganha pontos por um bom alinhamento, mas perde pontos se for muito agressivo ou muito instável.

A análise deles revelou um compromisso crítico que explica por que as classificações dos modelos se invertem. Modelos complexos, como redes neurais profundas ou árvores de reforço (boosted trees), têm uma vantagem natural em capturar padrões intrincados, mas essa vantagem vem com um custo. Quando o histórico de treinamento é curto, esses modelos complexos podem reagir exageradamente aos dados limitados, tornando-se altamente instáveis e fazendo palpites agressivos e selvagens que erram o alvo. Nesses cenários de janela curta, modelos mais simples costem vencer porque são mais estáveis e menos propensos a essas oscilações selvagens. No entanto, à medida que o histórico de treinamento se expande, os modelos complexos começam a se estabilizar. Eles usam os dados extras para refinar seus padrões, e sua instabilidade diminui. Eventualmente, se o histórico for longo o suficiente, sua capacidade superior de modelar relações complexas permite que eles ultrapassem os modelos mais simples.

O estudo mostrou que essa reversão não é um mistério, mas um evento calculável. Os pesquisadores derivaram uma fronteira matemática específica que prevê exatamente quando um modelo complexo começará a superar um modelo simples com base na duração da janela de treinamento. Eles validaram essa teoria através de simulações controladas onde podiam controlar precisamente a velocidade da deriva dos dados e o ruído no sistema. Nessas simulações, observaram que, conforme a deriva nos dados aumentava, a janela de treinamento ideal para modelos complexos diminuía, forçando-os a depender de dados mais recentes para evitar serem induzidos ao erro por padrões obsoletos. Por outro lado, quando os dados eram ruidosos, mas estáveis, históricos mais longos permitiam que os modelos complexos prosperassem.

Em testes do mundo real usando retornos diários de ações de dezessete diferentes setores dos EUA, a teoria se sustentou. Os pesquisadores descobriram que, quando modelos complexos como XGBoost ou Transformers tinham um desempenho inferior aos modelos de regressão ridge mais simples, era quase sempre porque os modelos complexos estavam sofrendo de um surto de agressividade mal calibrada. Eles estavam tentando adivinhar demais, e suas respostas eram voláteis demais. Quando os pesquisadores ajustaram os modelos para serem menos agressivos, a lacuna de desempenho desapareceu, provando que a falha não era devido a uma falta de compreensão dos padrões subjacentes, mas sim a uma incapacidade de escalar suas previsões corretamente. Além disso, descobriram que, ao tirar a média das previsões de múltiplas versões do mesmo modelo (uma técnica chamada ensembling), poderiam eliminar a penalidade de instabilidade inteiramente, recuperando um desempenho significativo que anteriormente havia sido perdido para o ruído.

O trabalho desafia a intuição comum de que se deve simplesmente restringir as janelas de treinamento para permanecer seguro em um mundo em mudança. Os autores argumentam que cortar cegamente dados antigos é uma estratégia inadequada. Em vez disso, a chave é entender a tensão específica entre a capacidade de um modelo de aprender padrões complexos e sua vulnerabilidade à instabilidade causada por dados limitados. Para os praticantes, isso significa que a decisão de usar um modelo de inteligência artificial sofisticado versus uma ferramenta estatística simples não deve ser baseada em uma preferência geral pela complexidade. Deve ser uma escolha calculada baseada no comprimento específico do histórico disponível e no nível atual de ruído no mercado. Se o histórico for curto e os dados forem voláteis, um modelo mais simples e estável é provavelmente a melhor escolha. Se o histórico for longo e os padrões forem profundos, o modelo complexo eventualmente vencerá, desde que seja ajustado para evitar reagir exageradamente aos dados.

Fundamentalmente, esta pesquisa fornece uma estrutura de diagnóstico para entender por que os modelos têm sucesso ou falham quando o mundo muda. Ela vai além de simplesmente medir qual modelo é melhor para explicar exatamente por que a classificação se inverte. Ao isolar os componentes específicos de uma previsão — alinhamento, agressividade e instabilidade — os autores mostraram que o desempenho de um modelo não é um traço fixo, mas uma resposta dinâmica à quantidade de histórico que lhe é dado. Esse insight permite que os previsores antecipem quando um modelo perderá sua vantagem e ajustem suas estratégias de acordo, transformando um problema caótico de seleção de modelos em um cálculo gerenciável de memória e complexidade.