Ensemble learning for time series forecasting using metaheuristic optimisation

Prever o futuro é um instinto humano, mas prever o futuro dos números é uma ciência notoriamente difícil. No mundo das finanças, a previsão de séries temporais é a tentativa de adivinhar qual será o preço de uma ação amanhã com base no que ela foi ontem, na semana passada e no ano passado. Os dados raramente são uma linha reta; eles são irregulares, ruidosos e em constante mudança, muito parecido com tentar prever o tempo durante uma tempestade. Como o mercado é tão volátil e imprevisível, confiar em um único método para fazer uma previsão é frequentemente como tentar navegar um navio com apenas uma bússola. Se essa bússola estiver ligeiramente errada, toda a jornada é comprometida. É por isso que pesquisadores recorreram ao "aprendizado de conjunto" (ensemble learning), uma estratégia onde múltiplos modelos de previsão diferentes são construídos e, então, combinados. Em vez de confiar em um único especialista, o sistema ouve um painel de especialistas, esperando que sua sabedoria combinada cancele os erros individuais e revele um caminho mais claro à frente.

O desafio, no entanto, reside em como combinar esses especialistas. Se você simplesmente pedir que cada modelo adivinhe e tire a média, poderá perder o fato de que um modelo está performando brilhantemente enquanto outro está enfrentando dificuldades. O verdadeiro truque é descobrir, em qualquer dado momento, quais modelos merecem mais confiança e quais devem ser menos ouvidos. Este é o problema específico abordado por uma equipe de pesquisadores da Índia que desenvolveu uma nova maneira de gerenciar esses grupos de modelos de previsão. Eles criaram dois sistemas distintos, um inspirado pela forma como os pássaros voam em bandos e outro baseado em uma abordagem matemática para lidar com a incerteza, para decidir dinamicamente quanto peso dar à previsão de cada modelo. O objetivo deles era construir um sistema que pudesse se adaptar em tempo real, mudando seu foco para os preditores mais confiáveis conforme as condições de mercado mudavam.

Para testar suas ideias, os pesquisadores voltaram-se para o mercado de ações indiano, um ecossistema financeiro vasto e complexo que testemunhou mudanças dramáticas nos últimos quinze anos, incluindo grandes reformas econômicas e uma pandemia global. Eles reuniram dados históricos de sete entidades diferentes: dois índices de mercado principais que rastreiam a saúde geral da economia e cinco das maiores empresas listadas na bolsa. Eles não confiaram em apenas um tipo de motor de previsão. Em vez disso, construíram um "painel" de três modelos diferentes de inteligência artificial, cada um com seus próprios pontos fortes. Um modelo foi projetado para encontrar padrões em dados estáticos, outro foi construído para lembrar tendências de longo prazo ao longo do tempo, e um terceiro é uma versão simplificada desse modelo baseado em memória, projetada para ser mais rápida. Esses três modelos foram treinados com os dados dos últimos quinze anos para aprender a prever o preço de fechamento do dia seguinte.

Uma vez que esses três modelos estivessem prontos, os pesquisadores aplicaram seus dois novos sistemas de gerenciamento para combinar suas previsões. O primeiro sistema, que chamaram de Ensemble PSO, funciona simulando um enxame de partículas em busca da melhor solução. Imagine um grupo de pássaros voando juntos; cada pássaro conhece sua própria melhor posição e a melhor posição encontrada por todo o bando. Eles ajustam constantemente sua trajetória de voo para se moverem em direção ao melhor ponto. Neste sistema computacional, os "pássaros" são diferentes combinações de pesos atribuídos aos três modelos. O sistema executa milhares de simulações, ajustando constantemente a mistura até encontrar o equilíbrio perfeito que minimize o erro entre o preço previsto e o preço real. O segundo sistema, Ensemble ARO, adota uma abordagem diferente. Ele trata a incerteza do mercado como uma variável a ser gerenciada matematicamente, encontrando um conjunto de pesos que permaneça robusto mesmo se o mercado se comportar de forma inesperada. Ele essencialmente pergunta: "Qual é a maneira mais segura de combinar essas previsões para que não sejamos pegos de surpresa?"

Os pesquisadores compararam esses dois novos sistemas contra os modelos individuais, uma média simples de todos os três e outros métodos de previsão avançados que foram utilizados no passado. Para fazer uma comparação justa entre todos os sete conjuntos de dados diferentes, eles desenvolveram uma nova maneira de pontuar os resultados. Em vez de olhar para apenas um número, como o quanto a previsão se afastou em média, eles observaram quatro medidas diferentes de precisão e as combinaram em uma pontuação única e abrangente. Isso permitiu que classificassem os modelos não apenas em um conjunto de dados, mas em todo o espectro de sete ações e índices diferentes.

Os resultados foram claros e consistentes. O sistema que utiliza a otimização baseada em enxame, o Ensemble PSO, superou consistentemente todos os outros métodos, incluindo os modelos individuais e as outras técnicas de ensemble. Provou ser o preditor mais confiável através das diferentes condições de mercado e períodos de teste. O segundo melhor desempenho foi do sistema que utiliza a abordagem de otimização robusta, o Ensemble ARO, que também superou significativamente os modelos padrão. O estudo descobriu que, embora modelos individuais como as redes de memória de longo prazo fossem bons em suas tarefas específicas, eles frequentemente tinham dificuldades quando o mercado se tornava muito volátil ou imprevisível. Ao ajustar dinamicamente os pesos, os novos sistemas de ensemble foram capazes de apoiar-se no modelo que estava performando melhor naquele momento específico, suavizando efetivamente os erros e fornecendo uma previsão mais precisa.

Os pesquisadores concluíram que sua abordagem oferece uma ferramenta poderosa para a previsão financeira. Ao usar a otimização metaheurística para gerenciar os pesos de diferentes modelos, eles criaram um sistema que é mais adaptável e preciso do que depender de um único algoritmo ou de uma média simples. As descobertas sugerem que, em um mundo de dados ruidosos e em mudança, a melhor maneira de prever o futuro não é encontrar o modelo perfeito único, mas construir uma equipe flexível de modelos que possa ser guiada por um sistema inteligente para trabalhar em conjunto. Este trabalho fornece um passo concreto sobre como podemos usar a inteligência artificial para navegar pelas complexidades do mercado de ações, oferecendo um método que é tanto escalável quanto robusto o suficiente para lidar com a imprevisibilidade do mundo real dos dados financeiros.