Self-Supervised Auxiliary Task Discovery for Stable Reinforcement Learning in Stock Trading

O mundo do trading de ações tem sido, há muito tempo, um domínio onde a intuição humana batalha contra mercados caóticos e mutáveis. Por décadas, os traders confiaram em algoritmos para filtrar montanhas de dados, esperando encontrar padrões que previssem se um preço iria subir ou cair. Nos últimos anos, um tipo poderoso de inteligência artificial conhecido como aprendizado por reforço surgiu como uma ferramenta de destaque para essa tarefa. Imagine um agente digital aprendendo a negociar não por ser instruído sobre a resposta correta, mas por tentar ações, cometer erros e aprender lentamente com os lucros e prejuízos que experimenta. Essa abordagem é promissora porque pode se adaptar a condições de mudança, ao contrário de métodos antigos que assumem que o mercado se comporta da mesma forma hoje como se comportou ontem. No entanto, ensinar esses agentes a serem simultaneamente lucrativos e estáveis é incrivelmente difícil. O mercado financeiro é ruidoso e imprevisível, muitas vezes dando ao agente muito pouco feedback sobre se uma decisão específica foi boa ou má até muito mais tarde. Sem uma orientação clara, o agente pode ter dificuldade em aprender, tornando-se errático ou falhando em generalizar suas habilidades para novas condições de mercado.

Para ajudar esses agentes a aprender de forma mais rápida e confiável, pesquisadores frequentemente lhes dão tarefas extras, menores, para resolver paralelamente ao objetivo principal de ganhar dinheiro. Estas são chamadas de tarefas auxiliares. Tradicionalmente, especialistas têm que projetar manualmente essas tarefas extras, adivinhando o que poderia ajudar o agente a entender melhor o mercado, como prever a próxima mudança de preço ou estimar o quão volátil o mercado poderia ser. Mas o problema com essa abordagem manual é que o mercado muda constantemente. Uma tarefa que funciona bem durante um período de calma pode ser inútil ou até prejudicial durante um período turbulento. Se as tarefas auxiliares forem fixas em pedra, elas não podem se adaptar ao cenário mutável do mercado de ações, deixando o agente de trading com informações desatualizadas ou irrelevantes.

Uma equipe de pesquisadores do Instituto Indiano de Tecnologia de Mandi desenvolveu uma nova maneira de resolver este problema. Em vez de pedir a um humano para adivinhar quais tarefas extras poderiam ajudar, eles criaram um sistema que descobre essas tarefas automaticamente. Eles chamam seu novo framework de QUESTrader. A ideia central é deixar a inteligência artificial descobrir o que ela precisa aprender por conta própria. O sistema utiliza um design de rede dupla. Uma rede, o trader principal, aprende como comprar e vender ações para maximizar o lucro. A segunda rede atua como um gerador de perguntas. Ela propõe constantemente novas perguntas simples para o trader principal responder, tais como "o que o preço fará nos próximos dias?" ou "quanto o mercado se moverá?", baseando-se nos dados de fechamento diário e indicadores técnicos usados no estudo. Essas perguntas não são fixas; elas são geradas dinamicamente com base no que o sistema está experienciando no momento. O sistema então treina o trader principal para responder a essas perguntas enquanto ele negocia.

A genialidade desta abordagem reside em como o sistema decide quais perguntas valem a pena ser feitas. Os pesquisadores utilizam um mecanismo de aprendizado sofisticado que observa os resultados de longo prazo. Ele pergunta: "Responder a esta pergunta específica ajudou o trader a tomar melhores decisões mais tarde?" Se uma pergunta leva a um melhor desempenho de trading, o sistema ajusta seus parâmetros para continuar fazendo-a. Se uma pergunta acaba sendo uma distração, o sistema refina seus parâmetros para parar de gerá-la. Este processo garante que as tarefas auxiliares sejam sempre relevantes para as atuais condições de mercado. Os pesquisadores testaram este método em quatro grandes mercados globais: o Dow Jones Industrial Average nos Estados Unidos, o FTSE 100 no Reino Unido, o Sensex na Índia e o TAIEX em Taiwan. Eles compararam seu novo sistema contra uma ampla gama de estratégias existentes, incluindo métodos de investimento tradicionais, modelos de inteligência artificial padrão e outros sistemas que utilizam tarefas auxiliares projetadas manualmente.

Os resultados foram impressionantes. Em todos os quatro mercados, o sistema QUESTrader superou consistentemente os outros métodos. No mercado dos EUA, alcançou um retorno anual de 21,785 por cento, significativamente superior ao segundo melhor método, que conseguiu 18,176 por cento. Mais importante ainda, o sistema não estava apenas ganhando mais dinheiro; estava fazendo isso com maior estabilidade. Ele alcançou as pontuações de risco ajustado mais altas, o que significa que gerou mais lucro para cada unidade de risco assumida. Quando o mercado caiu, o agente QUESTrader perdeu menos dinheiro do que seus competidores. No mercado indiano, por exemplo, manteve uma perda máxima de 10,584 por cento, que foi muito inferior aos 17,783 por cento de perda vistos em outros modelos avançados. O sistema também se mostrou eficaz no mercado altamente volátil de Taiwan, onde entregou um retorno anual de 30,279 por cento, superando amplamente todas as outras abordagens.

Os pesquisadores descobriram que a chave para este sucesso foi a capacidade do sistema de adaptar suas tarefas auxiliares em tempo real. Ao descobrir automaticamente as perguntas certas a serem feitas, o agente de trading construiu uma compreensão mais rica e precisa do mercado. Aprendeu a reconhecer padrões que tarefas projetadas por humanos poderiam ter perdido. O estudo também explorou quantas perguntas o sistema deve fazer de uma só vez e quão longe no futuro ele deve olhar para julgar o valor de uma pergunta. Eles descobriram que um número moderado de perguntas, em torno de dezesseis a sessenta e quatro, funcionava melhor, e que olhar cerca de dez passos à frente no processo de aprendizado permitia ao sistema atribuir corretamente o crédito às perguntas certas pelo sucesso futuro. Este equilíbrio evitou que o sistema fosse sobrecarregado por excesso de informação ou confundido por olhar longe demais no futuro.

Este trabalho sugere que o futuro do trading automatizado pode não residir em humanos mais inteligentes projetando regras melhores, mas em máquinas mais inteligentes que podem ensinar a si mesmas no que prestar atenção. Ao deixar o sistema descobrir seus próprios objetivos de aprendizado, os pesquisadores criaram um agente de trading que é mais robusto, mais adaptável e, em última análise, mais lucrativo do que aqueles que dependem de instruções estáticas criadas por humanos. As descobertas indicam que, no mundo complexo e mutável das finanças, a capacidade de aprender o que aprender é tão importante quanto a capacidade de aprender como operar.