Resumo Técnico: Do Índice à Ação: Pré-treinamento de Transformers para Previsão de Retornos Acionários

Declaração do Problema

Prever preços de ações permanece um desafio formidável devido à natureza caótica e não estacionária dos mercados financeiros, influenciados por uma interação complexa de fatores econômicos, políticos e sociais. Modelos tradicionais de previsão frequentemente lutam contra a volatilidade inerente e as mudanças de distribuição entre os períodos de treinamento e teste. Embora aplicações recentes de arquiteturas Transformer na previsão financeira tenham mostrado promessa, elas tipicamente exigem conjuntos de dados massivos para aprender relações contextuais de forma eficaz. Esta pesquisa aborda o desafio específico de melhorar a precisão da previsão para ações individuais na Bolsa de Valores de Toronto (TSX), aproveitando estratégias de aprendizado por transferência. A hipótese central é que o pré-treinamento em dados de mercado agregados (o Índice TSX) pode ajudar os modelos a aprender padrões generalizados antes do ajuste fino nos dados mais voláteis e ruidosos de ações individuais.

Metodologia

Dados e Engenharia de Atributos

O estudo utilizou um conjunto de dados de 1.853 tickers da TSX abrangendo o período de 17 de março de 1980 a 4 de julho de 2023, compreendendo mais de 4,9 milhões de registros diários. Os dados foram obtidos via API do Yahoo Finance.

• Variáveis Alvo: O estudo abordou duas tarefas:
  1. Classificação: Prever a direção dos retornos intradiários (positivo vs. negativo).
  2. Regressão: Prever o valor específico dos retornos intradiários.
• Atributos: Os atributos de entrada incluíram dados de defasagem histórica e um conjunto de indicadores técnicos amplamente utilizados na indústria financeira, como Estocástico %K, Taxa de Variação de Preço (ROC), Índice de Força Relativa (RSI), Oscilador de Acumulação/Distribuição (AccDO), Convergência-Divergência de Médias Móveis (MACD) e várias Médias Móveis Exponenciais (MME).
• Estrutura de Entrada: Para modelos de aprendizado profundo (Transformers e LSTMs), as entradas foram estruturadas como sequências de 10 dias com 15 atributos por dia. Para o XGBoost, estes foram achatados em um vetor de 150 atributos.
• Pré-processamento: Os dados passaram por escalonamento min-max baseado nas estatísticas do conjunto de treinamento. Valores atípicos em indicadores técnicos (causados por erros de divisão por zero) foram substituídos por valores neutros (50 para %K, 0 para AccDO), e retornos intradiários extremos (>2) foram limitados para mitigar distorção de escalonamento. O primeiro ano de dados de cada ação foi excluído para reduzir o comportamento inicial imprevisível.

Arquitetura do Modelo e Estratégia de Treinamento

A pesquisa comparou várias arquiteturas:

1. Transformer: Um modelo consistindo em quatro blocos de codificador seguidos por três camadas densas totalmente conectadas (128, 64 e 32 nós).
2. LSTM: Um modelo de referência substituindo os blocos de codificador do Transformer por quatro camadas LSTM.
3. XGBoost: Um modelo de boosting de gradiente treinado com hiperparâmetros específicos (100 estimadores, taxa de aprendizado 0,03, profundidade máxima 9).
4. Ensemble: Uma média das previsões dos modelos de aprendizado profundo ajustados e do modelo XGBoost.

A Abordagem de Pré-treinamento:
A contribuição metodológica central foi um processo de treinamento em duas etapas:

1. Pré-treinamento: Os modelos foram primeiro treinados nos dados do Índice TSX para prever a direção dos retornos intradiários. Esta etapa utilizou dados de mercado agregados para aprender dinâmicas de mercado generalizadas.
2. Ajuste Fino: Os pesos pré-treinados foram transferidos para modelos treinados em dados de ações individuais. Para a tarefa de regressão, os modelos de classificação foram further ajustados substituindo a camada de saída para prever valores de retorno contínuos.

Configuração Experimental

• Divisão de Dados: Os dados de treinamento cobriram 2010–2022; os dados de validação foram de 2022; e o conjunto de teste retido cobriu 2023 até 1º de dezembro de 2023.
• Métricas de Avaliação:
  • Classificação: Acurácia, Precisão, Pontuação F1 e Perda de Entropia Cruzada Binária.
  • Regressão: Erro Quadrático Médio (MSE).
  • Desempenho da Carteira: Retornos diários médios de uma estratégia comprando as 5 melhores e vendendo a descoberto as 5 piores ações previstas diariamente.
• Aplicação: Um aplicativo baseado em Streamlit foi desenvolvido para visualizar previsões em tempo real e indicadores técnicos, demonstrando a implantação prática dos modelos.

Resultados Principais

Desempenho de Classificação

O pré-treinamento no Índice TSX melhorou significativamente a capacidade do Transformer de generalizar para ações individuais.

• Redução da Perda: O pré-treinamento reduziu a perda de entropia cruzada binária para a previsão de ações individuais de 0,6942 (inicialização aleatória) para 0,6404.
• Acurácia vs. F1: Embora o Transformer de base tenha alcançado a maior acurácia de teste (0,6667), ele falhou em prever efetivamente a classe minoritária (retornos positivos), resultando em precisão e pontuação F1 de 0,0000. O modelo XGBoost alcançou o desempenho geral de classificação mais forte com as maiores pontuações F1 (F1 de Teste: 0,5675) e precisão.
• Comparação: O Transformer ajustado superou o LSTM ajustado nas métricas de classificação, mas foi superado pelo XGBoost.

Desempenho de Regressão

Na tarefa de regressão, modelos de aprendizado profundo com pré-treinamento demonstraram superioridade em minimizar o erro.

• MSE: O Transformer ajustado alcançou o menor MSE de teste (5,682e-9), superando ligeiramente o LSTM ajustado (5,683e-9). Ambos os modelos de aprendizado profundo superaram significativamente o XGBoost (9,923e-9) e o Ensemble (6,147e-9) em termos de precisão de regressão.
• Retornos da Carteira: Apesar da superior precisão de regressão do Transformer, o modelo Ensemble gerou o maior retorno diário médio da carteira (0,0069), seguido pelo XGBoost (0,0059). Os modelos Transformer e LSTM renderam retornos menores (0,0003 e 0,0002, respectivamente).
• Análise: Os autores observam que modelos com menor MSE (Transformers/LSTMs) tendiam a selecionar ações com retornos previstos mais próximos de zero, enquanto os modelos XGBoost e Ensemble selecionaram ações com maior variação de retorno, levando a lucros realizados mais altos neste cenário específico de backtesting.

Significado e Alegações

O artigo alega modestamente que, embora os retornos absolutos alcançados tenham sido positivos, mas relativamente modestos, o estudo fornece evidências da eficácia do aprendizado por transferência na previsão financeira.

• Valor do Pré-treinamento: A principal descoberta é que o pré-treinamento em dados de índice de mercado agregados ajuda os modelos a aprender padrões generalizados, suavizando as flutuações caóticas inerentes aos dados de ações individuais. Esta abordagem reduziu com sucesso a perda e melhorou a precisão de regressão em comparação com a inicialização aleatória.
• Compensações de Arquitetura: A pesquisa destaca uma distinção entre minimizar o erro de previsão (MSE) e maximizar a lucratividade comercial. Enquanto os Transformers se destacaram na precisão de regressão, métodos de ensemble e modelos baseados em árvores (XGBoost) provaram ser mais eficazes em capturar a variância necessária para estratégias comerciais lucrativas neste contexto específico.
• Aplicação Prática: O desenvolvimento de um aplicativo funcional demonstra a viabilidade de integrar esses modelos em sistemas de suporte comercial em tempo real.

Os autores concluem que, embora a dificuldade inerente dos dados do mercado de ações limite o desempenho, a metodologia proposta oferece uma direção promissora para melhorar as previsões de ações individuais. Trabalhos futuros são propostos para aumentar a capacidade do modelo, incorporar indicadores globais mais amplos e integrar estratégias de gerenciamento de risco para filtrar ações de baixa previsibilidade.