Sentiment-Aware Stock Price Prediction with Transformer and LLM-Generated Formulaic Alpha

Este artigo apresenta um novo framework que utiliza um modelo de linguagem (LLM) para gerar automaticamente alfas formulaicos baseados em dados financeiros e sentimentos, os quais, ao serem integrados a modelos como Transformers, melhoram significativamente a precisão e a interpretabilidade das previsões de preços de ações.

O essencial

Imagine que tentar prever o preço das ações no mercado financeiro é como tentar adivinhar o tempo amanhã. Você olha para o céu (os dados históricos), sente o vento (as notícias) e tenta adivinhar se vai chover ou fazer sol. Tradicionalmente, os especialistas faziam isso usando fórmulas matemáticas complicadas criadas à mão, como se fossem receitas de bolo que os chefs (analistas) escreviam depois de anos de tentativa e erro. O problema? O mercado muda rápido, e essas "receitas" antigas param de funcionar (o que chamam de "decaimento de alpha").

Este artigo apresenta uma solução moderna e inteligente: usar uma Inteligência Artificial (IA) para criar novas receitas automaticamente e ensinar outra IA a cozinhar o prato final.

Aqui está a explicação passo a passo, usando analogias simples:

1. O Problema: As Receitas Velhas Estão Estragadas

Antes, os analistas humanos criavam "fórmulas mágicas" (chamadas de alphas) para prever ações. Era como se eles escrevessem: "Se a ação subiu 5% e o vento está do norte, então vai chover amanhã".
Mas o mercado é um lugar dinâmico. Assim que todo mundo descobre essa fórmula, ela deixa de funcionar. Criar novas fórmulas manualmente é lento, caro e depende da criatividade limitada de uma pessoa.

2. A Solução: O "Chef" IA (LLM)

Os autores usaram um modelo de linguagem gigante (como o GPT ou o DeepSeek mencionado no texto) como um Chef Criativo.

• O que ele faz: Em vez de apenas ler notícias, esse Chef recebe os ingredientes brutos: dados da ação (preço, volume), indicadores técnicos (como médias móveis) e, o mais importante, o sentimento das notícias.
• O Segredo (Sentimento de "Parentes"): O Chef não olha apenas para a empresa alvo (ex: Apple). Ele também olha para as empresas "parentes" (concorrentes, fornecedores, parceiros). Se a Tesla tem uma notícia ruim, isso pode afetar a Apple. O Chef entende essas conexões invisíveis.
• O Resultado: O Chef cria 5 novas "receitas" (fórmulas matemáticas) personalizadas para cada empresa. Ele explica o porquê de cada fórmula, tornando o processo transparente. Não é uma caixa preta; é um Chef que diz: "Fiz essa mistura porque notei que quando o sentimento da Amazon sobe, o da Pepsi tende a seguir".

3. O "Cozinheiro" IA (Transformer)

Agora, temos as novas receitas criadas pelo Chef. Mas quem vai cozinhar?

• Eles usam um modelo chamado Transformer (a mesma tecnologia por trás de muitos IAs modernos). Pense nele como um Cozinheiro Mestre que é especialista em sequências.
• O Cozinheiro pega as receitas do Chef, mistura tudo com os dados do passado e tenta prever o preço da ação para o dia seguinte.
• O Transformer é ótimo porque consegue lembrar de eventos distantes no tempo (como uma memória de longo prazo), algo que modelos antigos tinham dificuldade em fazer.

4. A Competição: Quem Cozinha Melhor?

Os autores colocaram esse time (Chef IA + Cozinheiro Transformer) contra outros cozinheiros famosos:

• Modelos Antigos: Como Redes Neurais Recorrentes (LSTM) ou máquinas de aprendizado tradicionais (Random Forest, XGBoost).
• O Resultado: O time do Transformer com as receitas do Chef IA venceu com folga.
  • As previsões foram muito mais precisas (erro menor).
  • As receitas criadas pela IA eram melhores do que as criadas por humanos ou por softwares automáticos simples.
  • O uso de sentimentos (notícias) ajudou a estabilizar o prato, tornando a previsão menos "tremida" e mais confiável.

5. Por que isso é importante?

• Velocidade: A IA cria novas receitas em segundos, combatendo o "decaimento" (quando as fórmulas velhas param de funcionar).
• Transparência: Diferente de outras IAs que são "caixas pretas" (você não sabe como elas pensam), aqui a IA explica a lógica da fórmula. Isso ajuda os investidores a confiar na decisão.
• Conexões Humanas: A IA consegue ver conexões que um humano poderia perder, como ligar o sentimento de uma empresa de tecnologia com o preço de um refrigerante, porque ambas dependem do humor do consumidor.

Resumo em uma frase:

Os autores criaram um sistema onde uma IA criativa (Chef) escreve novas regras de previsão baseadas em notícias e sentimentos, e outra IA inteligente (Cozinheiro) usa essas regras para prever o futuro das ações com muito mais precisão do que os métodos tradicionais.

É como ter um time de investidores onde um deles é um gênio da criatividade que sempre tem novas ideias, e o outro é um especialista em execução que sabe exatamente como aplicar essas ideias no mercado.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Sentiment-Aware Stock Price Prediction with Transformer and LLM-Generated Formulaic Alpha", apresentado em português:

1. Problema e Motivação

O mercado financeiro é um sistema complexo onde os preços das ações são influenciados por fundamentos, padrões técnicos, sentimentos e eventos externos. A previsão de preços de ações enfrenta dois desafios principais:

• Decaimento de Alpha (Alpha Decay): Fatores de previsão (alphas) criados manualmente perdem eficácia com o tempo à medida que mais traders os exploram. O processo tradicional de criação de novos alphas é lento, caro e limitado pela criatividade humana.
• Ruído e Não-Linearidade: Modelos tradicionais e até mesmo de Deep Learning muitas vezes lutam para capturar as relações não-lineares complexas e dependências de longo prazo nos dados financeiros quando utilizam apenas características brutas (preço, volume).

O artigo propõe superar essas limitações automatizando a geração de alphas formulísticos (fórmulas matemáticas que capturam padrões) utilizando Large Language Models (LLMs), integrando-os a modelos de previsão baseados em Transformers.

2. Metodologia

O framework proposto segue um pipeline de três etapas principais:

A. Coleta e Pré-processamento de Dados

• Dados de Ações: Dados históricos (Open, High, Low, Close, Volume) de cinco empresas (Apple, HSBC, Pepsi, Toyota, Tencent) de 2016 a 2024.
• Indicadores Técnicos: Cálculo de indicadores como SMA, EMA, RSI, MACD, Bandas de Bollinger e OBV.
• Análise de Sentimento: Coleta de notícias diárias sobre as empresas-alvo e suas empresas relacionadas (parceiros, concorrentes, fornecedores).
  • Empresas relacionadas são identificadas usando Reconhecimento de Entidades Nomeadas (NER) para encontrar co-ocorrências frequentes em artigos de notícias.
  • O sentimento é quantificado usando o VADER (Valence Aware Dictionary and sEntiment Reasoner) para gerar pontuações de polaridade diárias.

B. Geração de Alphas com LLM

• Um modelo LLM (especificamente o deepseek-r1-distill-llama-70b) é utilizado para gerar fórmulas de alphas.
• Prompting Estruturado: O LLM recebe instruções para criar 5 fórmulas distintas combinando:
  1. Características da ação (preço, volume).
  2. Indicadores técnicos.
  3. Dados de sentimento (da empresa-alvo e das empresas relacionadas).
• O LLM não apenas gera a fórmula, mas também fornece um raciocínio natural explicando a lógica por trás da combinação (ex: correlacionar o sentimento de um parceiro de negócios com a ação alvo).
• Essas fórmulas são convertidas em valores numéricos e normalizados (MinMax) para servir como features de entrada.

C. Modelo de Previsão (Transformer)

• Os alphas gerados pelo LLM são alimentados em um modelo Transformer (arquitetura encoder-decoder).
• Encoder: Processa as 5 fórmulas de alpha com uma janela deslizante de 5 dias, utilizando camadas de embedding convolucional 1D e temporal para capturar padrões e ciclos.
• Decoder: Prevê o preço de fechamento do dia seguinte.
• O modelo é treinado com a função de perda Mean Squared Error (MSE) e otimizado com Adam.

D. Comparativos

O desempenho do Transformer com alphas gerados por LLM foi comparado com:

• Outros modelos de Deep Learning: LSTM, TCN, Informer.
• Modelos de Machine Learning clássico: SVR, Random Forest, XGBoost.
• Fontes alternativas de Alphas: Alphas gerados por Featuretools (ferramenta automática de engenharia de features) e Alphas definidos por humanos (baseados no famoso trabalho "101 Formulaic Alphas").

3. Principais Contribuições

1. Geração Automatizada de Alphas com LLM: Propõe o uso de LLMs não apenas para análise de texto, mas para a criação estruturada de fórmulas matemáticas preditivas, superando a lentidão da engenharia manual.
2. Integração de Sentimento de Empresas Relacionadas: Demonstra que o sentimento de empresas conectadas (concorrentes, fornecedores) é uma variável crucial que melhora a precisão preditiva, algo que modelos tradicionais frequentemente ignoram.
3. Interpretabilidade: Diferente de features ocultas em redes neurais, os alphas gerados por LLM são fórmulas legíveis e acompanhadas de justificativas em linguagem natural, aumentando a transparência para tomada de decisão financeira.
4. Validação Estatística Rigorosa: Uso do teste Diebold-Mariano (DM) com correção HLN e ajuste de Holm-Bonferroni para provar que as melhorias de desempenho são estatisticamente significativas e não fruto de acaso.

4. Resultados Experimentais

• Desempenho Superior: O modelo Transformer alimentado com alphas gerados por LLM obteve consistentemente o menor MSE (Erro Quadrático Médio) entre todos os modelos testados para a maioria das ações.
• Significância Estatística: O teste Diebold-Mariano confirmou que o Transformer com alphas LLM é significativamente melhor (p < 0.01) do que LSTM, TCN, SVR e modelos de ensemble. A diferença em relação ao Informer não foi estatisticamente significativa, sugerindo que a arquitetura de atenção é o fator chave.
• Impacto do Sentimento: A inclusão de dados de sentimento (alvo + relacionados) reduziu o MSE e a variância (desvio padrão) em todas as execuções, indicando maior estabilidade e robustez.
• Comparação de Fontes de Alphas:
  • LLM-Generated: Melhor desempenho.
  • Featuretools: Desempenho intermediário, mas com fórmulas menos interpretáveis e mais redundantes.
  • Human-Defined (101 Alphas): Pior desempenho. Isso destaca o problema de decaimento de alpha e a incapacidade de fórmulas estáticas de se adaptarem a novas dinâmicas de mercado em comparação com a geração dinâmica por LLM.
• Estabilidade: A decomposição de variância mostrou que a maior parte da variação no desempenho deve-se à escolha do modelo (entre-modelos) e não à aleatoriedade do treinamento (dentro do modelo), confirmando a robustez da abordagem.

5. Significado e Conclusão

O estudo demonstra que a combinação de LLMs para engenharia de features e Transformers para modelagem temporal representa um avanço significativo na previsão de preços de ações.

• Combate ao Decaimento de Alpha: A capacidade do LLM de gerar continuamente novas fórmulas adaptadas ao contexto atual (incluindo sentimentos de empresas relacionadas) mitiga o problema de alphas se tornarem obsoletos.
• Tomada de Decisão: O framework oferece não apenas previsões mais precisas, mas também insights explicáveis, permitindo que analistas entendam por que um sinal foi gerado.
• Futuro: Embora o estudo tenha se limitado a cinco empresas, a metodologia é escalável. O trabalho sugere que a automação via LLM é o caminho para manter a vantagem competitiva em finanças quantitativas em um mercado em constante evolução.