Impact of LLMs news Sentiment Analysis on Stock Price Movement Prediction

Este estudo avalia o impacto da análise de sentimentos de notícias baseada em LLMs (DeBERTa, RoBERTa e FinBERT) na previsão de movimentos de preços de ações, demonstrando que o DeBERTa individualmente atinge 75% de precisão, um ensemble dos três modelos chega a 80% e que as características de sentimento oferecem benefícios modestos a diversos modelos de previsão.

O essencial

Imagine que você é um investidor tentando adivinhar se o preço de uma ação vai subir ou descer amanhã. O mercado financeiro é como um oceano agitado: cheio de ondas (dados históricos), mas também influenciado pelo clima (notícias).

Este artigo de pesquisa é como um manual de sobrevivência para navegar nesse oceano usando dois tipos de bússolas: dados históricos (o preço do passado) e análise de sentimentos (o que as notícias dizem sobre a empresa).

Aqui está a explicação do que os pesquisadores descobriram, traduzida para uma linguagem simples:

1. O Grande Desafio: Prever o Futuro

Prever o preço das ações é difícil. É como tentar adivinhar o resultado de uma partida de futebol apenas olhando para a tabela de classificação dos últimos 10 anos. Você precisa de mais informações. Os pesquisadores decidiram usar a "inteligência artificial" para ler as notícias financeiras e ver se o "humor" do mercado (positivo, negativo ou neutro) ajuda a prever o futuro.

2. Os "Leitores" de Notícias (Os Modelos de IA)

Os autores testaram três "robôs leitores" diferentes, todos baseados em Inteligência Artificial (LLMs), para ler milhares de manchetes de notícias:

• FinBERT: Um especialista treinado apenas para ler finanças (como um economista júnior).
• RoBERTa: Um leitor geral muito inteligente (como um professor de literatura).
• DeBERTa: Outro leitor geral, mas com uma tecnologia mais avançada para entender o contexto (como um professor sênior com anos de experiência).

A Descoberta: O DeBERTa foi o vencedor! Ele entendeu as notícias com mais precisão (75% de acerto) do que os outros dois.

3. A Estratégia da "Equipe" (O Modelo Ensemble)

Mas os pesquisadores tiveram uma ideia brilhante: e se, em vez de confiar em apenas um leitor, formássemos um comitê?
Eles criaram um sistema onde os três robôs leem a notícia juntos e votam. O resultado final é uma decisão de "consenso".

• O Resultado: A equipe (o modelo combinado) ficou ainda mais inteligente, acertando cerca de 80% das vezes. É como ter três especialistas reunindo-se para tomar uma decisão: o grupo erra menos do que qualquer indivíduo sozinho.

4. Como as Notícias Entram no Jogo?

Ter as notícias é uma coisa; usá-las corretamente é outra. Imagine que você tem 100 notícias sobre a Apple em um único dia. Como transformar isso em um dado útil?
Eles criaram métodos para "resumir" o dia:

• Qual foi o sentimento geral (soma)?
• Qual foi o sentimento mais pessimista (mínimo)?
• Qual foi o sentimento mais otimista (máximo)?
• Qual foi a votação da maioria?

Eles descobriram que usar todos esses resumos juntos ajuda os modelos de previsão a entenderem melhor a "tempestade" ou o "sol" do dia.

5. O Impacto nas Previsões de Ações

A parte mais importante: essas notícias ajudam a prever o preço?

• Para prever se vai subir ou descer (Classificação): Sim! Adicionar o sentimento das notícias ajudou modelos tradicionais (como o LSTM) e modelos modernos a serem mais precisos.
• Para prever o valor exato (Regressão): Aqui foi interessante. Modelos muito modernos e complexos (chamados PatchTST e TimesNet) melhoraram bastante quando receberam as notícias. Eles conseguiram prever o valor da ação com menos erro.
• O Contraste: Alguns modelos mais simples não mudaram muito com as notícias. É como se alguns carros de corrida precisassem de um combustível especial (notícias) para acelerar, enquanto outros já rodavam bem com gasolina comum.

Resumo da Ópera (Conclusão)

Este estudo nos ensina que:

1. A IA lê bem: Modelos modernos como o DeBERTa são ótimos para entender o humor das notícias financeiras.
2. Três é melhor que um: Juntar vários modelos de IA cria uma "super-bússola" mais precisa.
3. Notícias ajudam, mas não são mágicas: Elas melhoram a previsão, especialmente para modelos de IA mais avançados, mas não garantem lucro garantido. O mercado é complexo e as notícias são apenas uma peça do quebra-cabeça.

Em suma, os pesquisadores mostraram que, ao combinar a leitura inteligente de notícias com modelos matemáticos modernos, conseguimos navegar um pouco melhor no oceano turbulento das ações.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "IMPACT OF LLMS NEWS SENTIMENT ANALYSIS ON STOCK PRICE MOVEMENT PREDICTION", aceito no workshop AFA da ICLR 2026, apresentado em português:

1. Problema e Motivação

A previsão de preços de ações é um desafio complexo devido à volatilidade causada por fatores econômicos, técnicos e políticos. Embora a análise de sentimento de notícias seja amplamente reconhecida como um fator correlacionado com as variações de preços, a literatura existente apresenta lacunas significativas:

• Trabalhos anteriores tendem a avaliar modelos de análise de sentimento e modelos de previsão de ações de forma isolada.
• Falta uma compreensão profunda sobre como diferentes arquiteturas de Grandes Modelos de Linguagem (LLMs) se comparam em tarefas financeiras específicas.
• Há uma escassez de estudos que integrem as saídas de sentimento (em diferentes representações) com arquiteturas modernas de séries temporais (como Patch-based Transformers e Graph Neural Networks).

O objetivo deste trabalho é preencher essas lacunas avaliando sistematicamente o impacto de diferentes LLMs na previsão de movimentos de preços de ações e testando a eficácia da fusão desses sentimentos com modelos de séries temporais de última geração.

2. Metodologia

Modelos de Análise de Sentimento

Os autores compararam três LLMs baseados em Transformers para classificação de sentimento financeiro:

1. FinBERT: Variante especializada em finanças, ajustada em grandes corpora financeiros.
2. RoBERTa: Versão otimizada de propósito geral do BERT.
3. DeBERTa: Outra versão otimizada de propósito geral, conhecida por sua eficiência em tarefas específicas.

Além disso, foram criados modelos de ensemble (Random Forest, Regressão Logística e SVM) treinados nas saídas combinadas desses três modelos para melhorar a precisão da classificação de sentimento.

Modelos de Previsão de Ações (Downstream)

Para a tarefa de previsão, foram utilizados quatro modelos de séries temporais representando famílias arquitetônicas distintas:

• LSTM: Rede de Memória de Curto e Longo Prazo (baseline para modelagem sequencial).
• PatchTST: Arquitetura baseada em Transformers que utiliza mecanismos de "patching" para segmentação temporal.
• TimesNet: Modelo que utiliza modelagem de variação temporal em espaço bidimensional.
• tPatchGNN: Integração de patching temporal com Redes Neurais de Grafos (GNN) para capturar dependências relacionais entre ativos.

Dados e Representação

• Ativos: Microsoft (MSFT), Amazon (AMZN), Apple (AAPL), Netflix (NFLX) e Tesla (TSLA).
• Período: 10 de março de 2022 a 2 de abril de 2025.
• Fontes: Dados de preços do Yahoo Finance e notícias via API AlphaVantage (mais de 96.000 notícias).
• Agregação Diária: Como múltiplas notícias ocorrem no mesmo dia, os autores criaram representações diárias agregando: soma de scores de sentimento, mínimos/máximos, contagem de notícias por classe e voto majoritário.
• Tarefas:
  • Classificação: Previsão binária de tendência (alta vs. baixa).
  • Regressão: Previsão do fator de preço (mudança percentual).

Configuração Experimental

Os dados foram divididos temporalmente (70% treino, 10% validação, 20% teste) para evitar viés de "olhar para o futuro". Todos os experimentos foram repetidos 10 vezes com diferentes sementes aleatórias para garantir robustez.

3. Resultados Principais

Desempenho dos Modelos de Sentimento

• DeBERTa superou os outros modelos individuais, alcançando 75,2% de precisão na classificação de sentimento.
• FinBERT e RoBERTa obtiveram resultados inferiores (70,9% e 58,9%, respectivamente).
• Modelos de Ensemble: A combinação dos três modelos através de um classificador SVM resultou no melhor desempenho global, atingindo cerca de 80% de precisão, demonstrando a complementaridade dos modelos (eles acertam notícias diferentes).

Impacto na Previsão de Ações (Classificação)

• A inclusão de características de sentimento melhorou o desempenho de classificadores baseados em LSTM, PatchTST e tPatchGNN.
• O modelo LSTM com features de sentimento (especialmente FinBERT) alcançou o melhor equilíbrio geral, com um AUC de 0,562 (vs. 0,545 sem sentimento).
• Curiosamente, o modelo de ensemble (SVM) que teve melhor desempenho na classificação de sentimento não foi necessariamente o que melhor guiou a previsão de ações em todas as arquiteturas, indicando que a melhor métrica de sentimento não se traduz linearmente em melhor previsão de mercado.

Impacto na Previsão de Ações (Regressão)

• PatchTST e TimesNet mostraram ganhos substanciais com a integração de sentimento.
  • Para o PatchTST, o uso de sentimento reduziu o erro médio absoluto (MAE) em até 0,186 e o erro quadrático médio (RSE) em mais de 2 pontos em comparação com a linha de base sem sentimento.
  • Para o TimesNet, a redução foi ainda mais pronunciada, com o RoBERTa gerando os maiores ganhos.
• Em contraste, LSTM e tPatchGNN mostraram sensibilidade mínima à integração de sentimento, com alguns casos apresentando desempenho ligeiramente melhor sem as features de sentimento.

4. Contribuições Chave

1. Avaliação Comparativa Abrangente: Primeiro estudo a comparar sistematicamente FinBERT, RoBERTa e DeBERTa no contexto de previsão de ações, identificando o DeBERTa como o modelo individual mais forte.
2. Validação de Ensemble: Demonstração de que modelos de ensemble (especificamente SVM) podem elevar a precisão de análise de sentimento financeira para ~80%, superando modelos individuais.
3. Análise de Arquitetura Específica: Revelação de que o benefício do sentimento de notícias não é universal; ele melhora significativamente modelos baseados em Transformers modernos (PatchTST, TimesNet) e LSTM, mas tem impacto limitado ou negativo em modelos baseados em GNN (tPatchGNN) para certas tarefas.
4. Reprodutibilidade: Disponibilização completa do código e configurações experimentais.

5. Significado e Conclusão

O trabalho conclui que a análise de sentimento baseada em LLMs é uma ferramenta valiosa, mas seu impacto depende criticamente da arquitetura do modelo de previsão de ações escolhido.

• Para tarefas de regressão (previsão de magnitude de preço): Modelos como PatchTST e TimesNet beneficiam-se enormemente da incorporação de dados de texto.
• Para tarefas de classificação (tendência): A melhoria é mais modesta e depende da combinação correta do modelo de sentimento com o classificador.

A pesquisa sugere que, embora os LLMs tenham revolucionado a extração de sinais de texto, a fusão eficaz desses sinais com dados financeiros estruturados exige uma seleção cuidadosa da arquitetura de séries temporais, pois nem todos os modelos modernos se beneficiam igualmente de informações não estruturadas. O uso de ensembles de LLMs é recomendado para maximizar a qualidade dos dados de entrada antes da previsão.