🤖 machine learning

CLaC@FinMMEval 2026 Task 3: Sentiment-Augmented Deep Reinforcement Learning for Active Trading -- An Alpha-Reward Approach

Este artigo apresenta um sistema de aprendizado por reforço profundo aumentado por sentimento para a CLaC@FinMMEval 2026 Task 3, demonstrando que um agente DDPG utilizando o sentimento de notícias do LLaMA 3.2 e recompensas baseadas em alfa supera significativamente as estratégias de buy-and-hold em TSLA e BTC, ao mesmo tempo em que destaca os desafios de generalizar políticas de regimes de mercado de alta para de baixa.

Autores originais: Andrei Neagu, Eeham Khan, Leila Kosseim

Publicado 2026-07-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Andrei Neagu, Eeham Khan, Leila Kosseim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a jogar um videogame muito difícil: o mercado de ações. O objetivo deste jogo não é apenas ganhar pontos; é superar a pontuação de um jogador que nunca para de jogar, nunca muda sua estratégia e apenas mantém seu personagem durante todo o tempo (uma estratégia chamada "buy-and-hold" ou compra e manutenção). O jogo é caótico, cheio de efeitos sonoros barulhentos, reviravoltas repentinas e um fluxo constante de manchetes de notícias que podem mudar as regras. Para vencer, você precisa de um agente inteligente que consiga olhar para a tela, ler as notícias, sentir o ritmo do jogo e decidir se deve seguir em frente, ficar parado ou recuar. Este é o mundo do Aprendizado por Reforço Profundo (Deep Reinforcement Learning - DRL). Pense no DRL como um método onde uma IA aprende por tentativa e erro, recebendo um "high-five" (recompensa) quando faz um bom movimento e um "desapontamento" (penalidade) quando comete um erro. O artigo que você está prestes a ler explora como construir o robô de negociação definitivo para dois personagens muito diferentes: uma empresa de tecnologia chamada Tesla (TSLA) e uma moeda digital chamada Bitcoin (BTC).

Os pesquisadores da Universidade de Concordia propuseram-se a construir um sistema de negociação que não apenas adivinha; ele aprende. Eles trataram o mercado de ações como uma fase complexa de um videogame onde o jogador (a IA) tem que tomar uma decisão diária: ir Long (apostar que o preço vai subir), ir Flat (ficar de fora) ou ir Short (apostar que o preço vai cair). Para ajudar a IA a fazer essas escolhas, eles a alimentaram com três tipos de informações: Indicadores Técnicos (como velocímetros e linhas de tendência desenhadas a partir de preços passados), Ciclos de Calendário (saber se é segunda-feira ou o fim do mês, porque os mercados às vezes agem de forma diferente nesses dias) e Pontuações de Sentimento (um "anel de humor" para as notícias, calculado por uma IA superinteligente que lê artigos para ver se as pessoas estão felizes ou assustadas com o ativo).

A equipe treinou quatro tipos diferentes de "cérebros" de IA para jogar este jogo: Policy Gradient (PG), Proximal Policy Optimization (PPO), Deep Q-Learning (DQL) e Deep Deterministic Policy Gradient (DDPG). Mas aqui está a parte inteligente: em vez de apenas recompensar a IA por ganhar dinheiro, eles deram a ela uma "Recompensa Alpha" especial. Imagine se você estivesse correndo contra um amigo; em vez de apenas te recompensar por correr rápido, você só ganha pontos se correr mais rápido que seu amigo. Isso forçou a IA a focar em superar a linha de base "buy-and-hold" em vez de apenas ter sorte porque o mercado inteiro estava subindo. Eles também fizeram com que as sessões de treinamento começassem em momentos aleatórios para que a IA não apenas memorizasse o roteiro de um jogo específico, mas aprendesse a lidar com qualquer situação.

Quando testaram esses robôs com dados reais de 2025, os resultados foram uma mistura de triunfo e uma lição dura sobre o futuro. Para a Tesla, o robô DDPG foi a estrela, obtendo um retorno massivo de 54,96%, enquanto o robô DQL ficou em segundo lugar próximo, com 52,62%. Ambos esmagaram a estratégia "buy-and-hold", que rendeu apenas 16,45%. O robô DDPG foi particularmente bom em evitar problemas, mantendo suas perdas (drawdown) muito menores que os outros.

No entanto, o teste do Bitcoin foi um nível muito mais difícil. O mercado tornou-se um mercado de baixa (bear market), onde os preços despencaram, e a estratégia "buy-and-hold" perdeu um enorme 34,27%. Nesta tempestade, o robô DDPG foi o único que conseguiu se manter à tona, terminando com um ganho pequeno, mas positivo, de 1,58%. Os outros robôs, incluindo o DQL, que parecia incrível durante o treinamento, tiveram dificuldade em se adaptar à mudança repentina de um mercado em ascensão para um mercado em queda.

O artigo sugere que, embora esses agentes de IA possam aprender a negociar de forma eficaz, eles ainda são sensíveis ao "clima" do mercado. O algoritmo DDPG provou ser o mais robusto, lidando tanto com os dias ensolarados da Tesla quanto com os dias de tempestade do Bitcoin melhor do que os outros. No entanto, os pesquisadores encontraram uma lacuna complicada: o robô que parecia ser o melhor durante o treinamento (DQL) nem sempre venceu no teste real, especialmente quando o regime de mercado mudou de um mercado de alta (bull market) para um mercado de baixa (bear market). Isso nos diz que, embora a IA possa aprender a navegar nos mares financeiros, ela ainda precisa ter cuidado para não se acostumar demais com águas calmas, pois a próxima onda pode ser um tsunami. Em última análise, o estudo mostra que combinar o sentimento das notícias com algoritmos de aprendizado inteligentes pode ajudar a vencer o mercado, mas o "melhor" robô depende fortemente de que tipo de mercado ele está enfrentando.

Resumo Técnico: CLaC @ FinMMEval 2026 Task 3

Definição do Problema

Este artigo aborda a Tarefa 3 do Laboratório CLEF 2026 FinMMEval, um desafio que exige o desenvolvimento de um agente de negociação automatizado capaz de tomar decisões diárias (Long, Flat ou Short) para dois ativos distintos: Bitcoin (BTC) e Tesla (TSLA). O agente deve sintetizar dados multimodais, incluindo preços históricos de mercado, indicadores técnicos e artigos de notícias diários, para maximizar métricas de desempenho como Retorno Acumulado (CR), Índice de Sharpe (SR) e Drawdown Máximo (MDD). A dificuldade central reside em navegar pelas complexas dinidades não lineares do mercado e se adaptar a mudanças de regime (ex: transição de mercados de alta para mercados de baixa) enquanto evita o sobreajuste (overfitting) aos dados históricos de treinamento.

Metodologia

1. Formulação do Processo de Decisão de Markov (MDP)

O problema de negociação é formulado como um MDP de ação discreta $(\mathcal{S}, \mathcal{A}, \mathcal{R}, \mathcal{P}, \gamma)$ :

Espaço de Estados ( $\mathcal{S}$ ): Um vetor de 15 dimensões compreendendo:
- Dinâmica de Preços: Retornos logarítmicos.
- Estado do Agente: Posição anterior ( $p_{t-1} \in \{-1, 0, 1\}$ ) para contabilizar custos de transação.
- Codificações de Calendário: Representações cíclicas seno/cosseno de Dia da Semana, Dia do Mês e Mês do Ano para capturar sazonalidade.
- Indicadores Técnicos: EMA (10, 50) normalizada, RSI (14), MACD, Bandas de Bollinger e Mudança de Volume Logarítmica.
- Sentimento: Uma pontuação de sentimento diária derivada de artigos de notícias.
Espaço de Ações ( $\mathcal{A}$ ): Conjunto discreto $\{-1 \text{ (short)}, 0 \text{ (flat)}, 1 \text{ (long)}\}$ .
Função de Recompensa ( $\mathcal{R}$ ): Utiliza uma formulação de Recompensa Alpha (ver Contribuições) em vez do retorno bruto do portfólio.
Dinâmicas de Transição: Assumidas como exógenas (suposição de tomador de preço), onde as ações do agente não influenciam os preços de mercado.

2. Processamento de Dados e Engenharia de Atributos (Feature Engineering)

Fontes de Dados: Dados históricos de preço/volume do Yahoo Finance (2010–2022 para TSLA; 2014–2022 para BTC) e artigos de notícias do conjunto de dados Financial News Multi-Source.
Análise de Sentimento: O sentimento das notícias diárias é pontuado usando LLaMA 3.2 1B Instruct em um cenário zero-shot. Os artigos são truncados nas primeiras 300 palavras (manchete e lide) para focar nos sinais principais. O modelo realiza uma única passagem direta (forward pass), extraindo logits para os tokens "positivo", "negativo" e "neutro". A pontuação de sentimento é calculada como $P(\text{positivo}) - P(\text{negativo})$ , limitada ao intervalo $[-1, 1]$ .
Alinhamento Temporal: Para evitar viés de antecipação (look-ahead bias), artigos publicados após o fechamento do mercado são deslocados para o próximo dia de negociação para TSLA, enquanto o BTC (24/7) é ancorado às datas do calendário UTC.
Divisões do Conjunto de Dados: Divisões cronológicas foram utilizadas: Treinamento (pré-2023), Validação (2023–2024, um período de mercado de alta/bull market) e Teste (2025–2026, contendo um mercado de baixa/bear market para BTC).

3. Algoritmos de Aprendizado por Reforço Profundo (DRL)

Quatro algoritmos foram implementados e comparados:

Policy Gradient (PG): Ator baseado em LSTM com retornos de Monte Carlo e bônus de entropia.
Proximal Policy Optimization (PPO): Ator-crítico baseado em LSTM com objetivo substituto recortado (clipped surrogate objective) e GAE.
Deep Q-Learning (DQL): Rede feed-forward com atualizações Double DQN e replay de experiência.
Deep Deterministic Policy Gradient (DDPG): Ator-crítico com espaço de ação contínuo discretizado via limiares ( $\pm 0.33$ ) e ruído de Ornstein-Uhlenbeck para exploração.

4. Estratégia de Treinamento

Recompensa Alpha: A recompensa é definida como o excesso de retorno sobre o mercado: $r_t = \log(V_t/V_{t-1}) - \log(c_t/c_{t-1})$ . Isso incentiva o agente a superar a linha de base de compra e manutenção (buy-and-hold) em vez de focar no lucro absoluto.
Inícios de Episódio Aleatórios: Os episódios de treinamento começam em dias aleatórios para evitar a memorização de sequências fixas e melhorar a generalização.
Otimização de Hiperparâmetros: Realizada via Ray Tune com 180 tentativas por par algoritmo-ativo.
Seleção de Modelo: Os modelos foram selecionados com base no Índice de Sharpe de Validação, aplicando-se parada antecipada (early stopping).

Principais Contribuições

Representação de Estado Multimodal: O artigo demonstra que a combinação de indicadores técnicos, codificações cíclicas de calendário e pontuações de sentimento derivadas de LLM cria um sinal de estado eficaz para agentes de DRL.
Formulação da Recompensa Alpha: Os autores introduzem e analisam uma recompensa alpha que treina os agentes para maximizar o excesso de retorno sobre o mercado. Eles estabelecem três propriedades teóricas:
- Ela é igual ao log-alpha da estratégia quando somada ao longo de um episódio.
- Sob suposições de tomador de preço, ela compartilha as mesmas políticas ótimas que as recompensas de log-retorno bruto.
- Atua como uma covariável de controle de redução de variância, reduzindo significativamente a variância do estimador de gradiente em ambientes de alta volatilidade.
Comparação Algorítmica Abrangente: Uma avaliação rigorosa de PG, PPO, DQL e DDPG com otimização de hiperparâmetros revela que o DDPG oferece o desempenho mais robusto em ambos os ativos, destacando simultaneamente a sensibilidade da seleção de modelos baseada em validação às mudanças de regime de mercado.

Resultados

Desempenho em TSLA (Período de Teste)

Baseline (Buy-and-Hold): 16,45% CR, SR 0,61.
DDPG: Alcançou 54,96% CR e SR 1,44, com o menor Drawdown Máximo (MDD) de 19,20%.
DQL: Alcançou 52,62% CR e SR 1,38, mas com um MDD mais alto (35,76%).
PG e PPO: Desempenharam abaixo da linha de base ou ficaram significativamente atrás dos melhores modelos.

Desempenho em BTC (Período de Teste)

Baseline (Buy-and-Hold): -34,27% CR, SR -0,87 (mercado de baixa severo).
DDPG: O único modelo a alcançar um retorno positivo (1,58%) com um SR de 0,23 e MDD de 35,30%. Ele conseguiu mitigar as perdas do mercado ao mudar para posições flat/short durante as quedas.
PG: Reduziu as perdas para -14,53%, mas permaneceu negativo.
DQL e PPO: Desempenharam significativamente abaixo, com DQL atingindo -23,22% e PPO -33,80%.

Lacuna de Generalização (Generalization Gap)

Uma lacuna significativa de generalização entre validação e teste foi observada, particularmente para o BTC. O período de validação (2023–2024) foi um mercado de alta sustentado, levando modelos como o DQL (que teve o maior SR de validação) a sofrer overfitting para o momentum de alta. Consequentmente, o DQL falhou em generalizar para as condições de mercado de baixa do teste, enquanto a arquitetidade de espaço de ação contínua e ator-crítico do DDPG proporcionou melhor adaptabilidade às mudanças de regime.

Significância e Alegações

O artigo afirma que a integração da análise de sentimento baseada em LLM com o Aprendizado por Reforço Profundo é uma abordagem viável para negociação algorítmica, desde que:

Modelagem de Recompensa (Reward Shaping): O uso de uma recompensa alpha alinha o objetivo de treinamento com o objetivo competitivo de superar o mercado, reduzendo o overfitting aos movimentos absolutos de preço.
Seleção de Algoritmo: O DDPG demonstra robustez superior no tratamento de mudanças de regime em comparação com métodos on-policy recorrentes (PG, PPO) e métodos de valor puramente off-policy (DQL), particularmente em ambientes voláteis e de baixa.
Limitações da Validação: O estudo destaca uma limitação crítica no ML financeiro: a seleção de modelos baseada em uma única janela de validação (especialmente uma que coincide com um mercado de alta) pode levar a uma má generalização em subsequentes mercados de baixa. Os autores observam que, embora o DQL tenha sido selecionado para a competição real com base nas métricas de validação, o DDPG provou ser superior no período de teste real, ressaltando a dificuldade de adaptar políticas treinadas em mercados de alta para condições de mercado de baixa.

Os autores concluem que, embora seu sistema tenha alcançado um outperformance substancial sobre a linha de base de compra e manutenção (especialmente em TSLA e na preservação de capital em BTC), a lacuna de generalização observada sugere a necessidade de trabalhos futuros envolvendo validação cruzada walk-forward e RL hierárquico para capturar melhor estratégias dependentes de regime.