Can News Predict the Market? Limits of Zero-Shot Financial NLP and the Role of Explainable AI

Resumo Técnico: O Noticiário Pode Prever o Mercado? Limites do NLP Financeiro Zero-Shot e o Papel da IA Explicável

Definição do Problema
O artigo aborda o desafio não resolvido de saber se as notícias financeiras podem prever de forma confiável os movimentos de curto prazo do mercado de ações utilizando Modelos de Linguagem de Grande Escala (LLMs) sem o ajuste fino (fine-tuning) específico do domínio. Embora as notícias financeiras sejam uma fonte primária para interpretar o sentimento do mercado, a conversão dessas informações em previsões confiáveis é dificultada pelo ruído dos dados, duplicação entre veículos de comunicação, linguagem implícita e o complexo desalinhamento temporal entre a publicação da notícia e a reação do mercado. As abordagens existentes frequentemente dependem de modelos supervisionados treinados em conjuntos de dados rotulados, que têm dificuldade em generalizar através de mudanças nos regimes de mercado. Por outro lado, as abordagens zero-shot oferecem flexibilidade, mas correm o risco de produzir sinais não confiáveis devido à sensibilidade ao prompt e à falta de estrutura temporal. Os autores investigam se um pipeline zero-shot estruturado e consciente do impacto pode superar essas limitações para fornecer suporte à decisão confiável, mesmo que a acurácia preditiva bruta permaneça baixa.

Metodologia
Os autores propõem um pipeline de predição zero-shot consciente do impacto, consistindo em quatro estágios:

1. Aquisição de Dados e Alinhamento Temporal:

   • As notícias são recuperadas via API Finnhub para empresas específicas e janelas de predição (1, 3, 5, 7, 14 e 31 dias).
   • Um período de retrospectiva (lookback) dinâmico é calculado para equilibrar a cobertura recente com informações obsoletas.
   • Os artigos são mapeados para sessões de negociação de mercado específicas (Horário de Verão dos EUA), garantindo que artigos publicados após o fechamento do mercado sejam transferidos para a próxima sessão válida, a fim de alinhar os tempos de reação do mercado.

2. Pré-processamento e Filtragem de Relevância:

   • Deduplicação: A deduplicação baseada no título retém a versão mais antiga ou a mais longa de uma história.
   • Correspondência de Entidades: Os artigos são filtrados para garantir que a empresa alvo seja mencionada no título ou no corpo do texto.
   • Filtragem de Nível de Sentença: Um modelo de Inferência de Linguagem Natural (NLI) zero-shot (DeBERTa) filtra textos repetitivos (boilerplate), avisos legais e sentenças irrelevantes com base em uma hipótese de relevância.

3. Ponderação de Artigos Consciente do Impacto:

   • Ponderação de Recência: Os artigos são ponderados com base no número de dias de negociação decorridos, usando um parâmetro de decaimento ajustado para horizontes de predição específicos.
   • Classificação de Horizonte de Evento: Um classificador NLI zero-shot categoriza os artigos em nove famílias de eventos (ex: lucros, M&A, ações regulatórias). Cada família recebe horizontes de impacto primários e secundários baseados na literatura de estudo de eventos.
   • Ponderação de Horizonte: Uma função de ponderação Gaussiana alinha o tempo de impacto esperado do artigo com a janela de predição.
   • Peso Final: Um peso composto combina recência, alinhamento de horizonte, cobertura de fonte (logarítmica) e um desconto para artigos que contenham apenas o título.

4. Predição e Explicabilidade:

   • Classificação de Sentimento: Um modelo RoBERTa realiza classificação NLI zero-shot com hipóteses para "bullish" (otimista), "bearish" (pessimista) e "neutral" (neutro). Diferente do softmax padrão, o modelo utiliza pontuação sigmoide para tratar os rótulos de forma independente.
   • Mecanismo de Abstenção: As predições são emitidas apenas se os escores excederem limiares ajustados ($\tau_{pos}=0,56, \tau_{neg}=0,26$), permitindo que o sistema se abstenha quando a evidência for fraca.
   • Estrutura de Explicabilidade: O sistema gera explicações de múltiplas camadas, incluindo:
     • Nível de token: Atribuições LIME para sentenças influentes.
     • Nível de artigo: Análise de contribuição contrastiva e análise de greedy flip-set (remoção de artigos para testar a estabilidade da predição).
     • Nível agregado: Sinalizadores de qualidade de evidência (ex: evidência tênue, concentração de peso, diversidade de fontes) e resumos de linguagem natural fundamentados gerados por um LLM local.

Principais Contribuições

1. Desenvolvimento de Pipeline: A criação de um pipeline zero-shot consciente do impacto que integra filtragem de relevância da empresa, ponderação de recência, ponderação de horizonte de impacto dependente do evento e predição baseada em abstenção de três vias.
2. Estrutura de Explicabilidade: Um framework de múltiplas camadas que vincula predições a atribuições de nível de token, contribuições de artigos, verificações de robustez (flip-set analysis) e racionalidades de linguagem natural fundamentadas.
3. Avaliação Abrangente: Uma avaliação em um conjunto de dados de 480 casos cobrindo 20 empresas listadas nos EUA em cinco setores e seis horizontes de predição, comparando a configuração NLI zero-shot proposta contra baselines adaptados ao domínio (FinBERT, FinGPT) e de propósito geral (Llama 3.1, Mistral 7B).
4. Descobertas Empíricas sobre Limites: Evidência demonstrando que, embora o NLP zero-shot tenha dificuldades com a acurácia direcional (particularmente para movimentos negativos), a explicabilidade estruturada e os diagnósticos de qualidade de evidência podem distinguir efetivamente entre predições confiáveis e não confiáveis.

Resultos

• Desempenho Preditivo: Nenhum modelo, incluindo o pipeline zero-shot proposto, excedeu a linha de base da classe majoritária (48,4%) em acurácia bruta no conjunto de teste (holdout). Isso indica que a predição de ações de curto horizonte baseada apenas no sentimento das notícias continua sendo altamente difícil.
• Comparação de Modelos: O pipeline NLI baseado em RoBERTa proposto alcançou o maior Macro-F1 (0,3409) entre os modelos testados, superando FinBERT, FinGPT e LLMs generativos. Isso sugere que a acurácia de sentimento de benchmark não se traduz diretamente em predição de ações em nível de pipeline.
• Dificuldade da Classe Negativa: Todos os modelos tiveram dificuldades significativas em prever movimentos negativos. Modelos baseados em argmax identificaram apenas 1 de 38 casos negativos, enquanto o RoBERTa ajustado por limiar identificou 9. Os autores atribuem isso à relação fraca entre o sentimento do artigo e a direção subsequente do preço, visto que retornos negativos são frequentemente impulsionados por condições de mercado mais amplas ou expectativas não atendidas que não são capturadas no texto da notícia.
• Variância de Horizonte e Setor: O desempenho atingiu o pico no horizonte de 3 dias. O desempenho por setor variou, com ações de Consumo mostrando maior acurácia (em grande parte devido a predições neutras) e Saúde mostrando a menor, provavelmente devido à complexidade de fatores regulatórios e legais.
• Valor da Explicabilidade: A camada de explicabilidade forneceu utilidade prática. Casos classificados como "HIGH" (ALTA) em qualidade de evidência alcançaram 49,4% de acurácia (ligeiramente acima da linha de base), enquanto casos classificados como "LOW" (BAIXA) caíram para 26,3%. A análise de flip-set revelou que 10,4% das predições eram frágeis (mudando após a remoção de um único artigo), enquanto a mediana exigia a remoção de 10 artigos para alterar o rótulo.

Significância e Alegações
O artigo conclui que o NLP financeiro zero-shot não deve ser visto como uma fonte autônoma de sinais de negociação confiáveis de forma isolada, pois falha em superar consistentemente as linhas de base simples em acurácia direcional. No entanto, os autores argumentam por uma mudança de perspectiva: o principal valor do NLP financeiro zero-shot em cenários de alto risco reside no suporte à decisão transparente.

Ao organizar evidências, quantificar o alinhamento temporal, avaliar a robustez e fornecer classificações de confiabilidade, a estrutura proposta permite que os usuários entendam quando e por que uma predição pode ser confiável ou não. O estudo destaca que, embora o mapeamento do sentimento das notícias para a dinâmica de preços seja estruturalmente limitado, a capacidade de expor a evidência subjacente e a incerteza através da IA explicável oferece um valor prático significativo para a gestão de riscos e análise de investimentos.