Sentiment Classification of Saudi Stock Market Tweets: Lexicon-Based Weak Supervision, Classical Machine Learning, and Zero-Shot Open-Source Large Language Models
Este estudo avalia a classificação de sentimento de tweets do mercado de ações saudita ao comparar modelos clássicos de aprendizado de máquina treinados com rótulos derivados de léxicos com um LLM de código aberto zero-shot, revelando que, enquanto os modelos clássicos meramente reproduzem rótulos baseados em regras potencialmente falhos, o LLM oferece uma perspectiva distinta e consciente do domínio que destaca a necessidade crítica de uma verdade fundamental anotada por humanos para validar a análise de sentimento financeiro.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo financeiro moderno, os preços não são definidos apenas por balanços patrimoniais e relatórios econômicos. Eles também são moldados pelo humor coletivo dos investidores, uma força que pode mudar os mercados em tempo real. Durante décadas, pesquisadores tentaram medir esse humor lendo notícias e postagens em redes sociais, procurando por palavras que sinalizam otimismo ou medo. Quando uma empresa anuncia um lucro, o tom é geralmente positivo; quando reporta um prejuízo, o tom é negativo. Esta tarefa é direta em inglês, onde existem dicionários de palavras emocionais e computadores podem facilmente contá-las. No entanto, o desafio torna-se muito mais complexo quando a língua é o árabe, especificamente o árabe usado nos movimentados mercados financeiros da Arábia Saudita. A língua é rica em variações de ortografia, dialeto e gramática, e as notícias financeiras frequentemente misturam anúncios factuais com opiniões genuínas, tornando difícil para programas de computador padrão diferenciarem uma coisa da outra.
Essa complexidade levou uma equipe de pesquisadores da Universidade King Khalid a investigar quão bem os computadores conseguem compreender o sentimento de tweets sobre o mercado de ações saudita. Eles focaram em uma questão específica: os métodos tradicionais usados para rotular esses tweets realmente funcionam ou eles simplesmente enganam o computador, fazendo-o memorizar um conjunto de regras? Para descobrir, eles reuniram mil tweets sobre empresas listadas na Bolsa de Valores Saudita, conhecida como Tadawul. Essas postagens vieram de uma mistura de veículos de notícias financeiras, analistas de mercado e traders individuais. Os pesquisadores queriam ver se poderiam ensinar um computador a reconhecer se um tweet era positivo, negativo ou neutro, e comparar duas abordagens muito diferentes: uma que depende de uma lista pré-definida de palavras e outra que utiliza um sistema de inteligência artificial moderno e poderoso, capaz de compreender o contexto sem ser explicitamente ensinado.
Os pesquisadores começaram com a abordagem tradicional, que é comum em muitos estudos deste tipo. Eles criaram uma lista de 180 termos financeiros, dividindo-os em palavras positivas como "lucro" e "crescimento", palavras negativas como "prejuízo" e "declínio", e palavras neutras como "análise". Eles então usaram essa lista para rotular os mil tweets automaticamente. Se um tweet continha uma palavra positiva, era marcado como positivo; se não possuía palavras correspondentes, era marcado como neutro. Uma vez que os tweets foram rotulados, eles treinaram quatro tipos diferentes de modelos computacionais clássicos para aprender com esses rótulos. O objetivo era ver se esses modelos poderiam reproduzir os rótulos que a lista havia atribuído. Os resultados foram surpreendentemente altos. Uma máquina de vetores de suporte linear, um dos modelos testados, coincidiu corretamente com os rótulos da lista em 86,1 por cento dos casos. Isso pareceu um sucesso, sugerindo que o computador aprendeu a entender o humor do mercado.
No entanto, os pesquisadores introduziram então uma ferramenta segunda, mais avançada: um grande modelo de linguagem chamado Qwen2.5. Diferente dos modelos clássicos, este sistema não foi treinado nos tweets rotulados. Em vez disso, ele foi solicitado a ler os tweets e decidir o sentimento por conta própria, usando apenas uma instrução simples para agir como um analista financeiro. Quando os pesquisadores compararam as decisões do grande modelo de linguagem com os rótulos baseados na lista original, a concordância foi surpreendentemente baixa. O modelo concordou com a lista em apenas 37,6 por cento dos tweets. A discrepância não foi aleatória. O grande modelo de linguagem tendia a rotular anúncios factuais, como declarações de dividendos ou relatórios de lucros, como positivos. A lista original, que dependia estritamente da correspondência de palavras específicas, havia rotulado esses mesmos anúncios como neutros porque careciam de palavras-chave emocionais.
Essa discordância revelou uma falha crítica no método original. Os pesquisadores perceberam que a lista de palavras e os tweets não haviam sido preparados da mesma forma. Os tweets haviam sido limpos e padronizados para lidar com diferentes grafias, mas a lista de palavras não havia sido. Como resultado, muitas palavras nos tweets não correspondiam às palavras na lista simplesmente devido a pequenas diferenças de ortografia, não porque o sentimento fosse diferente. Quando os pesquisadores corrigiram essa incompatibilidade aplicando as mesmas regras de limpeza à lista, a situação mudou dramaticamente. O número de tweets que coincidiam com a lista saltou de 42,4 por cento para 67,8 por cento. Mais importante ainda, a concordância entre o grande modelo de linguagem e a lista corrigida subiu para 57,5 por cento. Isso mostrou que grande parte da discordância inicial não se devia ao fato de a inteligência artificial estar errada, mas sim ao fato de os rótulos de referência serem falhos.
O estudo conclui que pontuações de precisão elevadas nestes tipos de pesquisa podem ser enganosas. Quando um modelo de computador atinge 86 por cento de precisão contra um conjunto de rótulos, isso muitas vezes significa que o modelo simplesmente aprendeu a seguir as mesmas regras rígidas usadas para criar esses rótulos, em vez de verdadeiramente compreender o sentimento. O grande modelo de linguagem, apesar da menor concordância com os rótulos falhos, pareceu capturar uma visão mais matizada do mercado, reconhecendo que notícias factuais sobre lucros são frequentemente um sinal positivo para os investidores. Os pesquisadores enfatizam que, para saber verdadeiramente qual método é o correto, um humano deve intervir para verificar os rótulos, pois nenhum programa de computador pode atualmente ser confiado para validar seus próprios dados de treinamento sem uma referência humana. Este trabalho serve como um lembrete de que, na pressa de automatizar a análise financeira, a qualidade dos dados usados para ensinar as máquinas é tão importante quanto as próprias máquinas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.