Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)
Este estudo de Fall 2023 da George Washington University demonstra que um pipeline utilizando Falcon-7B com Summarize Chains automatiza efetivamente a sumarização de notícias financeiras para dez grandes empresas, superando tanto abordagens baseadas em RAG quanto o baseline Lead-3, ao mesmo tempo em que destaca desafios persistentes como a alucinação em modelos menores.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Todos os dias, o mundo financeiro gera uma inundação de informações. Milhares de artigos aparecem online, cada um detalhando os movimentos de empresas, as decisões de executivos e as marés variáveis do mercado de ações. Para um investidor ou um analista que tenta acompanhar até mesmo um pequeno grupo dessas empresas, ler cada história individualmente é uma tarefa impossível. Perder um detalhe crucial pode significar a diferença entre um investimento inteligente e um erro dispendioso. É aqui que o campo do processamento de linguagem natural entra, especificamente o ramo conhecido como sumarização de texto. Por décadas, os computadores foram ensinados a ler documentos longos e extrair as sentenças mais importantes. Mais recentemente, surgiu uma nova geração de inteligência artificial, chamada modelos de linguagem de grande escala (LLMs). Estes são sistemas treinados em vastas quantidades de escrita humana que podem não apenas identificar frases fundamentais, mas também reescrever informações com suas próprias palavras, criando uma narrativa nova e concisa a partir de uma montanha de texto. A questão que se impôs aos pesquisadores foi se essas ferramentas poderosas poderiam ser confiadas para realizar este trabalho no mundo de alto risco das finanças, onde a precisão é inegociável e os dados vêm em duas formas muito diferentes: as histórias fluidas de artigos de notícias e as tabelas numéricas rígidas de preços de ações.
No outono de 2023, um pesquisador da George Washington University partiu para testar esta ideia. O objetivo era construir um sistema que pudesse reunir automaticamente notícias, históricos de empresas e dados do mercado de ações para dez grandes corporações e, então, produzir um único boletim diário de fácil leitura. O desafio era duplo. Primeiro, o sistema tinha que lidar com o volume de texto. Segundo, e talvez mais difícil, ele tinha que compreender números. Os modelos de linguagem de grande escala são excelentes em compreender a linguagem, mas frequentemente tropeçam quando confrontados com planilhas brutas de preços de ações e volumes de negociação. Eles podem ler uma coluna incorretamente, calcular uma porcentagem de forma errada ou simplesmente ignorar os números por completo. Para resolver isso, o pesquisador desenvolveu uma ponte simples, porém inteligente. Antes de alimentar a inteligência artificial com os dados, um programa de computador converteu os números brutos em frases de linguagem natural. Em vez de mostrar ao modelo uma tabela com uma data e um preço, o sistema escrevia uma frase como: "Em 4 de outubro, a ação fechou em 261,16, subindo 5,93 por cento, com um aumento de 27,20 por cento no volume de negociação". Isso permitiu que o modelo de linguagem focasse em resumir a história sem ter que fazer cálculos, uma tarefa para a qual não é naturalmente bom.
O pesquisador então testou duas maneiras diferentes de organizar essa informação para o computador ler. O primeiro método, chamado abordagem de Cadeias de Sumarização (Summarize Chains), funciona como uma corrida de revezamento. O sistema divide a longa coleção de notícias e informações de contexto em blocos menores. Ele pede ao computador para resumir o primeiro bloco, depois o segundo, e assim por diante. Finalmente, ele pega todos esses pequenos resumos e os combina em um resumo mestre. O segundo método, conhecido como geração aumentada por recuperação (RAG), é mais parecido com um bibliotecário. Quando o sistema precisa escrever um resumo, ele pesquisa em toda a coleção de documentos para encontrar as sentenças específicas que são mais relevantes para a pergunta atual e, então, entrega apenas essas sentenças selecionadas para o computador trabalhar. O estudo avaliou três modelos diferentes de inteligência artificial de código aberto usando estes métodos, juntamente com um modelo proprietário mais caro para os resumos de dados de ações.
Os resultados ofereceram um quadro claro do que funciona e do que não funciona. A abordagem mais bem-sucedida revelou-se ser o método de Cadeias de Sumarização utilizando um modelo de código aberto específico chamado Falcon-7B. Esta combinação conseguiu cobrir cada evento importante de notícias com precisão, preservando detalhes cruciais como o número exato de funcionários demitidos por um gigante da tecnologia, e fez isso sem se repetir ou inventar fatos. Em contraste, o método de recuperação, estilo bibliotecário, causou problemas significativos. Quando o sistema tentava recuperar muitas sentenças relevantes ao mesmo tempo, o computador ficava confuso, repetindo os mesmos três itens de notícias dezenas de vezes em um único resumo. Em outros casos, o método de recuperação levou o computador a confundir fatos, como atribuir uma multa paga por uma empresa a uma empresa completamente diferente. Esses erros, conhecidos como alucinações, ocorreram com mais frequência quando o computador recebia informação demais para classificar de uma só vez.
O estudo também confirmou que a estratégia de converter números em sentenças funcionou perfeitamente. Quando o computador recebeu as frases pré-escritas sobre os preços das ações, produziu resumos que eram factualmente precisos em todas as seis empresas testadas, sem inventar números ou cálculos incorretos. Isso provou que mover a matemática das mãos da inteligência artificial para um script de computador simples era a decisão correta. Embora o método de recuperação mostrasse promessa na teoria, o estudo descobriu que, na prática, introduzia erros e repetições excessivos para ser confiável para relatórios financeiros sem mudanças significativas. O pesquisador construiu um painel funcional que permite aos usuários visualizar gráficos de ações e ler esses resumos automatizados, demonstrando que o sistema é prático o suficiente para ser usado como uma ferramenta real. O trabalho sugere que, embora a inteligência artificial possa de fato automatizar a leitura de notícias financeiras, a maneira como a informação é alimentada à máquina importa tanto quanto a própria máquina. O caminho mais confiável, por enquanto, é deixar o computador fazer o que faz melhor — compreender a linguagem — enquanto deixa um script simples lidar com os números e organizar a informação de uma forma que impeça a máquina de ficar sobrecarregada.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.