Transformer Models for Text Summarization: A Comparative Study of BART, BERT, and RoBERTa

Em um mundo onde a informação chega mais rápido do que conseguimos ler, a habilidade de destilar um documento longo em seus pontos essenciais tornou-se uma competência vital. Este é o domínio da sumarização automática de texto, um campo da ciência da computação dedicado a ensinar máquinas a ler, compreender e condensar a linguagem humana. Por décadas, pesquisadores tentaram resolver isso ensinando computadores a ou selecionar as frases mais importantes de um texto ou a reescrever o conteúdo inteiramente com novas palavras. O primeiro método, frequentemente chamado de extrativo, é como destacar as melhores linhas de um livro; o segundo, conhecido como abstrativo, é mais como um jornalista reescrevendo uma história para um público diferente. Recentemente, uma nova geração de programas de computador, construída sobre uma estrutura chamada transformer, assumiu o controle deste campo. Esses programas são treinados em quantidades massivas de texto para aprender como a linguagem funciona, permitindo-lhes realizar essas tarefas de sumarização com velocidade e precisidade notáveis.

Uma equipe de pesquisadores da Universidade Estadual da Pensilvânia recentemente propôs-se a comparar três dos programas mais populares desta nova geração: BERT, RoBERTa e BART. Embora todos os três sejam construídos sobre a mesma tecnologia fundamental, eles são projetados com diferentes estruturas internas e métodos de treinamento, tornando-os adequados para diferentes tipos de trabalho. Os pesquisadores queriam entender exatamente como essas diferenças afetam sua capacidade de resumir artigos de notícias. Eles não inventaram novos modelos, mas, em vez disso, submeteram esses três modelos existentes a um teste rigoroso para ver qual performava melhor sob condições específicas. Para fazer isso, utilizaram uma coleção de histórias reais de notícias e os resumos escritos por humanos que as acompanhavam, um conjunto padrão de materiais para este tipo de pesquisa. Como estavam trabalhando com poder computacional limitado, não puderam usar o conjunto de dados completo e massivo, então selecionaram uma parte menor e gerenciável contendo 15.000 histórias para treinamento e 100 para teste.

O experimento revelou uma divisão clara na forma como esses modelos abordam a tarefa. Os dois primeiros modelos, BERT e RoBERTa, são projetados para compreender o texto, mas não para gerar novas frases. Neste estudo, eles foram usados para realizar a sumarização extrativa, o que significa que tiveram que identificar e selecionar as frases mais importantes diretamente do artigo original. O terceiro modelo, BART, é construído de forma diferente; possui uma estrutura que lhe permite gerar novo texto do zero, tornando-o um sumarizador abstrativo. Quando os pesquisadores rodaram os testes, os resultados mostraram que o modelo projetado para geração, o BART, produziu resumos significativamente mais próximos das referências escritas por humanos do que os outros dois. Na linguagem do campo, que mede quantos termos e frases se sobrepõem entre a saída do computador e a do humano, o BART pontuou muito mais alto. Ele alcançou uma pontuação de aproximadamente 0,41 em sua medida primária, enquanto o melhor dos modelos extrativos, o RoBERTa, pontuou apenas cerca de 0,18.

O estudo também destacou as diferenças entre os dois modelos extrativos. O RoBERTa, que é uma versão refinada e mais robusta do BERT original, superou consistentemente o BERT quando ambos receberam o mesmo tempo de treinamento e dados. Isso sugere que a maneira como um modelo é inicialmente ensinado a compreender a linguagem importa tanto quanto como ele é aplicado a uma tarefa específica. No entanto, a lacuna entre os modelos extrativos e o modelo generativo foi muito maior. Os pesquisadores observaram que, embora o BART produzisse resumos que fluíam melhor e capturavam o significado de forma mais natural, ele foi avaliado em um estado no qual não havia sido especificamente treinado no conjunto de dados de notícias, ao passo que os outros dois modelos foram ajustados (fine-tuned) para a tarefa. Mesmo com essa vantagem dada aos modelos extrativos, a abordagem generativa ainda dominou os resultados.

Apesar do alto desempenho do modelo generativo, os pesquisadores apontaram trocas importantes (trade-offs). O modelo que cria novas frases, o BART, é excelente em produzir um texto fluente e legível, mas carrega o risco de "alucinação", onde pode inventar um detalhe ou alterar levemente um fato para fazer a história fluir melhor. Em contraste, os modelos extrativos, que simplesmente copiam frases da fonte, são garantidos em sua precisão factual porque nunca inventam nada, mas seus resumos podem às vezes parecer truncados ou desconexos. O estudo também reconheceu que os resultados foram moldados pelas restrições de seu equipamento; eles realizaram os experimentos em processadores de computador padrão em vez de chips especializados de alta velocidade, o que limitou quanto dado podiam processar.

Em última análise, o trabalho confirma que a arquitetia de um modelo dita suas forças. Se o objetivo é obter um resumo rápido e factualmente seguro extraindo frases-chave, os modelos extrativos como o RoBERTa são uma escolha sólida. Mas se o objetivo é produzir uma reescrita suave e humana de um documento, o modelo generativo BART é muito superior, mesmo sem treinamento extra nos dados específicos. Os pesquisadores concluíram que, embora essas ferramentas sejam poderosas, a escolha entre elas depende de se valoriza a fidelidade factual estrita ou a fluidez da linguagem natural. À medida que o campo avança, o próximo passo será provavelmente testar esses modelos em tópicos especializados como direito ou medicina, onde o equilíbrio entre fluidez e precisão absoluta torna-se ainda mais crítico.