A Comparative Analysis of Machine Learning and Deep Learning Models for Tweet Sentiment Classification: A Case Study on the Sentiment140 Dataset

Resumo Técnico: Uma Análise Comparativa de Modelos de Aprendizado de Máquina e Aprendizado Profundo para Classificação de Sentimento em Tweets

Declaração do Problema
O crescimento exponencial das mídias sociais, particularmente o Twitter (X), gerou vastas quantidades de texto não estruturado e informal, caracterizado por gírias, abreviações e sarcasmo implícito. Embora a análise de sentimento automatizada seja essencial para o monitoramento em tempo real da opinião pública, há um debate contínuo sobre a eficácia de modelos complexos de Aprendizado Profundo (DL) versus abordagens tradicionais de Aprendizado de Máquina (ML) quando aplicadas a conjuntos de dados restritos ou de escala média. Modelos de aprendizado profundo frequentemente exigem volumes massivos de dados para otimizar milhões de parâmetros sem sobreajuste, enquanto modelos tradicionais dependem de extração robusta de características. Este estudo aborda a questão de saber se uma arquitetura sofisticada de Memória de Curto Prazo Longa Bidirecional (BiLSTM) pode superar um modelo clássico de Regressão Logística quando treinado em um subconjunto limitado de dados informais de tweets.

Metodologia
A pesquisa utilizou um subconjunto de 10.000 tweets do conjunto de dados público Sentiment140, que originalmente continha 1,6 milhão de tweets anotados via supervisão distante. O conjunto de dados era estritamente binário (Classe 0: Negativo, Classe 1: Positivo).

O estudo implementou um pipeline completo de Processamento de Linguagem Natural (PLN) comparando duas arquiteturas distintas:

1. Pré-processamento de Dados: Um pipeline rigoroso foi aplicado a todo o texto, incluindo normalização de caixa (case folding), limpeza de dados (remoção de URLs, menções, hashtags e caracteres não-ASCII), tokenização e preenchimento/corte para um comprimento máximo de sequência de 50 tokens. Um vocabulário de 4.425 tokens únicos foi estabelecido.
2. Modelo de Referência (Aprendizado de Máquina): Um classificador de Regressão Logística foi treinado utilizando vetorização TF-IDF (Frequência de Termo-Frequência Inversa de Documento). Os pesos TF-IDF foram calculados para enfatizar palavras raras globalmente, mas frequentes em documentos específicos, criando vetores esparsos de alta dimensão adequados para classificação linear.
3. Modelo de Aprendizado Profundo: Uma arquitetura LSTM Bidirecional (BiLSTM) foi construída usando PyTorch. Configurações-chave incluíram:
   • Dimensão de incorporação: 128
   • Dimensão oculta: 128
   • Número de camadas: 2 (Bidirecional)
   • Probabilidade de Dropout: 0,3
   • Otimizador: Adam com perda de Entropia Cruzada Binária
   • Duração do treinamento: 6 épocas com tamanho de lote de 64.
4. Avaliação: Os modelos foram avaliados usando Acurácia, Precisão, Revocação e Pontuação F1. Curvas de aprendizado foram analisadas para diagnosticar capacidades de generalização e sobreajuste.
5. Implantação: Ambos os modelos foram integrados em um aplicativo web interativo usando Streamlit e hospedados no Hugging Face Spaces para demonstrar prontidão para produção.

Principais Resultados
Os resultados experimentais indicaram que a abordagem tradicional de Aprendizado de Máquina superou a abordagem de Aprendizado Profundo neste conjunto de dados específico:

• Regressão Logística (TF-IDF): Alcançou uma acurácia de 73,5%. O modelo demonstrou generalização estável, com a lacuna entre a acurácia de treinamento e validação estreitando-se à medida que o tamanho da amostra de treinamento aumentava.
• BiLSTM: Alcançou uma acurácia de 69,17%. O modelo exibiu sinais claros de sobreajuste. Embora a acurácia de treinamento tenha aumentado abruptamente para quase 95% na última época, a acurácia de validação estagnou em torno de 70% após a segunda época.

Análise da Curva de Aprendizado
O estudo destacou uma divergência crítica nas dinâmicas de aprendizado:

• O modelo de Regressão Logística mostrou convergência saudável, onde o aumento do volume de dados melhorou o desempenho de validação, sugerindo que aprendeu com sucesso limites de decisão lineares no espaço semântico esparso.
• O modelo BiLSTM, por outro lado, falhou em generalizar devido à escassez de dados. O espaço massivo de parâmetros (mais de 1,2 milhão de parâmetros treináveis) em relação ao conjunto de dados de 10.000 amostras fez com que a rede memorizasse ruídos e idiossincrasias em vez de extrair regras linguísticas generalizadas.

Significado e Alegações
O artigo afirma que, para dados de texto de escala média e altamente informais, o aprendizado de máquina clássico com extração robusta de características (TF-IDF) pode produzir resultados superiores em relação a arquiteturas complexas de aprendizado profundo. As descobertas desafiam a suposição de que algoritmos mais complexos garantem universalmente melhor desempenho, particularmente quando os dados são limitados.

O estudo conclui que a vantagem teórica do BiLSTM em capturar contexto sequencial foi ofuscada pela "armadilha de memorização" causada pelo volume restrito do conjunto de dados. A pesquisa conecta com sucesso a lacuna entre a ciência de dados teórica e a engenharia prática ao implantar ambos os modelos em interfaces web funcionais e acessíveis, provando sua viabilidade operacional apesar da disparidade de desempenho.

Direções Futuras
Os autores sugerem modestamente que a escalabilidade dos dados de treinamento para as 1,6 milhão de amostras completas do conjunto de dados Sentiment140 provavelmente permitiria que o BiLSTM superasse a referência linear. Adicionalmente, propõem que a integração de incorporações contextuais pré-treinadas (por exemplo, Word2Vec, GloVe) ou a transição para arquiteturas baseadas em Transformers (por exemplo, BERT) poderiam aprimorar a compreensão semântica de tweets sarcásticos ou implícitos em futuras iterações.