A Comparative Analysis of Classical Machine Learning and Deep Learning Approaches for Sentiment Classification on IMDb Movie Reviews

Resumo Técnico: Uma Análise Comparativa de Abordagens de Aprendizado de Máquina Clássico e Aprendizado Profundo para Classificação de Sentimento em Resenhas de Filmes do IMDb

Enunciado do Problema
A análise de sentimento é uma tarefa crítica no Processamento de Linguagem Natural (PLN) voltada para determinar a polaridade de dados textuais, como resenhas de filmes. Embora as abordagens de aprendizado profundo (DL) tenham ganhado destaque por sua capacidade de aprender automaticamente representações de características e capturar dependências sequenciais, elas frequentemente demandam recursos computacionais significativos e tempo de treinamento. Por outro lado, os métodos clássicos de aprendizado de máquina (ML) são conhecidos por sua eficiência, mas dependem fortemente da engenharia manual de características. Este estudo aborda a necessidade de compreender as compensações entre esses dois paradigmas em termos de desempenho, eficiência e praticidade quando aplicados ao conjunto de dados de resenhas de filmes do IMDb.

Metodologia
A pesquisa emprega um quadro comparativo que avalia pipelines de ML clássico e DL em um subconjunto balanceado do conjunto de dados IMDb (50.000 amostras, divididas igualmente entre sentimentos positivos e negativos).

• Pré-processamento de Dados:
  • Pipeline de ML: Utilizou um pipeline baseado em EDA (Análise Exploratória de Dados) envolvendo normalização de texto e extração de características TF-IDF (Frequência do Termo–Frequência Inversa do Documento).
  • Pipeline de DL: Implementou limpeza de texto (minúsculas, remoção de URL/HTML, filtragem de não alfabéticos), amostragem estratificada de 10.000 instâncias, codificação de rótulos e preenchimento de sequências.
• Abordagem de Aprendizado de Máquina:
  • Implementado usando PyCaret AutoML com vetorização TF-IDF.
  • Modelos avaliados incluíram Regressão Logística, Naive Bayes e Máquina de Vetores de Suporte (SVM).
• Abordagem de Aprendizado Profundo:
  • Implementado usando PyTorch em um subconjunto de 10.000 amostras.
  • Duas arquiteturas foram avaliadas:
    1. LSTM Bidirecional (BiLSTM): Para capturar dependências sequenciais nas direções forward e backward.
    2. BiLSTM com Mecanismo de Atenção: Para aprimorar a representação contextual focando em palavras significativas dentro da sequência.
  • Os hiperparâmetros incluíram um tamanho de vocabulário de 5.000, dimensão de incorporação de 64, 1 camada oculta, taxa de dropout de 0,3 e treinamento por 3 épocas com parada antecipada.

Principais Contribuições
O artigo delineia quatro contribuições primárias:

1. Pipelines de Pré-processamento Duplos: Fluxos de trabalho distintos para ML (EDA baseado em Jupyter Notebook e TF-IDF) e DL (limpeza baseada em script Python e amostragem estratificada).
2. Implantação de Modelo de ML: Um modelo de aprendizado de máquina construído com PyCaret e serializado como sentiment_model.pkl para inferência eficiente.
3. Framework de DL: Uma implementação comparativa das arquiteturas BiLSTM e BiLSTM com Atenção.
4. Implantação Interativa: Ambos os modelos estão acessíveis via um Espaço Hugging Face interativo.

Resultados
Os resultados experimentais indicam uma divergência no desempenho baseada no tamanho do conjunto de dados e na complexidade do modelo:

• Desempenho de ML Clássico: O modelo SVM alcançou a maior precisão de 0,8530, seguido de perto pela Regressão Logística (0,8518). O Naive Bayes performou significativamente mais baixo (0,6106).
• Desempenho de Aprendizado Profundo: O BiLSTM padrão alcançou uma precisão de 0,626. O mecanismo BiLSTM com Atenção melhorou o desempenho para 0,706, demonstrando melhor compreensão contextual do que o BiLSTM padrão.
• Comparação: Contrariando parte da literatura que sugere superioridade do DL, os modelos de ML clássico superaram os modelos de DL nesta configuração experimental específica.

Significado e Alegações
O estudo conclui que, embora os modelos de aprendizado profundo possuam a capacidade teórica de capturar dependências sequenciais complexas, as abordagens clássicas de aprendizado de máquina permanecem como bases fortes para classificação de sentimento, particularmente quando combinadas com engenharia de características eficaz como o TF-IDF.

Os autores afirmam que o desempenho superior dos modelos de ML neste estudo deve-se provavelmente a:

1. Restrições de Dados: Os modelos de DL foram treinados em um subconjunto reduzido (10.000 amostras) em comparação com o conjunto de dados completo usado para ML, o que pode ter sido insuficiente para aprender representações complexas.
2. Limitações de Treinamento: Os modelos de DL foram treinados por um número limitado de épocas (3), potencialmente impedindo a convergência para um desempenho ótimo.
3. Eficiência: Modelos de ML oferecem desempenho forte com custos computacionais menores e tempos de treinamento mais rápidos.

O artigo enfatiza que a seleção de modelos deve ser ditada pelas restrições específicas da aplicação, incluindo tamanho do conjunto de dados, recursos computacionais disponíveis e a necessidade de interpretabilidade. Sugere-se que, para cenários com recursos limitados ou conjuntos de dados menores, modelos clássicos de ML bem otimizados podem ser mais práticos do que alternativas de aprendizado profundo.