Benchmarking Logistic Regression, SVM, and LightGBM Against BiLSTM with Attention for Sentiment Analysis on Indonesian Product Reviews

1. Declaração do Problema

A rápida expansão do comércio eletrônico na Indonésia gerou vastas quantidades de dados textuais não estruturados na forma de avaliações de produtos. Analisar manualmente essas avaliações é ineficiente e propenso a viés. Embora a análise de sentimentos automatizada usando Processamento de Linguagem Natural (PLN) seja uma solução padrão, um desafio significativo permanece: as avaliações de produtos indonésias são caracterizadas por linguagem coloquial, gírias (bahasa gaul), abreviações e estruturas de frases irregulares.

A questão central de pesquisa aborda uma suposição comum no PLN: de que arquiteturas de Aprendizado Profundo (DL) inerentemente superam os métodos tradicionais de Aprendizado de Máquina (ML) em dados textuais. Este estudo busca verificar empiricamente se modelos sequenciais complexos (como BiLSTM) são necessários para a análise de sentimentos indonésia ou se abordagens tradicionais de ML otimizadas podem alcançar resultados comparáveis ou superiores com maior eficiência.

2. Metodologia

Conjunto de Dados

• Fonte: Avaliações de produtos indonésias publicamente disponíveis no Hugging Face Datasets.
• Tamanho: 19.728 amostras, perfeitamente equilibradas entre as classes Positivo e Negativo.
• Divisão: 80% Treinamento (15.782 amostras) e 20% Teste Retido (3.946 amostras).

Pipeline de Pré-processamento

Uma etapa rigorosa de pré-processamento foi aplicada para lidar com as nuances linguísticas do indonésio:

1. Case Folding: Conversão para minúsculas.
2. Limpeza: Remoção de URLs, tags HTML, menções, hashtags, pontuação e números.
3. Normalização de Gírias: Mapeamento de palavras informais para formas padrão do indonésio usando um dicionário curado (ex: bgt $\to$ banget).
4. Tokenização e Filtragem: Divisão por espaços em branco e remoção de tokens com menos de 2 caracteres.

Abordagens Comparadas

A. Pipeline de Aprendizado de Máquina (ML) (PyCaret AutoML)

• Extração de Características: Vetorização TF-IDF com $N=5000$ características, utilizando unigramas e bigramas ($ngram\_range=(1,2)$).
• Algoritmos Avaliados:
  1. Regressão Logística (LR): Estimador linear.
  2. Máquina de Vetores de Suporte (SVM): Kernel linear.
  3. LightGBM: Árvores de decisão de gradiente boosting.
• Validação: Validação Cruzada Estratificada de 10 dobras.

B. Pipeline de Aprendizado Profundo (DL) (PyTorch)

• Arquitetura: Memória de Curto e Longo Prazo Bidirecional (BiLSTM) com um mecanismo de Atenção.
• Componentes:
  • Camada de Embedding (Tamanho do vocabulário: 13.600; Dim: 64).
  • Duas camadas BiLSTM (Tamanho oculto: 128 cada).
  • Camada de Atenção (Soma ponderada por Softmax dos estados ocultos).
  • Cabeça do Classificador (Linear $\to$ ReLU $\to$ Dropout $\to$ Saída).
• Treinamento: Treinado do zero (sem embeddings pré-treinados) usando PyTorch. Os hiperparâmetros foram otimizados via Optuna (melhor tentativa: LR=0,0038, Batch=128).
• Validação: Avaliado no conjunto de teste retido.

3. Principais Contribuições

1. Comparação Empírica Rigorosa: Fornece um benchmark direto de algoritmos de ML impulsionados por AutoML contra uma arquitetura de DL construída sob medida em um conjunto de dados indonésio específico e desafiador.
2. Desafio à Dominância do DL: Demonstra que, para tarefas de classificação binária balanceada de alta dimensionalidade, modelos lineares clássicos (especificamente a Regressão Logística) podem superar marginalmente modelos sequenciais complexos de DL.
3. Reprodutibilidade: O estudo oferece um pipeline experimental totalmente reproduzível, incluindo código implantado no Hugging Face Spaces, facilitando pesquisas futuras em PLN indonésio.

4. Resultados

Desempenho de Aprendizado de Máquina (Validação Cruzada de 10 Dobras)

• Regressão Logística: Alcançou o melhor desempenho com 97,26% de Acurácia e 97,26% de F1-Score.
• SVM (Linear): Segundo lugar próximo com 97,17% de Acurácia.
• LightGBM: 96,43% de Acurácia.
• Observação: Todos os modelos de ML mostraram pontuações AUC > 0,993, indicando poder discriminatório quase perfeito.

Desempenho de Aprendizado Profundo (Teste Retido)

• BiLSTM + Atenção: Alcançou 97,24% de Acurácia e 97,24% de F1-Score no conjunto de teste.
• Matriz de Confusão: Previsões altamente simétricas (1.919 Verdadeiros Positivos vs. 1.918 Verdadeiros Negativos), indicando que o mecanismo de Atenção preveniu com sucesso o viés de classe.

Comparação Direta

Abordagem	Melhor Modelo	Acurácia	F1-Score
Aprendizado de Máquina	Regressão Logística	97,26%	97,26%
Aprendizado Profundo	BiLSTM + Atenção	97,24%	97,24%

5. Significado e Discussão

• Separabilidade Linear: Os resultados sugerem que o espaço de características TF-IDF (5.000 dimensões) torna os dados de sentimentos indonésios linearmente separáveis. Em tais cenários, a complexidade adicional de redes neurais recorrentes e mecanismos de atenção produz retornos decrescentes.
• Eficiência Computacional: A abordagem de ML oferece uma vantagem significativa em velocidade e uso de recursos. Por exemplo, o treinamento do SVM levou apenas ~6,5 segundos por dobra, enquanto o modelo de DL exigiu aceleração por GPU e várias épocas para convergir.
• Implicações Práticas: Para sistemas de produção que exigem baixa latência e alta interpretabilidade, o pipeline de Regressão Logística baseado em PyCaret é recomendado em vez de modelos complexos de DL para esta tarefa específica.
• Direções Futuras: Os autores sugerem estender este trabalho para análise de sentimentos multiclasse (incluindo "Neutro") e testar modelos Transformer pré-treinados (ex: IndoBERT), que podem ter melhor desempenho em tarefas linguísticas mais complexas ou conjuntos de dados desbalanceados.

Conclusão:
O artigo conclui que, embora o Aprendizado Profundo permaneça poderoso, ele não é universalmente superior. Para análise de sentimentos binária de alto volume e balanceada de avaliações de produtos indonésios, um pipeline tradicional de ML bem engenhado usando AutoML não é apenas competitivo, mas ligeiramente superior em acurácia e significativamente mais eficiente.