Benchmarking LightGBM and BiLSTM for Sentiment Analysis on Indonesian E-Commerce Reviews

Resumo Técnico: Benchmarking de LightGBM e BiLSTM para Análise de Sentimento em E-commerce Indonésio

Declaração do Problema
A rápida expansão do e-commerce na Indonésia gerou vastas quantidades de dados textuais não estruturados na forma de avaliações de produtos. Analisar esses dados é crítico para que as empresas avaliem automaticamente a satisfação do cliente. No entanto, as avaliações de e-commerce indonésias apresentam desafios linguísticos únicos, incluindo o uso intensivo de linguagem informal, mistura de códigos (code-mixing), gírias e expressões emocionais implícitas, como sarcasmo (por exemplo, vocabulário positivo mascarando experiências negativas). O problema central abordado por este estudo é determinar se as abordagens tradicionais de Aprendizado de Máquina (ML), especificamente aquelas otimizadas por meio de frameworks automatizados, ou as arquiteturas de Aprendizado Profundo (DL) são mais eficazes na captura do contexto sequencial e das nuances necessárias para uma classificação precisa de sentimentos neste domínio específico.

Metodologia
O estudo emprega um desenho experimental comparativo utilizando um conjunto de dados de 15.000 avaliações de e-commerce indonésias obtidas do Hugging Face, equilibrado entre as classes Positivo, Negativo e Neutro. Os dados passaram por um pré-processamento rigoroso, incluindo dobragem de caixa (case folding), remoção de ruído, filtragem de caracteres e normalização de gírias para mapear termos abreviados ao vocabulário padrão.

A pesquisa avalia dois pipelines distintos:

1. Pipeline de Aprendizado de Máquina (ML): Utilizando o framework AutoML PyCaret, o estudo automatiza o treinamento e o ajuste de três algoritmos: LightGBM, Regressão Logística e Máquina de Vetores de Suporte (SVM) com kernel linear. A extração de características foi realizada usando TF-IDF (Frequência do Termo-Frequência Inversa do Documento), limitada a 5.000 características. Os modelos foram avaliados usando validação cruzada estratificada de 10 dobras com ajuste automático de hiperparâmetros otimizado para o F1-Score.
2. Pipeline de Aprendizado Profundo (DL): Uma arquitetura de Memória de Curto e Longo Prazo Bidirecional (BiLSTM) foi implementada usando o framework PyTorch. O modelo consiste em uma camada de incorporação (dimensão 128), uma camada BiLSTM (tamanho do estado oculto 64), camadas de dropout espacial (taxa 0,3) para prevenir overfitting e camadas totalmente conectadas com ativação Softmax. O modelo foi treinado com o otimizador Adam (taxa de aprendizado $1 \times 10^{-3}$) ao longo de 20 épocas com um tamanho de lote de 32.

Principais Resultados
Os resultados experimentais demonstram que, embora ambas as abordagens produzam alto desempenho, o modelo de Aprendizado Profundo alcança precisão superior:

• BiLSTM (DL): Alcançou o melhor desempenho com uma precisão de 98,87% e um F1-Score de 98,87%. O modelo mostrou precisão e revocação consistentes (0,99) para as classes Negativa e Neutra, e 0,98/0,99 para a classe Positiva. O tempo de treinamento foi de aproximadamente 3,7 minutos.
• LightGBM (ML): Emergiu como o modelo de ML de melhor desempenho, com uma precisão de 98,23% e um F1-Score de 0,9823. Demonstrou eficiência computacional excepcional, completando o processo de treinamento e validação cruzada em apenas 4,932 segundos.
• Outros Modelos de ML: A Regressão Logística e a SVM (Kernel Linear) alcançaram precisões de 97,67% e 97,56%, respectivamente, estabelecendo bases sólidas, mas ficando ligeiramente abaixo do LightGBM.

Principais Contribuições

• Benchmarking Empírico: O estudo fornece evidências empíricas diretas comparando ML automatizado (PyCaret) contra uma arquitetura de DL personalizada (BiLSTM) especificamente para análise de sentimento em e-commerce indonésio.
• Tratamento de Nuances Linguísticas: A pesquisa valida que a arquitetura BiLSTM é particularmente eficaz na captura de dependências sequenciais e nuances contextuais (como sarcasmo e negação) inerentes ao texto indonês informal, superando os modelos de ML baseados em TF-IDF, que dependem de pressupostos de "saco de palavras" (bag-of-words).
• Acessibilidade de Implantação: Os autores fornecem o código-fonte completo, o conjunto de dados e links para modelos implantados no Hugging Face por meio de um repositório público do GitHub, juntamente com uma interface web interativa para implantação do modelo.

Significado e Alegações
O artigo conclui que a arquitetura BiLSTM é o modelo superior para esta tarefa específica de classificação devido à sua capacidade de manter um alto equilíbrio entre precisão e revocação em todas as classes de sentimento. Os autores afirmam que, embora modelos de ML como o LightGBM ofereçam uma solução altamente escalável e rápida (ideal para ambientes que exigem retreinamento frequente), o modelo BiLSTM é a escolha ótima quando a qualidade máxima de previsão e a capacidade de interpretar linguagem complexa e heterogênea são priorizadas.

O estudo não alega resolver todos os desafios no Processamento de Linguagem Natural (NLP) indonésio, mas destaca especificamente que, para avaliações de e-commerce caracterizadas por gírias e sentimento implícito, o mecanismo de aprendizado sequencial bidirecional do BiLSTM oferece uma vantagem mensurável sobre os métodos tradicionais de boosting de gradiente. A pesquisa sublinha o trade-off entre eficiência computacional e nuance preditiva, sugerindo que a escolha do modelo deve ser ditada pelo contexto específico de implantação (velocidade versus precisão).