Sentiment and Emotion Classification of Indonesian E-Commerce Reviews via Multi-Task BiLSTM and AutoML Benchmarking

1. Declaração do Problema

O artigo aborda o desafio de analisar avaliações de e-commerce indonésio, caracterizadas por uma linguagem altamente informal. Diferentemente de textos padronizados, essas avaliações contêm:

• Complexidade Linguística: Uma mistura de vocabulário padrão, gírias, palavras emprestadas regionais, abreviações numéricas (ex: "50k") e emojis.
• Especificidade de Domínio: Uso frequente de abreviações (ex: "ongkir" para custos de envio, "ori" para original) e variações ortográficas.
• Limitações de Ferramentas Existentes: Ferramentas tradicionais de análise de sentimento baseadas em léxico falham nesse contexto porque não conseguem resolver gírias ou lidar com o ruído inerente a conteúdo gerado por usuários.
• Escassez de Dados: Há uma falta de conjuntos de dados em grande escala com dupla rotulagem para texto indonésio que cubram tanto o sentimento (Positivo/Negativo) quanto emoções específicas (Feliz, Triste, Medo, Amor, Raiva).

2. Metodologia

Os autores propõem um pipeline de classificação de duas faixas aplicado ao conjunto de dados PRDECT-ID (5.400 avaliações em 29 categorias de produtos).

A. Pré-processamento de Dados

Um módulo rigoroso de pré-processamento (src/preprocessing.py) foi desenvolvido, apresentando 14 etapas sequenciais de limpeza. Componentes-chave incluem:

• Um dicionário de gírias personalizado com 140 entradas, montado a partir de corpora de mercados online, para normalizar termos informais.
• Tratamento de negação, intensificadores, vocabulário específico de transações e emojis.
• Tokenização e normalização para preparar o texto tanto para modelos de ML quanto de DL.

B. Faixa 1: Aprendizado de Máquina Tradicional (AutoML)

• Extração de Recursos: Vetorização TF-IDF.
• Modelagem: Utilização do PyCaret AutoML para varrer classificadores padrão (Regressão Logística, Random Forest, LightGBM, SVM, etc.).
• Saída: Os modelos de melhor desempenho para sentimento e emoção são serializados para implantação.

C. Faixa 2: Aprendizado Profundo (Aprendizado Multi-Tarefa)

Os autores implementaram uma estrutura de Aprendizado Multi-Tarefa (MTL) usando PyTorch, projetada para prever sentimento e emoção simultaneamente.

• Arquitetura: Um codificador compartilhado com duas cabeças de saída específicas para cada tarefa.
• Configurações Benchmarkadas:
  1. BiLSTM Baseline: 1 camada, 128 unidades ocultas (~1,4M de parâmetros).
  2. BiLSTM Aprimorado: 2 camadas, 256 unidades ocultas, inclui BatchNorm1d (~3,1M de parâmetros).
  3. BiLSTM Grande: 2 camadas, 256 unidades de embedding/ocultas, camada densa adicional (~5,3M de parâmetros).
  4. TextCNN: Convoluções 1D paralelas com tamanhos de kernel {2, 3, 4} e max-pooling global (~1,7M de parâmetros).
• Estratégia de Treinamento:
  • Perda: Entropia cruzada ponderada por classe para lidar com desequilíbrio de rótulos (especialmente entre "Feliz" e "Raiva").
  • Otimização: Otimizador Adam com agendamento ReduceLROnPlateau e Parada Antecipada (Early Stopping).
  • Divisão de Dados: 80% treinamento, 10% validação, 10% teste (estratificado por emoção).

3. Contribuições Principais

1. Módulo de Pré-processamento: Um pipeline de limpeza robusto com um dicionário especializado de gírias de 140 entradas, adaptado para e-commerce indonésio.
2. Benchmark AutoML: Uma avaliação abrangente de modelos clássicos de ML usando TF-IDF e PyCaret, fornecendo baselines serializadas.
3. Estrutura de Aprendizado Profundo Multi-Tarefa: Implementação de quatro arquiteturas neurais distintas (3 variantes BiLSTM e 1 TextCNN) compartilhando um único codificador para previsão conjunta de sentimento/emoção.
4. Registro Build-Factory: Uma estrutura de código modular (src/model.py) permitindo a troca fácil entre configurações de modelo via uma única chave de string.
5. Implantação Pública: Dois aplicativos interativos Gradio implantados no Hugging Face Spaces para demonstrações de ML e DL, com código-fonte disponível no GitHub.

4. Resultados

Classificação de Sentimento (Binário: Positivo/Negativo)

• Vencedor: TF-IDF + Melhor AutoML (especificamente um modelo clássico da varredura PyCaret).
• Desempenho: Alcançou 0,9574 em Precisão, Revocação e Pontuação F1.
• Desempenho de Aprendizado Profundo: O BiLSTM Baseline foi o modelo DL mais forte, mas ficou significativamente atrás (F1 ~0,86).
• Insight: Para sentimento binário neste domínio, recursos baseados em frequência (TF-IDF) combinados com classificadores clássicos superam modelos sequenciais profundos, provavelmente devido a fortes pistas de polaridade lexical.

Classificação de Emoção (5 Classes: Feliz, Triste, Medo, Amor, Raiva)

• Vencedor: TextCNN.
• Desempenho: Alcançou 0,5399 de Precisão e 0,5077 Macro-F1.
• Aprendizado Profundo vs. Clássico: Modelos de aprendizado profundo superaram significativamente a baseline TF-IDF/AutoML (que marcou ~0,24 Macro-F1).
• Insight: A classificação de emoção é mais difícil que a de sentimento. O sucesso do TextCNN sugere que recursos locais de n-gramas capturados por filtros convolucionais são mais eficazes do que dependências sequenciais para distinguir nuances emocionais sutis em avaliações indonésias curtas.
• Análise de Erros: A confusão é mais alta entre classes semanticamente adjacentes (ex: Medo vs. Triste, Amor vs. Feliz).

5. Significado e Conclusão

• Utilidade Prática: O estudo demonstra que, embora o aprendizado profundo seja essencial para detecção complexa de emoções, o ML clássico permanece altamente competitivo para análise de sentimento binário em texto indonésio ruidoso e informal.
• Rigor Metodológico: O artigo fornece um benchmark reproduzível para PLN indonésio, destacando a necessidade de pré-processamento específico de domínio (normalização de gírias) antes do treinamento do modelo.
• Disponibilidade de Recursos: Ao liberar o código, modelos e demonstrações do Hugging Face, os autores reduzem a barreira para pesquisas futuras em análise de e-commerce indonésio.
• Direção Futura: Os resultados sugerem que, para tarefas de emoção, abordagens convolucionais podem ser mais eficientes do que arquiteturas recorrentes pesadas, e que abordagens híbridas ou modelos baseados em transformadores (não testados aqui) poderiam ser o próximo passo para melhoria adicional.