Benchmarking Logistic Regression, SVM, Naive Bayes, and IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian Product Reviews

Resumo Técnico: Benchmarking de Regressão Logística, SVM, Naive Bayes e IndoBERT para Análise de Sentimento em Indonésio

Declaração do Problema
A rápida expansão do comércio eletrônico na Indonésia gerou um volume massivo de avaliações de produtos não estruturadas e geradas por usuários. Analisar o sentimento dessas avaliações é crítico para avaliar a satisfação do cliente e identificar problemas de produtos em escala. No entanto, o texto indonésio apresenta desafios únicos, incluindo ortografia informal, gírias, pontuação inconsistente e expressões contextuais. Além disso, dados reais de mercado exibem desequilíbrio severo de classes, onde avaliações positivas superam em grande número os feedbacks neutros e negativos. Esse desequilíbrio complica o treinamento de modelos, frequentemente levando a métricas de alta precisão que mascaram desempenho pobre em classes minoritárias. O problema central abordado é determinar se as abordagens tradicionais de Aprendizado de Máquina (ML), que são computacionalmente eficientes, podem superar ou igualar modelos modernos de Aprendizado Profundo baseados em Transformers (especificamente o IndoBERT) neste contexto ruidoso, desequilibrado e específico de domínio.

Metodologia
O estudo implementa um framework de benchmarking comparativo utilizando o conjunto de dados Tokopedia Product Reviews 2025, que contém dezenas de milhares de avaliações curtas e ruidosas rotuladas em três classes: positif (positivo), netral (neutro) e negatif (negativo).

1. Pipeline de Pré-processamento: Um pipeline robusto foi desenvolvido para limpar a linguagem vernácula de comércio eletrônico indonésia. As etapas incluíram converter texto para minúsculas, remover URLs e caracteres não alfanuméricos (incluindo emojis), normalizar espaços em branco e mapear rótulos heterogêneos para classes padronizadas.
2. Modelos de Linha de Base (ML Tradicional): Três algoritmos foram implementados usando extração de características TF-IDF com unigramas e bigramas ($ngram\_range=(1,2)$). O vocabulário foi limitado a 50.000 características. Os modelos incluíram:
   • Regressão Logística
   • Máquina de Vetores de Suporte Linear (Linear SVC)
   • Naive Bayes Multinomial
   • Tratamento de Desequilíbrio: Modelos lineares discriminativos utilizaram class_weight="balanced" para penalizar erros em classes minoritárias.
3. Modelo de Aprendizado Profundo (IndoBERT): O estudo ajustou finamente o modelo indobenchmark/indobert-base-p1.
   • Arquitetura: Um codificador Transformer seguido por uma cabeça de classificação de sequência, processando entradas de até 256 tokens.
   • Tratamento de Desequilíbrio: Uma função de perda de entropia cruzada ponderada personalizada foi desenvolvida, onde os pesos das classes ($W_c$) são inversamente proporcionais à frequência da classe ($W_c = \frac{N}{C \times n_c}$).
   • Treinamento: O modelo foi treinado por 3 épocas com tamanho de lote de 16, taxa de aprendizado de $2 \times 10^{-5}$ e uma proporção de aquecimento de 0,1.
4. Discrepância Experimental: Uma nota metodológica crítica é a diferença nos regimes de dados. Os modelos de linha de base foram treinados no conjunto de dados completo (65.335 registros), enquanto o modelo IndoBERT foi restrito a um subconjunto estratificado (~1.800 registros de treinamento) devido a limitações computacionais.

Principais Contribuições
O artigo detalha cinco contribuições específicas:

1. Um pipeline de pré-processamento adaptado via expressões regulares para texto ruidoso de comércio eletrônico indonésio.
2. Um benchmark abrangente de linhas de base TF-IDF (Regressão Logística, LinearSVC, Naive Bayes).
3. Uma implementação detalhada do ajuste fino do IndoBERT com uma perda ponderada calculada dinamicamente para abordar o desequilíbrio de classes.
4. Uma análise quantitativa aprofundada comparando o desempenho agregado contra métricas sensíveis às classes.
5. Uma estratégia de implantação reproduzível usando Gradio no Hugging Face Spaces.

Resultados
A avaliação utilizou Precisão (Accuracy), Pontuação F1 Macro e Pontuação F1 Ponderada. Contrariando a expectativa de que modelos de Aprendizado Profundo superariam os métodos tradicionais, os resultados mostraram que o Linear SVC superou significativamente o modelo IndoBERT ajustado finamente nesta configuração experimental específica.

• Linear SVC: Alcançou 97,60% de Precisão e uma Pontuação F1 Macro de 0,5510.
• IndoBERT: Alcançou 88,70% de Precisão e uma Pontuação F1 Macro de 0,5088.
• Outras Linhas de Base: Regressão Logística (94,36% de Precisão, 0,5164 de F1 Macro) e Naive Bayes (97,50% de Precisão, 0,3290 de F1 Macro) também se saíram bem, embora o Naive Bayes tenha lutado significativamente com o reconhecimento de classes minoritárias.

A análise revelou que, embora os modelos de linha de base tenham alcançado alta precisão geral, eles ainda lutaram com as classes netral e negatif, frequentemente confundindo-as com a classe dominante positif. No entanto, a lacuna de desempenho entre as linhas de base e o IndoBERT foi atribuída principalmente ao regime de amostragem de dados: as linhas de base utilizaram o corpus completo, enquanto o Transformer foi restrito a um pequeno subconjunto, impedindo-o de aproveitar plenamente suas capacidades de modelagem contextual.

Significado e Alegações
O artigo afirma que, para análise de sentimento em indonésio em avaliações de comércio eletrônico, abordagens tradicionais de Aprendizado de Máquina (especificamente TF-IDF com Linear SVC) permanecem altamente eficazes e robustas, frequentemente superando Transformers de última geração quando restrições computacionais limitam os dados de treinamento para estes últimos.

Os autores enfatizam que a "vantagem do Transformer" não é automática; depende fortemente do volume de dados, do equilíbrio de classes e de configurações de avaliação justas. O estudo conclui que, embora o IndoBERT ofereça modelagem contextual teórica superior, seu desempenho empírico neste estudo foi limitado pelo subconjunto de treinamento restrito. Consequentemente, para aplicações que priorizam velocidade e desempenho robusto de linha de base, o TF-IDF com Linear SVC é apresentado como uma solução altamente viável. O artigo defende pesquisas futuras para garantir comparações justas, treinando todos os modelos em divisões de dados em grande escala idênticas e empregando estratégias avançadas conscientes de desequilíbrio para melhorar o reconhecimento de classes minoritárias.