Hybrid TF--IDF Logistic Regression and MLP Neural Baseline for Indonesian Three-Class Sentiment Analysis on Social Media Text

Resumo Técnico: Regressão Logística Híbrida TF–IDF e Baseline de Rede Neural MLP para Análise de Sentimento de Três Classes em Indonésio

Declaração do Problema
Este estudo aborda o desafio da análise de sentimento para texto de mídia social em indonésio, um domínio caracterizado por conteúdo gerado pelo usuário ruidoso, misturado com códigos, abreviado e semanticamente ambíguo. Embora a literatura recente frequentemente priorize grandes modelos transformadores, este artigo argumenta que, para conjuntos de dados pequenos, desbalanceados e de baixos recursos, a necessidade imediata é por um pipeline reprodutível, interpretável e implantável, em vez de complexidade arquitetônica aumentada. A tarefa específica envolve mapear um conjunto de dados de 191 rótulos de emoção de granularidade fina em três classes operacionais: positivo, negativo e neutro. As principais dificuldades identificadas são o desbalanceamento severo de classes (dominado por instâncias positivas), a ambiguidade semântica introduzida pela compressão de rótulos (por exemplo, mapear "surpresa" ou "amargo e doce" para uma única classe) e as limitações de tamanhos de amostra pequenos para aprendizado profundo.

Metodologia
Os autores propõem uma abordagem focada na produção, comparando uma baseline clássica de aprendizado de máquina contra uma baseline neural leve, ambas utilizando um espaço de características híbrido idêntico.

• Pré-processamento de Dados: O conjunto de dados bruto (732 linhas) foi limpo para remover duplicatas e textos vazios, resultando em 707 amostras. O pré-processamento incluiu conversão para minúsculas, remoção de URLs e menções, normalização de leetspeak e expansão de gírias indonésias (por exemplo, gak para tidak). Crucialmente, os 191 rótulos de emoção originais foram remapeados para as três classes-alvo, um processo notado por introduzir ruído semântico.
• Engenharia de Características: O sistema emprega uma representação híbrida combinando:
  1. Características de Texto: Vetores TF–IDF usando unigramas e bigramas (máximo de 3.000 características, escalonamento sublinear de frequência de termos).
  2. Metadados Numéricos: Três características padronizadas derivadas do texto e dados de engajamento: contagem de palavras, engajamento total (curtidas + retweets) e contagem de hashtags.
• Modelos:
  • Modelo de Produção: Um classificador de Regressão Logística multinomial treinado com class_weight=balanced para mitigar o desbalanceamento, usando uma divisão estratificada 80/20.
  • Baseline Neural: Um Perceptron Multicamada (MLP) com duas camadas ocultas (256, 64 neurônios), ativação ReLU e otimização Adam. Foi treinado exatamente no mesmo vetor de características híbrido para isolar o efeito da arquitetura do classificador em vez da representação de características.
  • Baselines Comparativas: O estudo também preservou resultados para SVM Linear e Random Forest para benchmarking.

Principais Contribuições
O artigo faz três contribuições específicas:

1. Fluxo de Trabalho Reprodutível: Formaliza um pipeline ponta a ponta para análise de sentimento de três classes em indonésio, cobrindo limpeza, remapeamento de rótulos, construção de características híbridas e inferência pronta para implantação.
2. Comparação Controlada: Avalia um modelo linear clássico e uma rede neural rasa sob a mesma representação de entrada, fornecendo uma comparação controlada de famílias de classificadores em um cenário de baixos recursos.
3. Insight Metodológico: Destaca as implicações da compressão de rótulos e do desbalanceamento de dados, demonstrando que o pré-processamento cuidadoso e a engenharia de características interpretáveis podem permanecer competitivos com abordagens neurais para conjuntos de dados pequenos.

Resultados
Os experimentos foram conduzidos em um conjunto de teste retido (142 amostras) usando precisão, F1 ponderado e F1 macro como métricas.

• Regressão Logística (Produção): Alcançou 0,8028 de precisão, 0,8003 de F1 ponderado e 0,7276 de F1 macro. Desempenhou melhor na classe majoritária "positiva", mas lutou com a classe minoritária "neutra" devido à ambiguidade semântica e baixa contagem de amostras.
• Baseline MLP: Alcançou maior precisão (0,8451) e F1 ponderado (0,8304), mas não superou significativamente a Regressão Logística em F1 macro (0,7263). Isso sugere que, embora o modelo neural tenha melhorado o desempenho nas classes majoritárias, não resolveu a ambiguidade das classes minoritárias.
• SVM Linear: Registrou o melhor desempenho entre todos os modelos preservados (0,8521 de precisão, 0,7553 de F1 macro), embora não tenha sido selecionado como o modelo principal de produção.
• Random Forest: Desempenhou substancialmente pior, particularmente no F1 macro (0,4821), indicando um viés em direção à classe majoritária.

Significado e Alegações
O artigo alega modestamente que, para conjuntos de dados compactos de sentimento em indonésio, um pipeline clássico cuidadosamente projetado permanece uma escolha altamente eficaz e preferível para ambientes de produção. O estudo argumenta que a Regressão Logística oferece um compromisso pragmático: é mais fácil de serializar, interpretar e retreinar do que modelos neurais, enquanto entrega saídas probabilísticas estáveis.

Os autores concluem que, embora as baselines neurais (e o SVM Linear) ofereçam potencial para maior precisão, os ganhos são frequentemente impulsionados pelo desempenho da classe majoritária em vez de resolver o desafio central da ambiguidade da classe minoritária. Portanto, a baseline neural deve ser tratada melhor como um experimento comparativo do que como o modelo de implantação padrão. O estudo enfatiza que, em cenários de baixos recursos, a qualidade do pré-processamento, do remapeamento de rótulos e do balanceamento de classes é frequentemente mais crítica do que a escolha de uma arquitetura de modelo complexa. Trabalhos futuros são sugeridos para incluir validação cruzada, análise qualitativa de erros e teste de modelos contextuais mais fortes como o IndoBERT, mas o trabalho atual estabelece uma baseline robusta e interpretável.