💻 computer science

Sentiment Analysis of Indonesian Spotify Reviews Using Machine Learning and BiLSTM

Este artigo avalia modelos clássicos de aprendizado de máquina e modelos de aprendizado profundo BiLSTM em 70.155 avaliações limpas do Spotify em indonésio, constatando que, embora o BiLSTM alcance a maior pontuação F1 ponderada geral, as Árvores de Decisão combinadas com SMOTE oferecem desempenho equilibrado superior em todas as três classes de sentimento, particularmente para a categoria minoritária neutra.

Autores originais: Uliano Wilyam Purba, Andre Hadiman Rotua Parhusip, Sahid Maulana, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Publicado 2026-05-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Uliano Wilyam Purba, Andre Hadiman Rotua Parhusip, Sahid Maulana, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o dono de um aplicativo massivo de streaming de música, o Spotify, e que você tem uma montanha de 100.000 cartas de seus usuários indonésios. Algumas são cartas de amor ("Positivo"), algumas são desabafos furiosos ("Negativo") e outras são apenas encolhimentos de ombros ou reclamações que não se encaixam bem em nenhuma das duas ("Neutro"). Seu objetivo é construir um robô que possa ler essas cartas e classificá-las automaticamente nas pilhas corretas.

Este artigo é um boletim de notas sobre uma "corrida" entre dois tipos diferentes de robôs tentando realizar esse trabalho de classificação.

Os Dois Concorrentes

A Equipe "Clássica" (Aprendizado de Máquina): Pense neles como três bibliotecários muito inteligentes e experientes (Máquina de Vetores de Suporte, Naive Bayes Multinomial e Árvore de Decisão). Eles são bons em olhar para palavras individuais e contar com que frequência elas aparecem. Eles são rápidos, eficientes e não precisam de um supercomputador para funcionar.
A Equipe "Deep Learning" (BiLSTM): Este é um único robô altamente sofisticado construído com uma rede neural (Memória de Curto Prazo Longa Bidirecional). Imagine este robô como um detetive que não olha apenas para as palavras, mas tenta entender a história e o fluxo da frase, lendo da esquerda para a direita e da direita para a esquerda para capturar o contexto completo.

O Cenário: Uma Corrida em Pistas Desiguais

Os pesquisadores montaram a corrida, mas havia uma pegadinha: os campos de jogo não tinham exatamente o mesmo tamanho.

A Equipe de Limpeza: Antes da corrida, todas as cartas foram limpas. Gírias foram corrigidas (mudando "gak" para "tidak"), erros de digitação foram removidos e palavras desnecessárias foram apagadas. Isso foi igual para todos.
A Pista da Equipe Clássica: Os três bibliotecários puderam ler todas as mais de 70.000 cartas limpas. Eles tinham o conjunto de dados completo para aprender.
A Pista do Robô de Deep Learning: O robô sofisticado só pôde ler uma amostra menor de 20.000 cartas. Por quê? Porque os pesquisadores estavam trabalhando em um computador padrão (CPU) sem uma placa gráfica poderosa. Treinar o grande robô com toda a montanha de dados teria levado uma eternidade, então eles deram a ele uma fatia menor e representativa.

Os Resultados: Quem Venceu?

1. O Desempenho da Equipe Clássica
Entre os três bibliotecários, a Árvore de Decisão foi a vencedora clara.

Como funcionou: Ela construiu um fluxograma de regras para classificar as cartas.
A Pontuação: Ela obteve um "F1-Score Ponderado" de 0,727.
A Pegadinha: Ela foi bastante boa em classificar todas as três pilhas (Positivo, Negativo e Neutro) de forma relativamente equilibrada. Ela não ignorou as cartas "Neutras".

2. O Desempenho do Robô de Deep Learning
O robô BiLSTM era uma força poderosa, mas tinha um ponto cego.

A Pontuação: Ele alcançou uma pontuação geral mais alta de 0,807.
O Problema: Ele era incrível em identificar cartas "Positivas" e "Negativas", mas falhou completamente na categoria "Neutro". Ele obteve uma pontuação de 0,000 para Neutro. Basicamente, ele ignorou aquela pilha por completo, provavelmente porque havia muito poucas cartas Neutras em sua fatia de treinamento em comparação com as outras.

A Grande Lição: O Trade-off

O artigo conclui com uma analogia simples:

Se você quer a melhor precisão geral para dizer se uma avaliação é geralmente feliz ou triste, o Robô de Deep Learning (BiLSTM) é a melhor escolha. É como um carro esportivo que é incrivelmente rápido em uma estrada reta, mas não consegue lidar com uma curva fechada.
Se você precisa ser justo com todas as três categorias (incluindo as "Neutras" complicadas e silenciosas), a Árvore de Decisão Clássica é a melhor escolha. É como um SUV confiável que não é o mais rápido, mas lida bem com todos os tipos de terreno e não deixa nenhum passageiro para trás.

Por Que Isso Aconteceu?

O Problema "Neutro": As avaliações "Neutras" eram a minoria (apenas cerca de 6% dos dados). O robô de Deep Learning, treinado em uma amostra pequena sem ajuda especial, aprendeu a ignorar o grupo minoritário para maximizar sua pontuação geral. A equipe Clássica usou uma técnica chamada SMOTE (que é como criar artificialmente mais exemplos "Neutros" para o robô estudar), o que ajudou-os a tratar todos os grupos de forma justa.
A Lacuna de Dados: O robô de Deep Learning teve menos exemplos para aprender (14.000 contra 70.000). Mesmo com menos exemplos, ele ainda superou os modelos clássicos na divisão "Positivo/Negativo", sugerindo que entender a sequência de palavras é muito poderoso para avaliações indonésias curtas.

A Conclusão

Os pesquisadores não pararam apenas nos números; eles colocaram ambos os robôs online para que qualquer pessoa pudesse testá-los. Eles descobriram que, embora o modelo sofisticado de Deep Learning seja mais poderoso no geral, o modelo de Aprendizado de Máquina mais simples é mais equilibrado e confiável quando você precisa capturar todos os tipos de avaliação, não apenas as mais barulhentas.

Em resumo: O robô sofisticado é mais rápido e forte, mas o bibliotecário simples é mais justo com as vozes silenciosas na multidão.

Resumo Técnico: Análise de Sentimento de Avaliações do Spotify em Indonésio Usando Aprendizado de Máquina e BiLSTM

Declaração do Problema
Este estudo aborda o desafio da análise de sentimento em texto indonésio derivado de avaliações de usuários do aplicativo Spotify na Google Play Store. A tarefa é complicada pela natureza informal da linguagem, que inclui ortografia inconsistente, uso intenso de gírias e variações morfológicas. Os autores visam comparar o desempenho de classificadores clássicos de aprendizado de máquina (ML) com uma abordagem de aprendizado profundo (DL) (Memória de Curto e Longo Prazo Bidirecional, ou BiLSTM) para uma tarefa de classificação de sentimento em três classes (Negativo, Neutro, Positivo). Uma restrição específica do estudo é o ambiente de avaliação: uma configuração exclusiva de CPU, o que exige diferentes escalas de dados de treinamento para as duas abordagens.

Metodologia
A pesquisa emprega um desenho experimental de dupla via, onde ambas as vias compartilham um pipeline de pré-processamento idêntico, mas diferem na arquitetura do modelo e no volume de dados de treinamento.

Conjunto de Dados: O conjunto de dados bruto consiste em 100.000 avaliações raspadas. Após a limpeza (remoção de duplicatas, avaliações vazias e elementos não textuais), restaram 70.155 amostras. Os rótulos são derivados de classificações por estrelas: 1–2 estrelas (Negativo), 3 estrelas (Neutro) e 4–5 estrelas (Positivo). O conjunto de dados é altamente desbalanceado, com avaliações Positivas compreendendo 68,4%, Negativas 25,7% e Neutras apenas 5,9%.
Pipeline de Pré-processamento: Um pipeline unificado é aplicado a todo o texto, incluindo:
1. Minúsculas.
2. Remoção de ruído (URLs, menções, pontuação, dígitos).
3. Normalização de gírias (mapeamento de 124 formas informais para o indonésio padrão).
4. Remoção de stopwords (809 termos gerais e específicos do domínio).
5. Radicação morfológica usando Sastrawi.
  Resultado: O comprimento mediano da avaliação pós-processamento é de 4 tokens, com o percentil 95 em 17 tokens.
Via de Aprendizado de Máquina:
- Dados: Treinado no conjunto completo de 70.155 amostras limpas.
- Recursos: Vetorização TF-IDF (máximo de 3.000 recursos).
- Classificadores: Máquina de Vetores de Suporte (SVM), Naive Bayes Multinomial (MNB) e Árvore de Decisão (DT).
- Técnica: Validação cruzada estratificada de 5 dobras. Para lidar com o desbalanceamento de classes, o SMOTE (Técnica de Sobreamostragem Sintética da Minoría) é aplicado dentro de cada dobra de treinamento.
- Avaliação: As métricas incluem Acurácia, AUC, Precisão, Revocação, Pontuação F1 (ponderada e macro) e Kappa de Cohen.
Via de Aprendizado Profundo:
- Dados: Devido às restrições de CPU, o BiLSTM é treinado em um subconjunto estratificado de 20.000 amostras (14.219 para treinamento, 2.510 para validação, 2.953 para teste).
- Arquitetura: Um LSTM Bidirecional de duas camadas com embeddings de 128 dimensões, 128 unidades ocultas por direção e uma cabeça de classificação totalmente conectada. Total de parâmetros: ~1,1 milhão.
- Treinamento: Otimizador Adam, taxa de aprendizado $10^{-3}$ , tamanho de lote 64, perda de Entropia Cruzada não ponderada. Parada antecipada é utilizada (melhor checkpoint na época 3).
- Avaliação: Avaliado em um conjunto de teste retido usando as mesmas métricas da via de ML.

Principais Contribuições

Pré-processamento Unificado: O estabelecimento de um pipeline de pré-processamento compartilhado para as vias de ML e DL, garantindo que as diferenças de desempenho sejam atribuíveis à arquitetura do modelo e não a variações na limpeza de dados.
Comparação: Uma análise comparativa de três classificadores clássicos do Scikit-learn (SVM, MNB, DT) contra um modelo BiLSTM compacto em avaliações de aplicativos indonésios em grande escala.
Transparência e Reprodutibilidade: Os autores fornecem espaços públicos no Hugging Face para ambos os modelos de ML e DL, permitindo a inspeção direta do comportamento do modelo.
Análise de Desbalanceamento: Um exame detalhado de como o desbalanceamento de classes afeta o desempenho do modelo, destacando especificamente a falha do BiLSTM não ponderado na classe minoritária "Neutro" em comparação com a abordagem de ML que utiliza SMOTE.

Resultados

Desempenho de Aprendizado de Máquina:
- A Árvore de Decisão emergiu como o modelo clássico mais forte, alcançando uma pontuação F1 ponderada de 0,7269 e uma acurácia de 0,7286 na validação cruzada de 5 dobras.
- O SVM seguiu com uma F1 ponderada de 0,6958, enquanto o Naive Bayes Multinomial performou significativamente pior (0,4619).
- A Árvore de Decisão manteve desempenho equilibrado em todas as três classes, com a menor pontuação F1 na classe Neutra (0,717), mas ainda funcional.
Desempenho de Aprendizado Profundo:
- O BiLSTM alcançou uma pontuação F1 ponderada mais alta de 0,8069 e uma acurácia de 0,8314 em seu conjunto de teste retido.
- No entanto, a pontuação F1 macro caiu para 0,5478.
- Detalhamento por Classe: O modelo performou excepcionalmente bem em avaliações Positivas (F1 0,9028) e razoavelmente em avaliações Negativas (F1 0,7406). Crucialmente, falhou completamente na classe Neutra, alcançando uma pontuação F1 de 0,0000 (0 previsões corretas de 176 amostras).
Análise Comparativa:
- Embora o BiLSTM tenha superado os modelos de ML em métricas ponderadas (desempenho geral), essa vantagem é atenuada pelo fato de ter sido treinado em significativamente menos amostras (14.219 vs. 70.155) e carecido de técnicas de balanceamento de classes.
- A abordagem de ML (Árvore de Decisão + SMOTE) forneceu reconhecimento mais robusto e equilibrado em todas as três classes, enquanto o BiLSTM foi enviesado para as classes majoritárias.

Significado e Alegações
O artigo alega que, embora modelos de aprendizado profundo como o BiLSTM possam oferecer desempenho ponderado geral superior para detecção de sentimento em textos indonésios curtos e informais, eles são altamente suscetíveis a problemas de desbalanceamento de classes quando treinados sem estratégias específicas de mitigação (como ponderação de classes ou sobreamostragem).

Os autores concluem que a escolha do modelo depende do objetivo específico da aplicação:

BiLSTM é preferível quando o objetivo principal é a discriminação precisa entre os sentimentos Positivos e Negativos dominantes.
Aprendizado de Máquina (especificamente Árvore de Decisão com SMOTE) é mais adequado quando é necessário um reconhecimento equilibrado em todas as três classes, incluindo a classe minoritária Neutra.

O estudo reconhece suas limitações, notando a assimetria nos tamanhos de dados de treinamento entre as duas vias e a ausência de embeddings indonésios pré-treinados ou modelos baseados em transformadores. Sugere-se trabalho futuro envolvendo o treinamento do BiLSTM em todo o corpus, a implementação de balanceamento de classes no pipeline de DL e a exploração de arquiteturas de transformadores.