Classification of Public Opinion on the Free Nutritional Meal Program on YouTube Media Using the LSTM Method

1. Declaração do Problema

O estudo aborda o desafio de analisar eficientemente a percepção pública em relação ao Programa de Refeição Nutricional Gratuita (MBG), uma iniciativa governamental na Indonésia destinada a melhorar a nutrição infantil. Embora plataformas de mídia social como o YouTube gerem vastas quantidades de dados textuais em tempo real que refletem a opinião pública, a análise manual desses comentários é inviável devido ao volume e à natureza não estruturada.

• Questão Central: Há necessidade de uma abordagem automatizada e orientada por dados para classificar sentimentos (Positivo, Negativo, Neutro) e avaliar a aceitação da política.
• Desafio Específico: O conjunto de dados exibe um desequilíbrio de classes severo, com sentimentos negativos dominando os dados (87,7%), o que tipicamente viésa modelos de aprendizado de máquina e dificulta a detecção de classes minoritárias (sentimentos positivos).

2. Metodologia

A pesquisa emprega uma abordagem quantitativa usando Processamento de Linguagem Natural (PLN) e Aprendizado Profundo. O fluxo de trabalho consiste nas seguintes etapas:

A. Coleta de Dados

• Fonte: Comentários raspados de dois canais do YouTube discutindo o programa MBG.
• Volume: Um total de 7.733 comentários foi coletado.
• Distribuição: 5.629 comentários negativos (87,7%) e 790 comentários positivos (12,3%). Nota: O estudo foca na classificação binária (Positivo vs. Negativo).

B. Pipeline de Pré-processamento

O texto bruto passou por um rigoroso processo de limpeza para prepará-lo para a modelagem:

1. Dobra de Caso: Conversão para letras minúsculas.
2. Limpeza: Remoção de URLs, menções, hashtags, números e caracteres especiais.
3. Normalização: Padronização de gírias e palavras não padrão em indonésio.
4. Tokenização: Divisão do texto em palavras individuais.
5. Remoção de Stopwords: Eliminação de palavras não significativas usando a biblioteca NLTK.
6. Stemming: Redução de palavras às suas formas radicais usando a biblioteca Sastrawi (específica para indonésio).

C. Representação de Características

• Tokenização e Preenchimento: O texto foi convertido em índices inteiros. Sequências foram preenchidas para garantir comprimento uniforme para processamento em lote.
• Embedding: Palavras foram mapeadas para vetores de 128 dimensões.

D. Arquitetura do Modelo

O estudo utilizou redes de Memória de Curto e Longo Prazo (LSTM), escolhidas por sua capacidade de capturar dependências de longo prazo e contexto sequencial em texto, superando as RNNs tradicionais.

• Arquitetura:
  • Camada de Embedding: 128 dimensões.
  • Camada LSTM: Dimensão oculta de 128 com uma taxa de dropout de 0,3.
  • Camada Dropout: Taxa de 0,5 para evitar overfitting.
  • Camada Totalmente Conectada (FC): 2 neurônios de saída.
  • Camada de Saída: Ativação Softmax para classificação binária.
• Hiperparâmetros:
  • Otimizador: Adam (Taxa de Aprendizado: 0,0005).
  • Função de Perda: CrossEntropyLoss.
  • Treinamento: 20 Épocas, Tamanho de Lote 16.
  • Parâmetros Totais: ~2,23 milhões.
• Comparação com Linha de Base: O modelo LSTM foi comparado contra algoritmos tradicionais de aprendizado de máquina: SVM, Regressão Logística e Naive Bayes.

E. Métricas de Avaliação

O desempenho foi avaliado usando uma matriz de confusão e as seguintes métricas:

• Acurácia: Corretude geral.
• Precisão, Revocação e Pontuação F1: Analisadas especificamente para abordar o problema do desequilíbrio de classes.

3. Resultados Principais

O modelo LSTM demonstrou forte desempenho geral, mas revelou disparidades significativas entre as classes devido ao desequilíbrio dos dados.

• Acurácia Geral: 89% no conjunto de teste (963 amostras).
• Desempenho da Classe Negativa (Classe Majoritária):
  • Pontuação F1: 0,94
  • Precisão: 0,94
  • Revocação: 0,93
  • Interpretação: O modelo é altamente eficaz na identificação de sentimentos negativos.
• Desempenho da Classe Positiva (Classe Minoritária):
  • Pontuação F1: 0,55
  • Precisão: 0,54
  • Revocação: 0,57
  • Interpretação: O modelo luta para detectar sentimentos positivos, frequentemente classificando-os erroneamente como negativos (Falsos Negativos).
• Dinâmica de Treinamento: O modelo alcançou uma acurácia de treinamento de 98,26% e acurácia de validação de 88,99%, com a perda diminuindo consistentemente de 0,68 para 0,1225 ao longo de 20 épocas.

4. Contribuições Principais

1. Estrutura de Avaliação de Políticas: Fornece uma estrutura escalável e automatizada para o governo indonésio avaliar a recepção pública do programa MBG usando dados de mídia social.
2. Eficácia do LSTM em Texto Indonésio: Valida que arquiteturas LSTM são altamente eficazes para análise de sentimentos na língua indonésia, particularmente para capturar contexto em comentários informais de mídia social.
3. Evidência Empírica do Impacto do Desequilíbrio: O estudo quantifica explicitamente como o desequilíbrio severo de classes (87,7% negativo) degrada o desempenho de modelos de aprendizado profundo em classes minoritárias, oferecendo um estudo de caso cauteloso para futuros projetos de análise de sentimentos.
4. Análise Comparativa: Confirma que o aprendizado profundo (LSTM) supera métodos tradicionais (SVM, Naive Bayes) no manuseio da natureza sequencial do texto de mídia social, apesar do desequilíbrio dos dados.

5. Significado e Direções Futuras

• Significado: A pesquisa destaca que, embora o aprendizado profundo seja poderoso, não é uma "bala de prata" para conjuntos de dados desequilibrados. A alta acurácia (89%) mascara a incapacidade do modelo de ouvir a "voz positiva" do público, o que é crítico para uma avaliação de política equilibrada.
• Limitações: A limitação primária é o desequilíbrio de dados, levando a um viés em direção à classe negativa.
• Recomendações Futuras:
  • Balanceamento de Dados: Aplicar técnicas como SMOTE (Técnica de Sobreamostragem Sintética de Minorias) ou ponderação de classes durante o treinamento.
  • Coleta de Dados: Buscar ativamente mais dados de sentimento positivo para equilibrar o conjunto de dados.
  • Atualização de Arquitetura: Explorar arquiteturas avançadas como Bi-LSTM (LSTM Bidirecional) ou modelos híbridos CNN-LSTM para melhorar ainda mais a extração de características e a detecção de classes minoritárias.

Em conclusão, o artigo demonstra com sucesso a utilidade do LSTM para análise de sentimentos indonésia, mas sublinha a necessidade crítica de abordar o desequilíbrio de dados para garantir uma monitorização justa e abrangente da opinião pública.