Classification of Public Opinion on the Free Nutritional Meal Program on YouTube Media Using the LSTM Method

1. Probleemstelling

De studie adresseert de uitdaging van het efficiënt analyseren van publieke perceptie met betrekking tot het Gratis Voedingsmiddelenprogramma (MBG), een overheidsinitiatief in Indonesië gericht op het verbeteren van de voeding van kinderen. Hoewel sociale mediaplatforms zoals YouTube enorme hoeveelheden real-time tekstuele data genereren die publieke mening weerspiegelen, is het handmatig analyseren van deze commentaren onuitvoerbaar vanwege de omvang en de ongestructureerde aard.

• Kernprobleem: Er is behoefte aan een geautomatiseerde, datagedreven aanpak om sentimenten (Positief, Negatief, Neutraal) te classificeren teneinde de acceptatie van het beleid te evalueren.
• Specifieke Uitdaging: Het dataset vertoont een ernstige class-ongelijkheid, waarbij negatieve sentimenten de data domineren (87,7%), wat machine learning-modellen doorgaans bevooroordeelt en de detectie van minderheidsklassen (positieve sentimenten) belemmert.

2. Methodologie

Het onderzoek maakt gebruik van een kwantitatieve aanpak met Natural Language Processing (NLP) en Deep Learning. De workflow bestaat uit de volgende fasen:

A. Datacollectie

• Bron: Commentaren gescraped van twee YouTube-kanalen die het MBG-programma bespreken.
• Volume: In totaal werden 7.733 commentaren verzameld.
• Verdeling: 5.629 negatieve commentaren (87,7%) en 790 positieve commentaren (12,3%). Opmerking: De studie richt zich op binaire classificatie (Positief versus Negatief).

B. Preprocessing-pijplijn

De ruwe tekst onderging een rigoureuze reinigingsprocedure om het voor modellering voor te bereiden:

1. Case Folding: Conversie naar kleine letters.
2. Reiniging: Verwijdering van URL's, vermeldingen, hashtags, cijfers en speciale tekens.
3. Normalisatie: Standaardisatie van straattaal en niet-standaard Indonesische woorden.
4. Tokenisatie: Opsplitsen van tekst in afzonderlijke woorden.
5. Stopwoordverwijdering: Eliminatie van niet-significante woorden met behulp van de NLTK-bibliotheek.
6. Stemming: Reductie van woorden tot hun stamvormen met behulp van de Sastrawi-bibliotheek (specifiek voor het Indonesisch).

C. Feature-representatie

• Tokenisatie & Padding: Tekst werd omgezet in gehele getallen-indexen. Sequenties werden gepadded om een uniforme lengte te garanderen voor batch-verwerking.
• Embedding: Woorden werden gemapt naar 128-dimensionale vectoren.

D. Modelarchitectuur

De studie gebruikte Long Short-Term Memory (LSTM)-netwerken, gekozen vanwege hun vermogen om langetermijnafhankelijkheden en sequentiële context in tekst vast te leggen, en traditionele RNN's te overtreffen.

• Architectuur:
  • Embedding-laag: 128 dimensies.
  • LSTM-laag: Verborgen dimensie van 128 met een dropout-ratio van 0,3.
  • Dropout-laag: 0,5-ratio om overfitting te voorkomen.
  • Volledig verbonden (FC) laag: 2 output-neuronen.
  • Output-laag: Softmax-activering voor binaire classificatie.
• Hyperparameters:
  • Optimizer: Adam (Leersnelheid: 0,0005).
  • Verliesfunctie: CrossEntropyLoss.
  • Training: 20 Epochen, Batchgrootte 16.
  • Totaal Aantal Parameters: ~2,23 miljoen.
• Basislijnvergelijking: Het LSTM-model werd vergeleken met traditionele machine learning-algoritmen: SVM, Logistische Regressie en Naive Bayes.

E. Evaluatiemetrieken

Prestaties werden beoordeeld aan de hand van een confusiematrix en de volgende metrieken:

• Accuracy: Algemene juistheid.
• Precision, Recall en F1-Score: Specifiek geanalyseerd om het probleem van class-ongelijkheid aan te pakken.

3. Belangrijkste Resultaten

Het LSTM-model toonde sterke algehele prestaties, maar onthulde significante discrepanties tussen klassen als gevolg van data-ongelijkheid.

• Algemene Accuracy: 89% op de testset (963 samples).
• Prestaties Negatieve Klasse (Meerderheidsklasse):
  • F1-Score: 0,94
  • Precision: 0,94
  • Recall: 0,93
  • Interpretatie: Het model is zeer effectief in het identificeren van negatieve sentimenten.
• Prestaties Positieve Klasse (Minderheidsklasse):
  • F1-Score: 0,55
  • Precision: 0,54
  • Recall: 0,57
  • Interpretatie: Het model heeft moeite om positieve sentimenten te detecteren en classificeert deze vaak als negatief (False Negatives).
• Trainingsdynamiek: Het model bereikte een trainingsaccuracy van 98,26% en een validatieaccuracy van 88,99%, met verlies dat gestaag afnam van 0,68 naar 0,1225 over 20 epochen.

4. Belangrijkste Bijdragen

1. Beleidsevaluatiekader: Biedt een schaalbaar, geautomatiseerd kader voor de Indonesische overheid om publieke ontvangst van het MBG-programma te evalueren met behulp van sociale mediadata.
2. Effectiviteit van LSTM op Indonesische Tekst: Valideert dat LSTM-architecturen zeer effectief zijn voor sentimentanalyse in de Indonesische taal, met name voor het vastleggen van context in informele sociale media-commentaren.
3. Empirisch Bewijs van Impact van Ongelijkheid: De studie kwantificeert expliciet hoe ernstige class-ongelijkheid (87,7% negatief) de prestaties van deep learning-modellen op minderheidsklassen degradeert, en biedt een waarschuwend casestudy voor toekomstige sentimentanalyseprojecten.
4. Vergelijkende Analyse: Bevestigt dat deep learning (LSTM) traditionele methoden (SVM, Naive Bayes) overtreft in het hanteren van de sequentiële aard van sociale media-tekst, ondanks de data-ongelijkheid.

5. Betekenis en Toekomstige Richtingen

• Betekenis: Het onderzoek benadrukt dat deep learning, hoewel krachtig, geen "zilveren kogel" is voor ongelijke datasets. De hoge accuracy (89%) maskeert het onvermogen van het model om de "positieve stem" van het publiek te horen, wat cruciaal is voor een gebalanceerde beleidsevaluatie.
• Beperkingen: De primaire beperking is de data-ongelijkheid, wat leidt tot een bias ten gunste van de negatieve klasse.
• Aanbevelingen voor de Toekomst:
  • Data-balancering: Pas technieken toe zoals SMOTE (Synthetic Minority Over-sampling Technique) of class-weighting tijdens training.
  • Datacollectie: Zoek actief naar meer positieve sentimentdata om het dataset in evenwicht te brengen.
  • Architectuur-upgrade: Verken geavanceerde architecturen zoals Bi-LSTM (Bidirectionele LSTM) of hybride CNN-LSTM-modellen om de feature-extractie en detectie van minderheidsklassen verder te verbeteren.

Concluderend demonstreert het artikel succesvol de bruikbaarheid van LSTM voor Indonesische sentimentanalyse, maar onderstreept het de kritieke noodzaak om data-ongelijkheid aan te pakken om eerlijk en uitgebreid publieke opiniebewaking te waarborgen.